第五章Markov

第五章Markov定义5.1：随机过程},2,1,0,{nXn称为Markov链，若它只取有限或可列个值321,,EEE(我们以｛0，1，2，…｝来标记210,,EEE,并称它们是过程状态，｛0，1，2，…｝或者其子集记为S，称为过程的状态空间）。对任意的0n及状态1210,,,,,niiiiji，有iXjXpiXiXiXiXiXjXpnnnnnN1112211001,,,该式刻画了Markov链的特性，称为Markov性。定义5.2:(转移概率）称条件概率iXjXpnn1为Markov链},2,1,{nXn的一步转移概率，简称转移概率。定义5.3：（时齐Markov链）当Markov链的转移概率iXjXpnn1只与状态i,j有关，而与n无关时，称Markov链为时齐的，并记}{1iXjXPnnij0n;否则，就称之为非时齐的。定义5.4：（随机矩阵）若一个矩阵的元素具有（5.1.3）中的两条性质，则称此矩阵为随机矩阵。5.1.4n步转移概率C-K方程定义5.5:(n步转移概率）称条件概率,iXjXppmnmnij1,0,,nmSji为Markov链的n步转移概率，相应的称nijnpP为n步转移矩阵。定理5.1（Chamnman-Kolmogorov方程，简称C-K方程）对一切n，Sjim,,0有nnnnnklSkmikijPPPPPPPpppnm21215.2停时与强Markov性定义5.6：令},2,1:{nYn是一个定义在概率空间P,,上的具有可数状态的随机过程，P,,上的广义随机变量（即可以取值）称为一个停时，如果（1）只取非负整数值（包含）；（2）对每个非负整数m，事件m;完全由nYYY,,10确定。定理5.2：每个Markov链},2,1:{nYn都具有强Markov性；即，对每个停时，给定直到时刻的过去，之后过程,1,0;nYYn在上的条件分布是YP5.3状态的分类及性质定义5.7称状态i可达状态jSji,,若存在0n使得0nijp，记为ji。若同时有状态ij，则称i与j互通，记为ji。定理5.3互通是一种等价关系，即满足：（1）自返性ji；（2）对称性ji，则ij；（3）传递性ji，kikj则,.定义5.8若Markov链只存在一个类，就称它为不可约的，否则称为可约的。定义5.9（周期性）若集合0,1,niipnn非空，则称它的最大公约数idd为状态i的周期，若1d,称i是周期的；若i是非周期的，并特别规定上述集合为空集时，称i的周期为无穷大。定理5.4若状态i,j同输一个类，则jdid。定义5.10(常返性）对于任何状态i，j，以nijf记从i出发经过n步后首次到达j的概率，则有1,1,2,1,,,00niXnkjXjXPffknnijnij令1nnijijff，若jjf=1，则称状态j为常返状态。若jjf1,称j为非常返状态。对于常返状态i，定义1nniiinfu，iu为由i出发再次回到i的平均步数。定义5.11对于常返态i，若iu，则称i为正常返态；若iu=，则称i为零常返态，特别地，若i正常返且是非周期的，则称之为遍历状态。若i是遍历状态，且1ijf=1，则称i为吸收状态，此时显然iu=1.定理5.5状态i为常返状态当且仅当0nniip=；状态i为非常返态时，0nniip=iif11因而此时有0limniinp。引理5.1对任意状态i,j及n1，有nilnjjlijnijpfp1。引理5.2若ji且i为常返态，则jif=1.定理5.6常返性是一个类性质。定理5.7任意Markov链的状态空间S,可惟一分解为有限个或可列个互不相交的子集D,21,CC之和，使得（1）每一个nC是常返状态组成的不可约闭集；（2）nC中的状态同类，或者全是正常返态，或者全是零常返态。它们有相同的周期且jif=1，nCji,。（3）D由全体非常返状态组成。自nC中状态出发不能到达D中的状态。定理5.8周期为d的不可约Markov链，其状态空间S可惟一地分解为d个互不相交的子集之和，即srSSSSsrdrr，,10，且使得自rS中的任意状态出发，经过1步转移必进入1rS中（其中0SSd）.5.4极限定理及不变分布定理5.9若状态j是周期为d的常返态，则jndjjnudplim，当0judu时，。推论5.1设i为零常返状态，则i为零常返状态0limniinp。定理5.10若j为非常返状态或零常返状态，则对0lim,nijnpSi。推论5.2有限状态的Markov链，不可能全为非常返状态，也不可能有零常返状态，从而不可约的有限Markov链是正常返的。推论5.3若Markov链有一个零常返状态，则必有无限个零常返状态。定理5.11若j为正常返状态且周期为d，则对,10dri及有jijrndijndrfplim推论5.4设不可约的、正常返的、周期为d的Markov链，其状态空间为S，则对任何状态jiSji,，有0limjnijndp其他。，同属于子集与若Sji其中0SSSS为定理5.8中所给出的。特别地，当d=1时，则Sji,有jnijnp1lim引理5.3设有非负数列na的d个子列1,,2,1,0,dsaskd，如果对每一个s，存在存在极限10111lim,limdssnkknskdkbdanba则有.定理5.12对于任意状态Sji,，有jijnkkijnfpn01lim1为正常返状态。状态，为非常返状态或零常返jj推论5.5如果nX是不可约、常返的，Markov链（即每一个状态都是常返的），则对于任意状态Sji,，有jnkkijnpn11lim15.4.2不变分布与极限分布定义5.12对于Markov链，概率分布Sjj,称为不变的，若siijijp定义5.13称Markov链是遍历的，如果所有状态相通且均是周期为1的正常返状态，对于遍历的Markov链，极限Sjpjnijn,lim,称为Markov链的极限分布。定理5.13对于不可约的非周期的Markov链，（1）若它是遍历的，则Sjpnijnj0lim是不变分布且是惟一的不变分布（2）若状态都是瞬过的或者为零常返的，则不变分布不存在。