随机过程17(4.3)17

三齐次马尔可夫链状态的分类状态转移图：直观表示马氏链状态之间转移的有向图。•状态：圆圈•转移：箭头•转移概率：数字例1设状态空间S={0,1,2}的马尔可夫链,它的一步转移概率矩阵为1102211124412033P马氏链的状态转移图为120121212141413231.状态的属性（定义）定义,ijS设()0{,,1,2,,1}nijnkfPXjXjknXi称为系统0时从状态i出发,经n步转移后,首次到达状态j的概率.简称首达概率.()1nijijnff称01{(,,1,2,,1)}nknPXjXjknXi为系统0时从状态i出发,经有限步转移后迟早到达状态j的概率.简称迟早概率.()0{,1,2,}ijnfPXjnXi称ij为系统0时从状态出发,永远也不能到达状态的概率.利用量——迟早概率fii可以定义状态类型iS设1(1),iifi若则称状态是(常返的返回的)1,iiif非常返的若则称状态是(滑过状态)()1niiijnnf则相应的数学期望为：()()11nnijijijnfff由于时（即i为常返态），构成概率分布.ii则表示系统从状态i出发首次再回到状态i的平均时间（或转移步数）.利用量可以进一步定义状态iS常设是返状态,(2),iii则正常称状为若态返状态.,iii则称状零常为若态返状态.（消极常返状态）ii1100221000120033110022P马氏链的状态转移图为例2设状态空间S={0,1,2,3}的马尔可夫链,它的一步转移概率矩阵为1201211223131231212012112231312312(1)(2)()00000012nfff，=0(n3)001f0.状态常返()0000132nnnf0.状态正常返(1)()222223nff，=0(n2)2223f2.状态非常返类似可以讨论状态1和4，留给同学们讨论。定义(){1,0}niiiSnnp设,若自然数集iid状态的周期则称其最大公约数为，记.即()GCD{1,0}niiidnnp定义iS设3),1.(iiidd周期状态若则称状态为且周期为,,1.iid若则称状态非周期状态为.i若状态是的状态则称之为正常遍返非周期历状态.小结：iS设1(1),iifi若则称状态是(常返的返回的)1,iiif非常返的若则称状态是(滑过状态)(2),iiii若是则称常返状态,且正常状态为返状态.,iiii若是则称状态为零常返状态,且常返状态.（消极常返状态）3),1.(iiidd周期状态若则称状态为且周期为,,1.iid若则称状态非周期状态为.i若状态是的状态则称之为正常遍返非周期历状态.常返非常返状态正常返零常返周期非周期遍历态1iif1iifiiii1id1id引理1()()(1)01nnijijijfpf1121121()(2)nnnijiiiiijijijijfppp()()()1(3)nnlnlijijjjlpfp证明())0(1nijf0{,,1,2,,1}nkPXjXjknXi0{}nPXjXi()nijp01(,,1,2,),1{},nknllXjXjPXjXlik01(,,1,2,,{,1)}nlklnXjXjkPXjXil2.状态属性的判断10(,,{}1,2,,1)lklXjXjPXikl()1lijlf01(,1,2,,1)kllXjXjklPXi），1ijf()0{,1,2,,1},ninkjfPXjknXXji(2)0({,,1,2,,1})kkkijnPXjkiXXni0{,,1,2,),1(}kijknkPXjknXXii1211122011(,,,,{)}nnnnijijijXiXiXiXjPXi1211122110,,,(),nijinnnjijXiXiXiXPXij12111221100(,,)(,)nijijijXiXPXiPXiiXi11101,,(,)nnnXjXiXiPXi1211122011()()nijijijPXiPXiXiXi11()nnnXPXji1112121nniiiiijjiijjippp()0(3){}nijnpPXjXi01(,,1,2,),1{},nknllXjXjPXjXlik01(,,1,1),2,{},nknllXjXjPXjXlik()()1nlnlijjjlfp01,,1,2(},,1)llknXjXjklPXi0,,1,2,,,{}1lknXjXjkPXjXil引理2(Doeblin公式),,ijS有()1()1lim1NnijnijNNnjjnpfp证明思路(1)上极限存在(2)下极限存在(3)相等证明(找上界)()()1()11nlnlijjjlNNnijnnfpp（交换求和顺序）()()1NlnlijjjnlNlfp()1()NlnlijjjNlnlfpnlm（令）()()10NNllmijjjlmfp(1())0lmiNjjjNlmfp()()111lmijjjmNlNfp（）()()1()1111NnijNlnijNnljjnpfp()()11Nllijijllff（1ijf）(有上界必有上极限)()()1()11limlim1NnijNlnijNnNnNljjpfp()1limNlNijijlff(找下界)1,NNN固定的，使则有())(1)(01NNllmijjjNlnijnmfpp01()()NllmijjjmlNfp())01(NlmijjjmNNlfp()()111NlmijjjNlmNfp（）1()()11()1NnjjnNnijlnijNNlpfp(不等式左边对固定的N′有下界,从而有下极限)())11(lim1NNNnjjNijnnnpp()1(1)i1lmNNNnjnijnjnpp()1lijlNf()()11()11limNNnjjNnijlnijlnNpfp即N（再令，得）()(())111limlm1iNNnjjnNNNnijlnijlpfpijf()()()111()11limlm1iNNNNnnjjjjnNNnnijijnnijjnippffpp综上有()1()1lim1NnijnijNNnjjnpfp推论1,iS则()111lim1iiNNniinfp推论2,iS则()11()(1)niiiinpfi常返()11()(2)niiiinpfi非常返定理1iS常返状态充要条是的是以下两件条件之一成立(1)1iif()1(2)niinpiS非常返状态充要条是的是以下两件条件之一成立(1)1iif()1(2)niinp（定义）（定义）（由推论2得）（由推论2得）引理3iiid是常返状对给定的状态，若，周期是且态则存在极限()limindiiiniidp10iiii规定：时，定理2iS常设是返状态，则(1)i零常返是的充要条件是()lim0niinp(2)i遍历态是的充要条件是()1lim0niiniip(3)i正常返周是期的充要条件是()limniinp不存在但此时它有一收敛于某正数的子列.证明(1)iii设是（即零常返，），3由引理得()lim0indiinp()lim0niinp综上idm当不能整除时，iimp（）由周期定义＝０limiimmidmp（）(即能整除时,＝０)()lim0niinp反之，若iii是（即假设正常返，），3由引理得()im0lindiiiniidp矛盾！i是零常返．(2)i设是遍历态)iiidi＝１，且是正常返的（3由引理得()()1limlim0indniiiinniipp()1lim0niiniip反之，若i则由(1)知，为正常返另由极限的保号性：Ｎ，使n＞Ｎ时，有()(1)0,0nniiiipp(,1nn的最大公约数一定为１)i是非周期．i是遍历态(3)i正若是常返周期态()limniinp（）假设反正法存在()()0limnniiiinpp则由于0()limniinp若＝0i由(1)知是零常返，矛盾！()limniinp若0i由(2)知是遍历态，矛盾！()limniinp所以不存在()limiiindiniip由引理d＝３知但(){}indiiiiidp即有子列收敛于()limniinp反之，若不存在i不是零则由(1常返),(2)知，不是遍历态.i正常所以是返周期态下面讨论周期状态的性质(){1,0}niiiSnnp设,若自然数集()GCD{1,0}niiidnnp记(){1,0}.niinnf若集合则记()GCD{1,0}niiihnnf则di与hi有以下结论定理3()(1)0,1niiipmnmd若则存在，使()(2)0,1niiifmnmh若则存在，使(3).iiiidhdh若与中一个存在,则另一个也存在且（显然）（显然）证明()()12(3){1,0},{1,0}nniiiiNnnpNnnf记1N若，10niinp（）则，使()()()10nnlnliiiiiilpfp()1,0,liinfl则一定使()(0)niip否则2lN2N2N反之，若，10niinf（）则，使()()nniiiifp又()0niip1N.iidh综上若与中一个存在,另一个也存在()()nniiiifp又由于21NNiidh另一方面，由归纳法可证明：iihdiidh归纳法可证明如下：()()()()1()(())))((110()0)0,0111,,10iiiiliinlnlniiiiiiilhiliiiiilihiiiiniiiinhlphhlhplhdffpnhpfffh时时=，，则对必有对则由(注意到当不是数,的倍1时()0imhliip则同理有(),,,(1)1,,-1)0,iiniiinlhlmhlpl=h作归纳假设：假设当时(有()10niiiiiinhpNhhd若不是的整数倍，必有中的数都可被整除定理4,.ijS设()(1),0(10,),.nniiiinppi若正整数使则非周期(m)ij(,),20.mjSpj若正整数使对任意有则非周期00,(3),idNNN设状态的周期为则正整数使时,有()0Ndiip证明（显然）()20mijiSp由已知,对，（）00,