随机过程 第四章4

在实际应用中，人们常关心的问题有两个：的渐近性质故可转化为研究由于列。尔可夫链是一个平稳序在什么条件下，一个马的极限是否存在？时，当)()()0()()2()1(npnppnpnpjXpnijIiijijjn。这两个问题有密切联系是否存在的问题。实际上是一个平稳分布对于有关若存在，其极限是否与是否存在即)2(??)(liminpijn的渐近性质与平稳分布§4.4nijpIinpijjnpijnij0)(lim.1)(.，有对一切为非常返或零常返，则定理：设况是非常返或零常返的情的渐近性质一为遍历定理。这类问题的定理，统称在马氏链理论中，有关nNkijNkjjijnkjjijijkfknpkfknpkfnpnN111)()()()()()(1有证：由前面定理，对0)(lim)(0)(lim0npnpjnpjnNjjnnjjjjn为非常返，由若定理推论为零常返，则，若，先令固定。级数收敛，故，，由于；再令右边第一项0)(lim0)(,1)(011npNkfkfNijnNkijkij推论：如马氏链的状态有限，则这些状态不可能全是非常返状态，也不可能含有零常返状态。从而不可约的有限马氏链必为正常返的。产生矛盾。，而对任意。由定理知则对返，如果所有状态全是非常证：nnpnnnpIjiNINjijij00)(10)(,,,,2,1,0。npCjijCiIcjij产生矛盾由上面定理知：状态均为零常返，于是中所有是有限集，故不可约闭集，又因为它是，则含有零常返态另外，如01:矛盾。不能为有限集，否则与其状态全为零常返，故为不可约闭集，为零常返，则证：设多个零常返状态。返态，则必有无限：如马氏链有一个零常推论cjijnpjijCi01,2见移概率情况，由下图易状态的马氏链的状态转种一个有有关，例如下图描述了存在也可能与不一定存在，即使是正常返的，如果状态，况要复杂一此，事实上情形。这比前面两种情返常返情形，现讨论正常以上讨论了零常返与非6)(liminpjijn12354621213131311111是正常返情形.2有关。但极限值与存在极限这说明对正常返状态，，，，另外不存在；故，，iinpnpnnpnpnpnnpnpinn5,3,2)(lim0)(121)(1)()(lim,2,10)12(1)2(3235333111111。；而只研究：，，我们一般不讨论极限对正常返状态nkijnijnijnkpnndpnpj1)(1lim)2()(lim)1()(lim为马氏链的周期。的概率，式中首次到达状态不计周期出发，在某时刻表示从，，记djdrnidrrmdffndpmijrijijn)()mod(10)()(lim)1(0)(6039ijjj)13()12()2()12()1()()1()1()0(dfdfdfdfdfdfdfffijijijijijijijijij展开：ijmijdrmdrijrijfmfrmdff010010)()()(显然：jrijijndfrndpdridj)()(lim10有及，则对任意的为正常返，周期为定理：如))(mod(00)(dnnpdnjdjj整除时，不能被的周期，所以当为证：因为dmnprmdfvrndpvfrndpnmjjijrndvjjijij)()()()()(00所以100)()()()()()(1NmijNmjjijNmijjjijrmdfdmnprmdfrndpdmnprmdfnN有于是，对任意的iiindndpNnN)(lim由前面定理得：，，再令，然后令在上式中先固定0)()(limmijrijjrijijnjrijrmdffdfrndpdfjrijijndfrndp)()(lim，前面定理给出。其中否则，同属于子集与如，有，，则对一切其状态空间为的马氏链，返，周期推论：设不可约，正常100)(limdsssjijnGIGjidndpIjiId称为极限分布。有，，则对一切特别当Ijnpjidjjijn,11)(lim1000)()()(lim00000ijijssijsmijijjijijnfmdfGiGmdpGjimdffdfndpr中），从而经周期倍回到中的（对中，则不在同一个与如果，其中则得：证：在定理中取0)(,0)(mod0,nfnpdnGjiijijs从而时则当同属于与如果1)()(000ijmijmijijfmfmdff所以否则同属于子集与如所以：，Gji，udndpsjijn0)(lim的平均次数。表示单位时间内再回到平均次数，步之内返回到的出发，在表示从jkpnjnjkpnkjjnkjj11)(1)(单位时间内返回二次。平均半小时返回一次，小时，表示平均返回时间，如215.0)(1jjnjjjnnfnkijnkpn1)(1lim2jnkjjjkpnjj1)(111所以应有的平均次数，出发，单位时间回到也表示从而理：的大小，于是有如下定情况，即要考虑的出发能否到达出发，则要考虑从如果质点由ijfjii为正常返如，为非常返或零常返如，有，定理：对任意状态jfjkpnjijijnkijn0)(1lim1nkknnkijijaanaankpnnpj1110)(10)(，则数学分析中结论：若，定理知为非常返或零常返，由证：如论：，应用数分中的如下结为正常返，有周期如dj10111limlim2101210drrnkknrrndnrndbdanbarndrad，则必有，存在如对每一，，，，，，，，个数列假设有jijdrjrijnkijnjrijrijrndfdfdkpndfbrndpa101)(1)(1lim)(于是有由上个定理知：令)1()(1lim1ijjnkijnnfdkpnjiX有，任意为不可约，常返，则对推论：如无关。不可约时，其极限与的极限存在，特别当链值不一定存在，但其平均定理说明：尽管inpijn)(limIiijijjjjIiijijnjpnnnpnnIjjXPn则上式可写成记无关与若的极限考虑绝对概率,)(,)()1()(,)(平稳分布。若它满足为马氏链的，称概率分布转移概率为，间为为齐次马氏链，状态空定义：设IjpInXjijn,0,二、平稳分布0,1,,,,21jIjjjIiijijPp或一致。与永远的绝对分布，则链在任一时刻作为链的初始分布，即，若用对于平稳分布的概率都相等。态过程在任何时刻处于状平稳分布的直观含义：)(0npnpj不变概率测度。平稳分布也称马氏链的或有注：平稳分布有：和事实上由nijIiijjnnpnpIjpPPPnPpnpPnPpnp)(,)0()()0()()()0()(1Ijuj，平稳分布就是极限分布是存在平稳分布，且此件氏链是正常返的充要条定理：不可约非周期马1IiijijjnpIj)(是平稳分布，，设证：先证充分性jIijiIiijniIiijinjIjiinpnp11)(lim)(lim01得顺序，，故可交换极限与求和，由于0101kIikiu，即，故至少存在一个链是正常返的。为正常返态，故该马氏或零常返为非常返于是knpkkikn,0001)(lim01limkijnunp返的，于是设马氏链是非周期正常再证必要性：)1()(1)(11)(11)()()()()(000IkkjkNkkjkjNkkjkjNkkjikIkkjikijnpnpNnpumnpmpnpmpmnpNkc取极限得：再令取极限得：令，有，对任意正整数由方程产生矛盾。式为严格大于，求和，并假定对某个对于将式取极限得：，再令先令由下面来证明等号成立，11211)()(10jjuNnnpnpIkkNkikIkik是平稳分布。取极限得：令故有，产生矛盾IjnpnnpnpnpjIkkIkkjIkkjnkjIkijkjIkkIkIjkjkIjIkkjkIjj,11111lim11,111)(1)(111。正常返态；不可约有限马氏链只有必有正常返状态；没有零常返状态；集合不可能是闭集；所有非常返状态组成的有限马尔可夫链性质：nCCCDI2154321是非常返态。不可约闭集，有限均是由正常返态组成的，每个DnCn,2,1分布。可夫链存在唯一的平稳有限不可约非周期马尔平稳分布总存在；有限状态马尔可夫链的常返闭集；要条件为只有一个基本平稳分布唯一存在的充；条件为平稳分布不存在的充要的集合，则有：常返状态构成为马尔可夫链中全体正定理：设4321CC以下结论：若存在，是否唯一？有？，其平稳分布是否存在对于一般的马尔可夫链有则对则由平稳分布定义知有分布马氏链存在一个平稳充分性：反证，假设该证101nP，在平稳分布。矛盾，故该马氏链不存与时，非常返，而当马氏链中均为零常返或，故该时，因为，当00nnPnCnPP上的子转移矩阵，即：在是，其中使存在一个平稳分布上则该马氏链限制在只有一个正常返闭集，，不妨设假设必要性：仍用反证法CPPPCCCC11111,。故分布不存在矛盾，故是平稳分布，与平稳则此时只需取C，，PQRP，P，QRPPTT0000001111111写成：可，则易知一步转移矩阵的并，即集可分解为两个正常返闭又不妨假设其常返态集，知故由稳分布必要性：它存在一个平证明：PCCCC211,)2(TQRRPPP21210000。知它的平稳分布总存在，故由马氏链总有，即有限状态非常返不含零常返或不能全是存在正常返态；有限状态马尔可夫链总)1()()3(C)0,,0(0,,00,0,0,0,0,,00,0,,,22211121222111212121PPPPPPCCPPP则，若取，，使，故存在上的转移子矩阵，在分别是其中常返闭集。马氏链只有一个基本正性矛盾，故该均是平稳分布，与唯一与故。各状态的平均返回时间求马氏链的平稳分布及矩阵为：例设马氏链的转移概率9.005.005.01.08.