随机过程第四章3

§4.3状态空间的分解前面给出了马氏链状态分类的一些基本概念以及如何判别状态分类的定理，但如果对状态空间中的每个状态都按照这些定理逐一检查分类，这不仅是很繁琐的甚至是不可能的，因此,如果能够借助状态之间的转移使得对状态分类不再是一个一个地进行，而是“群体”地进行，也就是说如果能从某个状态的分类来确定一类状态的分类，无疑这将给我们带来很大方便。从某种意义上看相当于对状态空间进行分解。)1(}{0iiikpiiCCpCkCiCI为吸收状态。为闭集，称若单点集状态空间不可约。为不可约的，如其的状态互通；称马氏链如称为不可约的，，闭集都有及称为闭集，如对任意的子集定义：状态空间中。中，它将永远留在闭集这意味着一旦质点进入的外部，的内部不能到达闭集的直观含义是自CCCC由归纳法引理得证。，则，，时，时结论成立，现设由定义知当为闭集，归纳法，设证：只需证必要性，用cjcjjkijcjcjjkijjkijikikpmppmppmpmpckcimpmnnC000)()()(10)(1。，都有及任意是闭集的充要条件为对引理：10)(nnpCkCiCik000100000100100002102102100215,4,3,2,1pIXn转移矩阵为：的状态空间例：设马氏链不是不可约链。含有子闭集，故马氏链又本身是最大闭集，是不可约的，，、其中都是闭集。，，，、，，、，，另外最小闭集是闭集是吸收的，故由转移图可知，状态nXII413324134141}3{3状态转移图为：215342121212111中的状态。到达中的状态不能，自由全体非常返状态组成；，，期且常返，它们有相同的周正常返，或全是零中的状态同类，或全是中的状态到达；闭集不可能从是常返态组成的不可约每一个DCDCkjfCnmCcnnjknmn)3(1)2()1(的状态之和，使得且互不相交的子集分解成有限个或可列个，可唯一地的状态空间分解定理：任一马氏链nCCCDI,,,21基本常返闭集。为中状态一般称中的状态不能到达从显然nCDCn,)3(；则按互通关系进行分解为非常返状态全体，将集合，为全体常返状态组成的记证：21,)1(CCDICCIDC知状态是同一类型的；关系态是互通的，又由互通集，而不可约闭集中状可约的闭是由常返状态组成的不其中每一个nC2)(是不可约的闭集中运动。将永远在，它，当然一旦进入进入某个基本常返闭集而在某一时刻离开中进行，反之，则可能在直为闭集时，状态转移一某一非常返态，则当链的初态为不一定是闭集，如马氏但定理中的nnnkCCCCDDDD进入常返闭集。自什么状态出发迟早要系统一定不是闭集，即不管为有限集时，则注：DI210002100000010031031310100001000000001006,,21P，I转移矩阵为设例试分解此链并指出各状态的常返性及周期性解：由转移矩阵可得转移图.13523121313121111146；也为正常返且周期为及从而状态的基本常返闭集为：含等于为正常返状态，且周期即，，，3535,3,11:1313)(130)(1)3(11111111111kkCnnffnnffn。周期为为正常返状态，故，，周期为，，，，同理，1,23610)(1212120)(21)2(21)1(66666666666unpfnnfff是遍历状态。可见：的基本常返闭集为：含26,2662kkC为非常返。，故，，由于410)(31)1(4444nnff。，，，可分解为：于是62531421CCDII。个互不相交的子集之和可唯一地分解为态空间的不可约马氏链，其状定理：周期为定理：的不可约马氏链的分解下面是周期为dIdd0110)2(,)1(GGGGsrGGGIdrrdrsrr中，其中进入步转移必中某一状态出发，经一从任一即：1100,0drrndpnjGiijr，，，）（：对某个任取状态G2G1G0G1d仍是随机矩阵。步转移子矩阵，则上所得的是，，为闭集，又引理：设GkCCjikpGCij)(也为随机矩阵。步转移矩阵，其，有每个负，且对为随机矩阵，如元素非称矩阵：定义)()(1kpkPkpIipijIjijij为随机矩阵。，故显然，则有证：任取GkpkpkpkpkpCiijcjijcjijcjijIjij0)()()()()(1中的运动情况。下面考虑在不可约闭集C的子矩阵。，是原马氏链转移矩阵，，，转移矩阵为：间为的子马氏链，其状态空上的原马氏链，可考虑的一个子集可见对IjipGCjipGCCCIijij，其转移图如下：转移矩阵为间设不可约马氏链状态空例PI：6,5,4,3,2,10430410000001000010000001031031003102102100P24353141316113143212111易看出注：取。有对某个；有对某个；有对某个，并令：现固定状态都为”，故各状态的周期首尾相连接的“三角形都有一个的任一个状态出发从图易见，从0}2{}0)23(,{}5,3{}0)13(,{}6,4,1{}0)3(,{13,121110nnpnkGnpnkGnpnkGIkkk中的运动如图此链在故I，，，GGGI2536412101iiGG经一步转移可从6,4,10G22G5,31G也常返。常返，如原马氏链的状态是非周期的；中是不可约闭集，且对此新链，每一，马氏链，其转移阵，即得一新上考虑，，如只在时刻有则在上面定理的结论下的不可约马氏链，是周期为定理：设ndnrrijnnXXGGdpdPXdddnX)2()()(2,0)1(0,在实际应用中，人们常关心的问题有两个：的渐近性质故可转化为研究由于列。尔可夫链是一个平稳序在什么条件下，一个马的极限是否存在？时，当)()()0()()2()1(npnppnpnpjXpnijIiijijjn。这两个问题有密切联系是否存在的问题。实际上是一个平稳分布对于与之有关若存在，其极限是否是否存在即)2(??)(limnpijn