随机过程-第五章-连续时间的马尔可夫链

1第五章连续时间的马尔可夫链5.1连续时间的马尔可夫链考虑取非负整数值的连续时间随机过程}.0),({ttX定义5.1设随机过程}.0),({ttX,状态空间}0,{niIn,若对任意121...0nttt及Iiiin121,...,,有})(,...)(,)()({221111nnnnitXitXitXitXP=})()({11nnnnitXitXP(5.1)则称}.0),({ttX为连续时间马尔可夫链.由定义知,连续时间马尔可夫链是具有马尔可夫性的随机过程,即过程在已知现在时刻nt及一切过去时刻所处状态的条件下,将来时刻1nt的状态只依赖于现在状态而与过去无关.记(5.1)式条件概率一般形式为),(})()({tspisXjtsXPij(5.2)它表示系统在s时刻处于状态i,经过时间t后转移到状态j的转移概率.定义5.2若(5.2)式的转移概率与s无关,则称连续时间马尔可夫链具有平稳的或齐次的转移概率,此时转移概率简记为),(),(tptspijij其转移概率矩阵简记为).0,,()),(()(tIjitptPij以下的讨论均假定我们所考虑的连续时间马尔可夫链都具有齐次转移概率.简称为齐次马尔可夫过程.假设在某时刻,比如说时刻0,马尔可夫链进入状态i,而且接下来的s个单位时间单位中过程未离开状态i,(即未发生转移),问随后的t个单位时间中过程仍不离开状态i的概率是多少呢?由马尔可夫我们知道,过程在时刻s处于状态i条件下,在区间[s,s+t]中仍然处于i的概率正是它处于i至少t个单位的无条件概率..若记ih为记过程在转移到另一个状态之前停留在状态i的时间,则对一切s,t0有},{}{thPshtshPiii可见,随机变量ih具有无记忆性,因此ih服从指数分布.由此可见,一个连续时间马尔可夫链,每当它进入状态i,具有如下性质:(1)在转移到另一状态之前处于状态i的时间服从参数为iv的指数分布;2(2)当过程离开状态i时,接着以概率ijp进行状态j,1ijijp.上述性质也是我们构造连续时间马尔可夫链的一种方法.当iv时,称状态i为瞬时状态,因为过程一旦进入此状态立即就离开.0iv时,称状态i为吸收状态,因为过程一旦进入状态就永远不再离开了.尽管瞬时状态在理论上是可能的,但以后假设对一切i,iv0.因此,实际上一个连续时间的马尔可夫链是一个这样的随机过程,它按照一个离散时间的马尔可夫链从一个状态转移到另一个状态,但在转移到下一个状态之前,它在各个状态停留的时间服从指数分布.此外在状态i过程停留的时间与下一个到达的状态必须是相互独立的随机变量.因此下一个到达的状态依赖于ih,那么过程处于状态i已有多久的信息与一个状态的预报有关,这与马尔可夫性的假定相矛盾.定理5.1齐次马尔可夫过程的转移概率具有下列性质:;0)1(ijp(2);1ijIjp(3)Ikkjikijsptpstp)()()(.其中(3)式即为连续时间齐次马尔可夫链的切普曼—柯尔哥洛夫方程.证明只证(3).由全概率公式及马尔可夫性可得)})0()({)(iXjstXPstpij=IkiXktXjstXP})0()(,)({=})()({})0()({ktXjstXPiXktXPIkIkkjiksptp)()(.对于转移概率)(tpij,一般还假定它满足:.,0,1)(lim0jijitpijt(5.3)称(5.3)式为正则条件.正则条件说明,过程刚进入某状态不可能立即又跳跃到另一状态.这正好说明一个物理系统要在有限时间内发生限多次跳跃,从而消耗无穷多的能量这是不可能的.定义5.3对于任一0t记},)({)(jtXPtpj,},)0({)0(IjjXPppjj3分别称}{},),({,IjpIjtpjj齐次马尔可夫过程的绝对概率分布和初始概率分布.定理5.2齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质:(1),0)(tpj(2),1)(tpjIj(3))()(tpptpijIiij;(4));()()(hptphtpijIiij(5)).()...(})(,...,)({112111211nniiiiiiIiinnttpttpppitXitXpnn例5.1试证明泊松过程}0),({ttX为连续时间齐次马尔可夫链.证明先证泊松过程具有马尔可夫性,再证明齐次性.由泊松过程的定义它是独立增量过程,且X(0)=0.11,...0nnttt,有})(,...,)()({1111nnnnitXitXitXP=,.)0()()()({1111iXtXiitXtXPnnnn=,111212)()(,...)()(nnnniitXtXiitXtX}=})()({11nnnniitXtXP.另一方面,因为})()({11nnnnitXitXP=})0()()()({11nnnnnniXtXiitXtXP=})()({11nnnniitXtXP所以})(,...,)()({1111nnnnitXitXitXP=})()({11nnnnitXitXP.即泊松过程是一个连续时间马尔可夫过程.以下证明齐次性.当ij时,由泊松过程的定义})()({isXjtsXP=})()({ijsXtsXP4=)!()(ijteijtji.时,由于过程的增量只取非负整数,故,0),(tspij所以ijijijtetptspijtijij,0,)!()()(),(,即转移概率只与t有关,泊松过程具有齐次性.5.2柯尔莫哥洛夫微分方程对于连续时间齐次马尔可夫链转移概率)(tpij的求解一般比较复杂.下面首先讨论)(tpij的可微性及)(tpij满足的柯尔莫哥洛夫微分程.引理5.1设齐次马尔可夫过程满足正则性条件(5.3),则对于任意固定的)(,,tpIjiij是t的一致连续函数.证明设h0,由定理5.1得)()()()()(tptphptphtpijrjIririjij)()()()()(tptphptphpijijiirjirir=)()](1[)()(tphptphpijiirjirir故有)],(1[)()](1[)()(hptphptphtpiiijiiijij),(1)()()()()(hphptphptphtpiiirirrjiririjij因此).(1)()(hptphtpiiijij对于h0,同样有).(1)()(hptphtpiiijij综上所述得到).(1)()(hptphtpiiijij由正则性条件知,0)()(lim0tphtpijijh即)(tpij关于t是一致连续的.5以下我们恒设齐次马尔可夫过程满足正则性条件(5.3)式.定理5.3设)(tpij是齐次马尔可夫过程的转移概率,则下列极限存在(1);)(1lim0iiiiitqvttp(2).,)(lim0jiqttpijijt我们称ijq为齐次马尔可夫过程从状态i到状态j的转移概率或跳跃强度.定理中的极限的概率意义为:在长为t的时间区间内,过程从状态i转移到另一其他状态的转移概率为)(1tpii等于tqii加一个比t高阶的无穷小量,而过程从状态i转移到状态j的转移概率为)(tpij等于tqij加一个比t高阶的无穷小量.推论对有限齐次马尔可夫过程,有ijijiiqq证明由定理5.1,有)()(1,1)(tptptpijijiiIjij由于求和是在有限集中进行,故有.)(lim)(1lim00ijijijijtiitiiqttpttpq(5.4)对于状态空间无限的齐次马尔可夫过程,一般只有ijijiiqq.若连续时间齐次马尔可夫是具有有限状态空间I={0,1,2,…,n},则其转移速率构成以下形式的矩阵nnnnnnqqqqqqqqqQ.....................101111000100(5.5)由(5.4)式知,Q矩阵的每一行元素之和为0,对角线元素为负或0,其余.0,ijq利用Q矩阵可以推出任意时间间隔t的转移概率所满足的方法组,从而可以求解转移概率.由切普曼---柯尔莫哥洛夫方程有),()()(tphphtpIkkjikij或等价地6)()](1[)()()()(tphptphptphtpijiikjikikijij两边除以h后令0h取极限,应用定理5.3得到)()()(lim)()(lim00tpqtphhphtphtpijiikjikikhijijh(5.6)假定在(5.6)式的右边可交换极限与求和,再运用定理5.3,于是得到以下结论:定理5.4(柯尔莫哥洛夫向后方程)假设,iiikikqq则对一切i,j及0t,有,)()(ijiiikkjikijpqtpqtp(5.7)证明只要证明(5.6)式右边极限与求和可交换次序.现在对于任意固定的N,有)()(inflim0tphhpkjikikh)()()(inflim,,0tpqtphhpkjNkikikkjNkikikh因为上式对一切N成立,所以)()()(inflim,,0tpqtphhpkjikikkjikikh(5.8)为了倒转不等式,注意对于Ni,由于,1)(tpkj所以)()(suplim,0tphhpkjikikh])()()(sup[lim,0NkikkjNkikikhhhptphhp])()(1)()(sup[lim,,0NkikikiikjNkikikhhhphhptphhp,)(,,NkikikiikjNkikikqqtpq令N,由定理5.3和条件得)()()(suplim,,0tpqtphhpkjikikkjikikh.上式连同(5.8)可得)()()(lim,,0tpqtphhpkjikikkjikikh.定理5.4中)(tpij满足的微分方程组以柯尔莫可洛夫向后方程著称.称它们为7向后方程,是因为在计算时刻t+h的状态的概率分布时我们对退后到时刻h的状态取条件,即我们从)()(})0()({..})(,)0()({)(hptpiXkhXPkhXiXjhtXPhtpikIkkjIkij开始计算.对时刻t的状态取条件,我们可以导出另一组方程,称为柯尔莫哥洛夫向前方程.可得),()()(hptphtpkjIkikij)()()()()(tphptptphtpijkjIkikijij=)()](1[)()(tphphptpijjjkjjkik,所以)}.()(1)()({lim)()(lim00tphhphhptphtphtpijjjkjjkikhijijh假定我们能交换极限与求和,则由定理5.3便得到),()()(tpqqtptpijiijkkjikij令人遗憾的是上述极限与求和的交换不是恒成立,所以上式并非总是成立.然而在大多数模型中----包括全部生灭过程与全部有限状态的模型,它们是成立的.定理5.5(柯尔莫哥洛夫向前方程)在适当的正则条件下,,)()()(jjijkjikikijqtpqtptp(5.9)利用方程组(5.7)或(5.9)及初始条件.,0)0(,1)0(jippijii我们可以