随机过程Ch5

第五章连续时间马尔可夫链2I马尔可夫链54321012345T35.1连续时间马尔可夫链定义5.1设随机过程{X(t)，t0}，状态空间I={0,1,2,}，若对任意0t1t2tn+1及非负整数i1,i2,,in+1，有P{X(tn+1)=in+1|X(t1)=i1,X(t2)=i2,,X(tn)=in}=P{X(tn+1)=in+1|X(tn)=in}，则称{X(t)，t0}为连续时间马尔可夫链。转移概率：在s时刻处于状态i，经过时间t后转移到状态j的概率pij(s,t)=P{X(s+t)=j|X(s)=i}45.1连续时间马尔可夫链定义5.2齐次转移概率pij(s,t)=pij(t)(与起始时刻s无关，只与时间间隔t有关)•转移概率矩阵P(t)=(pij(t))，i,jI，t0性质：若i为过程在状态转移之前停留在状态i的时间，则对s,t0有(1)(2)i服从指数分布证(1)事实上}{}|{tPstsPiii55.1连续时间马尔可夫链ss+t0iiiiti})0(|0,)({}{iXsuiuXsi})0(|,)(,0,)({}{iXtsvsivXsuiuXtsi65.1连续时间马尔可夫链{|}{(),0,(),|(),0}{(),|(),0}{(),|()}{(),0|(0)}{}iiiPstsPXuiusXvisvstXuiusPXvisvstXuiusPXvisvstXsiPXuiutXiPt条件概率马尔可夫性齐次性75.1连续时间马尔可夫链(2)设i的分布函数为F(x),(x0),则生存函数G(x)=1-F(x)由此可推出G(x)为指数函数，G(x)=e-x,则F(x)=1-G(x)=1-e-x为指数分布函数。)()()(}{}{}{}{}{}{},{}|{}{tGsGtsGtPsPtsPsPtsPsPstsPstsPtPiiiiiiiiiii85.1连续时间马尔可夫链•过程在状态转移之前处于状态i的时间i服从指数分布(1)当i=时，状态i的停留时间i超过x的概率为0，则称状态i为瞬时状态；(2)当i=0时，状态i的停留时间i超过x的概率为1，则称状态i为吸收状态。xiiexF1)(,0)(1}{,1)(xFxPxFiii,1)(1}{,0)(xFxPxFiii9正则性分布律转移方程时间离散时间连续(0)(0)1,0()iiijppij01,lim()0,ijtijptij()()0,1nijnijjIpp()0()1ijijjIptptIkkjikijsptpstp)()()(Iklnkjliknijppp)()()(105.1连续时间马尔可夫链•定理5.1齐次马尔可夫过程的转移概率具有下列性质：(1)pij(t)0;(2)(3)证由概率的定义，(1)(2)显然成立，下证(3)Ikkjikijsptpstp)()()(Ijijtp;1)(115.1连续时间马尔可夫链IkkjikIkikkjIkIkIkijsptptpspiXktXPktXjstXPiXktXPiXktXjstXPiXktXjstXPiXjstXPstp)()()()(})0(|)({})(|)({})0(|)({})0(,)(|)({})0(|)(,)({})0(|)({)(125.1连续时间马尔可夫链•注：此为转移概率的正则性条件。01,lim()0,ijtijptij13I初始概率、绝对概率ipi(0)pi(t)tt+τTjpij(t,τ)145.1连续时间马尔可夫链•定义5.3(1)初始概率(2)绝对概率(3)初始分布(4)绝对分布•定理5.2齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质：IjjXPppjj},)0({)0(0,},)({)(tIjjtXPtpjIjpj,(),0jptjIt155.1连续时间马尔可夫链(1)pj(t)0(2)(3)(4)(5)Iiijijtpptp)()(Iiijijptptp)()()(Ijjtp1)(IinniiiiiiinnttpttptppitXitXPnn)()()(})(,,)({1121111211165.1连续时间马尔可夫链•例5.1证明泊松过程{X(t),t0}为连续时间齐次马尔可夫链。证先证泊松过程的马尔可夫性。泊松过程是独立增量过程，且X(0)=0，对任意0t1t2tntn+1有})()({})()(,,)()(,)0()(|)()({})(,,)(|)({1111121211111111nnnnnnnnnnnnnnnniitXtXPiitXtXiitXtXiXtXiitXtXPitXitXitXP175.1连续时间马尔可夫链另一方面即泊松过程是一个连续时间马尔可夫链。})(|)({})(,,)(|)({})()({})0()(|)()({})(|)({111111111111nnnnnnnnnnnnnnnnnnnnnnitXitXPitXitXitXPiitXtXPiXtXiitXtXPitXitXP所以185.1连续时间马尔可夫链再证齐次性当ji时，当ji时,因增量只取非负整数值,故pij(s,t)=0，所以转移概率与s无关，泊松过程具有齐次性。)!()(})()({})(|)({ijteijsXtsXPisXjtsXPijtijijijtetptspijtijij,0,)!()()(),(195.2柯尔莫哥洛夫微分方程•引理5.1设齐次马尔可夫过程满足正则性条件，则对于任意i,jI，pij(t)是t的一致连续函数。•定理5.3设pij(t)是齐次马尔可夫过程的转移概率，则下列极限存在ijqttpqttpijijtiiiiit,)(lim)2()(1lim)1(0001,lim()0,ijtijptij205.2柯尔莫哥洛夫微分方程称为齐次马尔可夫过程从状态i到状态j的转移速率（跳跃强度）。推论对有限齐次马尔可夫过程，有ijijijijtiitiiijijiiIjijijijiiqttpttpqtptptpqq)(lim)(1lim)()(1,1)(00证215.2柯尔莫哥洛夫微分方程•若连续时间齐次马尔可夫链具有有限状态空间I={0,1,2,,n}问题：能否由Q可求转移概率？10001010111201nnnnnnnQqqqqqqQQqqqQ225.2柯尔莫哥洛夫微分方程•定理5.4(柯尔莫哥洛夫向后方程)假设，则对一切i,j及t0，有证由切普曼-柯尔莫哥洛夫方程有ikikiiqq()()()ijikkjiiijijkiptqptqptQP)()](1[)()()()()()()(tphptphptphtptphphtpijiikjikikijijkjIkikij235.2柯尔莫哥洛夫微分方程)()()()(1lim)()(lim)()(lim)(000tpqtpqtphhptphhphtphtptpijiikjikikijiihkjikikhijijhij•定理5.5(柯尔莫哥洛夫向前方程)在适当的正则条件下有jjijkjjkikijqtpqtptp)()()(245.2柯尔莫哥洛夫微分方程向后方程的矩阵形式：P(t)=QP(t)向前方程的矩阵形式：P(t)=P(t)Q222120121110020100qqqqqqqqqQ)()(,)()()()()()()()()(222120121110020100tptPtptptptptptptptptpPij0)(!)()(nntQnQtetPQ则有是一个有限矩阵，若注：255.2柯尔莫哥洛夫微分方程定理5.6齐次马尔可夫过程在t时刻处于状态jI的绝对概率pj(t)满足方程：jjjkjjkkjqtpqtptp)()()(证jjijikjjkikiijijjijkjjkikijijIiijijIiijqtppqtpptppqtpqtptptpptptpptp)()()()()()()()(),()(由向前方程265.2柯尔莫哥洛夫微分方程jjjkjjkkjjIiijikjjkIiikijIijjijikjiijkikiIiijiqtpqtpqtppqtpptpqtppqtpptpp)()()()()()()()(275.2柯尔莫哥洛夫微分方程•定义5.4设pij(t)是连续时间马尔可夫链的转移概率，若存在时刻t1和t2，使得pij(t1)0，pji(t2)0，则称状态i与j是互通的。若所有状态都是互通的，则称此马尔可夫链为不可约的。可定义状态的常返性285.2柯尔莫哥洛夫微分方程•定理5.7设连续时间马尔可夫链是不可约的，则有下列性质：(1)若它是正常返的，则极限存在且等于j0，jI。这里j是的唯一非负解，此时称{j0，jI}是该过程的平稳分布，并且有(2)若它是零常返的或非常返的，则)(limtpijtjjttp)(lim1,IjjjkkjkjjjqqIjitptpjtijt,,0)(lim)(lim295.2柯尔莫哥洛夫微分方程•例5.2设两个状态的连续时间马尔可夫链，状态转移概率满足01100001000100101111100011hhhhp(h)ho(h)p(h)ho(h)p(h)p(h)qlimlimqhhp(h)p(h)qlimlimqhh证明：305.2柯尔莫哥洛夫微分方程QQQQqqqqQnn12222211100100)]([)()(315.2柯尔莫哥洛夫微分方程QeEnQtEnQtEnQtEnQtetPtnnnnnnnnnQt11!])([)(1!])([!)(!)()()(11110325.2柯尔莫哥洛夫微分方程转移概率为tttteeee)()()()(ttttetpetpetpetp)(11)(10)(01)(00)()()()(335.2柯尔莫哥洛夫微分方程转移概率的极限为平稳分布为)(lim)(