随机过程第五章

连续时间的马氏链11.定义：时间连续、状态离散的马尔科夫过程。设随机过程,0Xtt，状态空间0,1,...I,若对任意的110.....ntt121,,...,niiiI及有111111,...,nnnnnnnnpXtiXtiXtipXtiXti则称其为连续时间马尔科夫链。马尔可夫过程的任意有限维分布函数均可用它的初始分布和二维条件分布函数来确定。转移概率：在s时刻处于状态i，经过时间t后转移到状态j的概率:,ijpstpXtsjXsi齐次转移概率：,ijijpstpt(转移概率与起始时刻s无关，只与时间间隔t有关)转移概率矩阵：,,,0ijPtptijIt.2.齐次马尔科夫过程的性质：0;1;ijijijikkjjIkIptptptsptps；PstPsPt3.转移概率的正则性条件:01,lim0,ijtijptij过程刚进入某状态不可能立即又跳跃到另一状态。4.初始概率00,iipppXiiI5.绝对概率,,0jptpXtjjIt11211112110;1;;;..........;nnjjjiijjIiIjiijiInniiiiiiinniIptptptpptptptppXtiXtipptpttptt6.初始分布,ipiI7.绝对分布,,0jptjIt8.停留时间的概率：连续时间的马氏链2i为过程在状态转移之前停留在状态i的时间，则对,0st有：1iiipstspt;2i服从参数为i指数分布，1iixFxe；当i无穷时：1,10iiiFxpxFx状态i的停留时间i超过x的概率为0，则称状态i为瞬时状态;当i=0时：0,11iiiFxpxFx状态i的停留时间i超过x的概率为0，则称状态i为吸收状态;3当过程离开状态时，接着以概率ijp进入j状态.在状态i过程停留的时间与下一个到达的状态必须是相互独立的随机变量。9.科尔莫戈罗夫微分方程齐次马尔可夫过程满足正则性条件，则对于任意i,j∈I,ijpt是t的一致连续函数科尔莫戈罗夫向后方程：'PtQPt；科尔莫戈罗夫向前方程：'PtPtQ：'Pt为Pt的导数。'Pt='ijpt=ijdptdt初始条件：1;00;ijijpij若Q为一个有限矩阵则有：0!jQtjQtPtej10转移速率：ijpt是齐次马尔可夫过程的转移概率，在下列极限存在：1）01limiiiiitptqt；2）0lim.ijijtptqijt。3）ijq为齐次马尔可夫过程从状态i到状态j的转移速率；连续时间的马氏链34）对有限齐次马尔可夫过程iiijijqq；5）对状态空间无限的齐次马尔可夫过程iiijijqq。11Q矩阵'0;'0;'0iiiiijijQPqpqp12绝对概率齐次马尔可夫过程在t时刻处于状态jI的绝对概率jpt满足方程:';jkkjjjjkjptptqptq;jiijiIptppt';ijikkjijjjkjptptqptq13.互通设ijpt是连续时间马尔可夫链的转移概率，若存在时刻12tt，使得10ijpt，20ijpt，则称状态i与j是互通的。若所有状态都是互通的，则称此马尔可夫链为不可约的。14.渐近性质设时间连续的马尔可夫链为不可约的，具有如下性质：1）若其为正常返的则lim0,ijjtptjI。j为方程组1jjjkkjkjjiIqq的唯一非负解，此时称,jjI是该过程的平稳分布并且有limjjtpt2）若其为零常返或非常返的，则limlim0,i,ijjttptptjI15生灭过程设其次马尔科夫过程,0Xtt的状态空间为1,2,....I，转移概率为ijpt如果：,1,10,,j;0;0,01;,2iiiiiiiiiiiiiphhhphhhphhhphhij。则称其为生灭过程i为出生率i为死亡率。,,.iiii为正常数，则称其为线性生灭过程。连续时间的马氏链4若i=0则为纯生过程。若i=0则为纯灭过程平稳分布存在的充要条件：011112........jjj11jjjj