电子科技大学-随机过程-覃思义-第六章sjgc6.5

电子科技大学对离散参数齐次马氏链，我们主要讨论了下列问题：转移概率函数、转移矩阵；初始分布、绝对分布；遍历性、平稳分布；状态间的转移时间、概率及性质；状态的分类。类似离散参数马氏链，只是把离散的时间参数改为连续的时间参数，有类似的结果。§6.7连续参数马尔可夫链电子科技大学设随机过程{X(t),t0}，状态空间E={0,1,2,…}。若对于0t1t2…tntn+1及非负整数i1,i2,…in,in+1，有P{X(tn+1)＝in+1|X(t1)=i1,X(t2)=i2,…,X(tn)=in}＝P{X(tn+1)＝in+1|X(tn)=in}即马尔可夫性成立，则称{X(t),t0}为连续参数马尔可夫链。改为连续的时间参数，便可得到类似的结果。电子科技大学1),(,1),(0Ejijijtsptsp我们称P(s,t)＝(pij(s,t))i,jE为此马氏链的转移矩阵。这里，pij(s,t)的直观意义是：系统(或质点)在时刻s时处于状态i，再经过t时间转到状态j的条件概率。转移概率函数设{X(t),t0}为连续参数马氏链，对任意i,jE＝{0,1,2,…}，任意非负实数s,t，条件概率pij(s,t)＝P{X(t+s)=j|X(s)=i},则称为此马氏链{X(t),t0}的转移概率函数，显然电子科技大学若{X(t),t0}为连续参数马氏链的转移概率pij(s,t)与时间起点s无关，即pij(s,t)＝P{X(s+t)=j|X(s)=i}＝pij(t)则称{X(t),t0}为连续参数齐次马氏链。一般地，我们要求齐次马氏链的转移概率函数满足如下的连续性条件：jijitpijijt,0,1)(lim0类似地，P(t)＝(pij(t))i,jE称为此齐次马氏链的转移矩阵。0pij(t)1，。1)(Ejijtp电子科技大学设{X(t),t0}为连续参数齐次马氏链pj＝P{X(0)=j}，jE，称{pj,jE}为该马氏链的初始分布.绝对分布、遍历性、平稳分布pj(t)＝P{X(t)=j}，jE，称{pj(t),jE}为该马氏链的绝对分布.Ejitpjijt,,0)(lim如果转移概率极限存在，，且与i无关则称此连续参数齐次马氏链为遍历的马氏链.此时，我们说该链具有遍历性。电子科技大学EiijijEjjjtpvvvv)(1,0如果{vj,jE}满足则称{vj，jE}为齐次马氏链{X(t),t0}的平稳分布。若j0，，则称{j,jE}为齐次马氏链{X(t),t0}的极限分布。1Ejj电子科技大学连续性条件：jijipijij,0,1)0(2.pij(t)满足C-K方程Errjirijsptpstp)()()(矩阵形式:P(t+s)＝P(t)P(s)转移概率函数的性质。1)(Ejijtp1.0pij(t)1，i,jE；电子科技大学3.绝对概率满足Eiijijtpptp)()(如果齐次马氏链{X(t),t0}是遍历马氏链，则Ejtptpjijtjt,)(lim)(lim电子科技大学4.设齐次马氏链{X(t),t0}的状态有限，E={0,1,2,…,s}，如果存在t00，使得对任意i,jE，都有pij(t0)0，则此齐次马氏链{X(t),t0}为遍历的齐次马氏链。即Ejtpjijt,)(lim存在且与i无关，并且极限分布{j,jE}是唯一的平稳分布.。EiijijEjjjtp)(,1,0电子科技大学5.对固定的i,j，函数pij(t)是t0的一致连续函数。6.满足连续性条件的连续参数齐次马氏链{X(t),t0}存在下列极限jiqttpqqttpijijtiiiiit,)(lim)2(,)(1lim)1(00其中qi表示在时刻t时通过状态i的通过速度(或通过强度)；qij表示时刻t时从状态i转移到状态j的速度(或强度)，qij统称转移速度。电子科技大学ssssssssqqqqqqqqqqqqqqqqQ210222212011211100020100称为齐次马氏链{X(t),t0}的状态转移速度矩阵，简称Q-矩阵。状态转移速度矩阵设连续参数齐次马氏链{X(t),t0}，状态空间E={0,1,2,…,s}，下面s+1阶方阵：电子科技大学jiqjiqpijiiij,,)0('由连续性条件和导数的定义，显然有即P’(+0)＝Q。电子科技大学转移概率与转移速度的关系设齐次马氏链{X(t),t0}，状态空间E={0,1,2,…,s}，其转移速度ijEjijiiijqqq,,0设{X(t),t0}为连续参数齐次马氏链，当qi+，＝qi时，满足柯尔莫哥洛夫后退微分方程ijEjijq,ikEkkjikijiijtpqtpqdttdp,)()()(即P’(t)＝QP(t)电子科技大学设{X(t),t0}为连续参数齐次马氏链,当qi+,＝qij对i一致成立，则有柯尔莫哥洛夫前进微分方程ttpijt)(lim0kjjkEkikjijijqtpqtpdttdp,)()()(即P’(t)＝P(t)Q电子科技大学jrErrjrjjqtptptp,)()()('齐次不可约连续参数马氏链{X(t),t0}存在极限分布，即为平稳分布{j,jE}0,jiEiijijjqq即Q＝0（零向量）绝对概率满足（福克-普朗克方程）