连续时间马尔可夫链

1第三节连续时间马尔可夫链21连续时间马尔可夫链定义连续时间的马尔可夫链是这样一种随机过程，它：具有无记忆性状态空间是离散的时间上是连续的与离散时间的马尔可夫链的不同在于其状态发生变化的时刻是任意时刻，是连续值。31连续时间马尔可夫链定义取值在非负整数集E上的随机过程X={Xt,tT=[0,)},如果对一切T中的时刻0t1t2…tn+1及满足的任意状态成立着则称X是连续时间的马尔可夫链。(,1)0ktkPXikn(1)kiEkn11{|,1}{|}nknnttkttnPXjXiknPXjXinn＋1inin+1与此历史无关41连续时间马尔可夫链定义记pij(s,t)=P(Xt=j|Xs=i)若此转移概率只与t-s有关，则称它为X的齐次转移概率函数，此马氏链X为连续时间齐次马氏链。记pij(t),成为长度为t的时间区间上的转移概率为连续时间马氏链的齐次转移矩阵其中000102101112202122()()()...()()()...()()()()()...............ijptptptptptptPtptptptpt()0()1ijijjptpt1/21/31/6(2.5)1/302/3100P例如：51连续时间马尔可夫链定义若满足下述条件则称P(t)是X的标准转移矩阵。有：01lim()0ijtijptij如如1(0)0(0)ijijpijPI62K-C方程1.K-C方程：写成矩阵的形式:P(t+s)=P(t)·P(s)2.K氏前向方程3.K氏后向方程Q称作密度矩阵，或瞬时概率转移矩阵，也叫瞬时强度转移矩阵，通常称作Q矩阵。()()()ijikkjkptsptps'()()'()()ijikkjkPtPtQptptq'()()'()()ijikkjkPtQPtptqpt（书31页）73Q矩阵若则排队论中Q矩阵性质行和为0对角线元素为负数如果Q矩阵中元素为0，则表示这种直接转移不可能发生01lim()0ijtijptij如如00()1lim'(0)(0)()lim'(0)(,)'(0)iiiiiiiiitijijijijtptqpqqtptqpqijtQP10642.52.50112Q例：83Q矩阵齐次马尔可夫链状态之间的瞬时转移可以用图表示，图上标明状态之间瞬时强度转移值qij，叫状态流图10642.52.50112Q例：0122.56411状态流图94Q矩阵P(t)依据K氏微分方程，可以从Q矩阵求得P(t),P(0)=I.例：考察E＝{0,1}的连续时间马氏链X，设t极小0110()()()()pttotpttot104绝对概率初始分布(p0,p1,p2,p3,…)pi=P(X(0)=i)=i(0)绝对分布(0(t),1(t),2(t),3(t)…)j(t)=P(X(t)=j)=由初始分布与t时间区间转移概率矩阵求t时刻绝对分布为求瞬时概率分布函数的方程组()iijippt'()()(0)jkkjiikttqp初值：115平稳分布定义若存在，且，则{j}称为齐次马尔可夫链的平稳分布如何判别连续马尔可夫链的平稳分布必定存在？转移概率矩阵是标准的不可约的齐次马氏链，则极限存在，且与初始分布无关正常返的齐次马氏链，则此极限值为平稳分布，且全部大于0lim()()jjttjE1jj125平稳分布如何求离散马尔可夫链的平稳分布？定理3.1若存在，则。根据若存在平稳分布，则lim()()jjttjElim'()0jtt'()()jiijittqlim'()lim()jiijttittq001iijiiiqQ写成矩阵形式：134平稳概率例题一个连续时间的马氏链E={0,1,2},其状态强度转移矩阵和状态转移图为平衡方程：列出方程组得：110231011Q1021112012(,,)0Q0101212012203001012112414主要公式对比离散时间马氏链连续时间马氏链转移概率一步转移概率pij一步转移概率矩阵Pn步转移概率n步转移概率矩阵P(n)t时间区间转移概率pij(t)t时间区间转移概率矩阵P(t)强度转移矩阵Q瞬时分布初始分布pin时刻分布初始分布pit时刻分布j(t)平稳分布(n)ijp(n)jπ15主要公式对比离散时间马氏链连续时间马氏链K-C方程前向方程后向方程瞬时分布平稳分布()()()()nmnmijikkjknmnmpppPPP()()()()()()ijikkjkptsptpsPtsPtPs'()()'()()ijikkjkPtPtQptptq'()()'()()ijikkjkPtQPtptqpt()()(0)()(1)()nnkkiknnniiiPXippPP()()jiijitppt'()()jkkjkttq()0PIP0Q166两个定理定理3.2一个连续时间的齐次马氏链，系统处在同一状态的连续时间服从负指数分布定理3.3一个离散时间的齐次马氏链，在同一状态连续停留时间的分布是几何分布因为马氏链停留在某状态下，发生转移的概率与在此状态停留了多长时间是无关的。