第五章-连续时间马尔可夫链-随机过程

第五章连续时间马尔可夫链一、连续时间马尔可夫链概念定义：{X(t),t0}为取非负整数值的连续时间随机过程，如果对一切s，t0，0us及非负整数i，j，x(u)有{()|(),()(),0}PXtsjXsiXuxuus{(}|()}PXtsjXsi则过程{X(t),t0}称为连续时间马尔可夫链。连续时间马尔可夫链是具有马尔可夫性的随机过程，即已知现在s时的状态X(s)及一切过去时刻u,0us的状态X(u)的条件下在将来时刻t+s的状态X(t+s)的条件分布只依赖现在的状态X(s)而与过去独立。若又有{()|()}PXtsjXsi与s无关则称连续时间马尔可夫链是平稳的或齐次的。本章研究的马尔可夫链都是齐次的。二、连续时间马尔可夫链的状态逗留时间和转移速率命题以i记过程在转移到另一状态之前停留在状态i的时间，则对一切s，t0有{|}{}iiiPtssPt，因此，随机变量i是无记忆的必有指数分布，其参数设为ivss+t0iiiis+yii证明：{|}iiPtss{(),0|(),(),0}PXsyiytXsiXuius{(),0|()}PXsyiytXsi{(),0|(0)}PXyiytXi{}iPt连续时间马尔可夫链是一个具有如下性质的随机过程，每当它进入状态i：(1)在转移到另一状态之前处于状态i的时间服从指数分布，参数为iv；与下一个到达的状态独立。(2)当过程离开状态i时，接着以某个概率记为ijP进入状态j，1ijjiP。（若用nX表示第n次转移进入的状态，则{:0,1,2,}nXn为马尔可夫链，称为嵌入马尔可夫链。）iv的状态i称为瞬时状态，因为一旦进入此状态立即就离开。不研究瞬时状态,将始终假设对一切i，0iv。如果0iv，则称状态i为吸收的，因为一旦进入这一状态就永不再离开了。一个连续时间马尔可夫链称为规则的，若以概率1在任意有限时间内的转移次数是有限的。例：一个非规则的马尔可夫链的例子是2,11,.1,2,iiiPvii，则这个马尔可夫链总是从状态i到i+1，停留在状态i的时间服从均值为21/i的指数分布，它将以正的概率在任意长为t，(0)t的时间区间内作无限多次转移（因为2,1211111,,iiiiiiPvivi）。假设所考虑的全部马尔可夫链是规则的。对一切ij，ijq定义为ijiijqvP因为iv是过程离开状态i的速率而ijP是它转移到j的概率，所以ijq是过程从状态i转移到状态j的速率；称ijq是从i到j的转移率。显然iijjivq因此，可以这样设想马尔可夫过程，每当过程处于状态i时，直到转移到状态j的时间服从参数为ijq的指数分布，0,1,,1,1,jii且这些时间互相独立，则在i逗留时间为直到转移到各状态的时间中的最短的时间，服从参数为iijjivq的指数分布。以()ijPt记马尔可夫链现在处于状态i，再经过一段时间t后处于状态j的概率，即(){()|()}ijPtPXtsjXsi三、生灭过程定义：具有状态0,1,2,的连续时间马尔可夫链若||1ij时0ijq，则称为生灭过程。一个生灭过程从状态i只能转移到状态i-1或i+1，当状态增长l时，就说生了一个；而当它减少1时，就说死了一个。设,1iiiq，,1iiiq，值{,0ii}与{,1ii}分别称为生长率与死亡率。因为ijijiqv，可见iiiv,,1,1,iiiiiiiiiiPP因此，可以这样设想生灭过程，每当系统中有i个个体时，直到下一次出生的时间服从参数为i的指数分布，且独立于直到下一次死亡的时间，它服从参数为i的指数分布，则在i逗留时间为直到下一次出生的时间和直到下一次死亡的时间中的最短的时间，服从参数为ii的指数分布。0121nn……123n1n图中的圆圈表示状态，圆圈中的标号是状态符号。图中的箭头表示从一个状态到另一个状态的转移。0123n例5.3(a)两个生灭过程。(1)M/M/s排队系统.顾客按照参数为的泊松过程来到一个有s个服务员的服务站,每个顾客一来到,如果有服务员空闲,则直接进入服务,否则顾客排队等待.当一个服务员结束对一位顾客的服务时,顾客便离开服务系统,排队中的下一个顾客(若有顾客在等待)进入服务.相继的服务时间是独立的指数随机变量,均值为1/.以X(t)记时刻t系统中的人数,则{X(t),t0}是生灭过程.,0nn，,1,nnnssns……23ss0123s(2)有迁入的线性增长模型,1nnn,,0nnn的模型称为有迁入的线性增长模型，产生于生物繁殖与群体增长的研究中。群体中的每个个体以指数率生育（生育间隔时间为参数的指数分布）；此外，群体由于从外界迁入的因素又以指数率增加（迁入间隔时间为参数的指数分布）．因此在系统中有n个个体时，整个增长率是n。假定此群体的各个成员以指数率死亡，从而死亡率nn。2(1)nn……23n(1)n0123n若对一切n，0n(即若死亡是不可能的)，则生灭过程称为纯生过程，i个个体开始的纯生过程，生长率为,nni。i1i2i1nn……ii+1i+2i+3n最简单的纯生过程的例子是泊松过程，它具有常值出生率,0nn。……0123n第二个纯生过程的例子是这样的，群体中各个成员独立地活动且以指数率生育。若假设没有任何成员死亡，以X(t)记时刻t群体的总量，则{X(t),t0}是一个纯生过程，此纯生过程被称为尤尔过程,由i个个体开始的尤尔过程，,nnni。i(1)i(2)i(1)nn……ii+1i+2i+3n考虑一尤尔过程，在时刻0从一个个体开始，且以(1)iTi记第i-1次与第i次生育之间的时间。即iT是群体总量从i变到i+1所花的时间。从尤尔过程的定义得到(1)iTi是独立的，且iT是具有参数i的指数变量。现在2(1)nn……123n1{}1tPTte121210{}{|}ttPTTtPTTtTxedx=2()20(1)(1)ttxxteedxe12123123120{}{|}()tTTPTTTtPTTTtTTxdFx=3()30(1)2(1)(1)ttxxtteeedxe一般地可用归纳法证明12{}(1)tjjPTTTte因此，由12{}{()1|(0)1}jPTTTtPXtjX可见对于一个尤尔过程，111()(1)(1)(1),1tjtjttjjPteeeej从上可见，从一个个体开始，在时刻t群体的总量有几何分布，其均值为te。因此如果群体从i个个体开始，在时刻t其总量是i个独立同几何分布随机变量之和，有负二项分布，也即对尤尔过程11()(1),1ititjiijjPtCeejii(1)i(2)i(1)nn……ii+1i+2i+3n关于从一个个体开始的尤尔过程的另一个有趣的结果涉及时刻t的群体总量给定时出生时刻的条件分布。因为第i个出生时刻12iiSTTT，所以计算已给()1Xtn时S1,S2,,Sn的条件联合分布。直观地推导，并将密度当作概率处理可得，对0≤s1≤s2≤≤sn≤t11()(1),1ttjjPteejP{S1=s1,S2=s2,,Sn=sn|X(t)=n+1}=1122111{,,,,}{()1}nnnnnPTsTssTssTtsPXtn1121()(1)()2()2(1)nnnssntssssttneeneeee1121()(1)()2()2(1)nnnssntssssttneeneeee()1!1itsntiene因此，给定X(t)=n+1时S1,S2,,Sn的条件密度为(5.3.1)1121(,,|1)!(),0nninifssnnfsssst其中f是密度函数(5.3.2)(),0()10,txtextfxe其它但因为(5.3.1)是n个密度为f的随机变量的子样Y1,Y2,,Yn的顺序统计量Y(1),Y(2),,Y(n)的联合密度函数。于是得命题5.3.1一个尤尔过程，其X(0)=1，则给定X(t)=n+1时，出生时刻S1,S2,,Sn的分布如同取自密度为(5.3.2)的母体的容量为n的子样Y1,Y2,,Yn的顺序统计量Y(1),Y(2),,Y(n)的分布。例5.3(b)考虑一尤尔过程，其X(0)=1。计算在时刻t群体诸成员的年龄之和的均值。时刻t诸年龄之和，记为A(t)，可表示为()101()()XtiiAtattS其中a0是初始个体在t=0时的年龄。对X(t)取条件01[()|()1}[()|()1}niiEAtXtnatEtSXtn0()1[()|()1}[()}niiEAtXtnatEtY01[()}niiatEtY()00()1txtteatntxdxe(),0()10,txtextfxe其它或01[()|()}(()1)(1)ttteteEAtXtatXte，取期望且由()Xt有均值te得[()]EAt0011tteteata上面[()]EAt的公式可用下面的恒等式加以验证：(5.3.3)00()()tAtaXsds，取期望得00[()][()]tEAtaEXsds=00[()]taEXsds(因为X(s)0)=0001ttseaedsa11()(1),1ttjjPteej例5.3(c)一个简单的传染模型。考虑有m个个体的群体，在时刻0由一个已感染的个体与m-1个未受到感染但能被感染的个体组成。个体一旦受到感染将永远地处于此状态。任意一个已感染的人将任一指定的未被感染者变成已感染者的时间为参数为的指数分布。若以X(t)记时刻t群体中已受感染的个体数，则{X(t),t0}是一纯生过程，(),1,,10,nmnnnm其它(1)m(2)2m(2)2m(1)m…这是因为当有n个已受感染的个体时则m-n个未受感染者的每一个将以速率n变成已感染者。123m-1m以T记直至整个群体被感染的时间，则T能表示为11miiTT，其中iT是从i个已感染者到i+1个已感染者的时间。因为iT是独立指数随机变量，其参数分别为(),1,,1imiiim，可见1111[]()miETimi及122111()()()miVarTimi四、柯尔莫哥洛夫微分方程记(){()|()}ijPtPXtsjXsi代表过程目前处于状态i在时间t之后将处于状态j的概率，(0)ijijP假设()ijPt满足正则性条件：01,lim()0,ijtijPtij利用马尔可夫性，将导出两组()ijPt的微分方程，它们有时可求得显式解。但需要下面的引理。引理5.4.1(1)01()limiiitPtvt(2)0()lim,ijijtPtqijt引理5.4.2对一切，,,st0()()()ijikkjkPtsPtPs(