第五章习题答案

第五章习题解答5.1设P=(pij(t))是马氏链的转移概率矩阵，当状态空间I是有限集合时，证明det(P(t))0.证证证明明明：因为P(t)=eQt，我们知道P(t)e−Qt=I(I是单位阵)所以det(P(t))̸=0.又因为P(t)=P(t−s)P(s)，特别的取s=t=2时，我们有P(t)=(P(t2))2两边取行列式，既得到det(P(t))0.5.2对于马氏链的转移概率pjj(t)，证明：(1)pjj(t+s)≤1−pjj(t)+pjj(s)pjj(t)(2)对ts;pjj(t)−pjj(s)≤1−pjj(t−s).1第第第五五五章章章连连连续续续时时时间间间马马马尔尔尔可可可夫夫夫链链链第第第五五五章章章连连连续续续时时时间间间马马马尔尔尔可可可夫夫夫链链链证证证明明明：(1)pjj(t+s)=∑k∈Ipjk(t)pkj(s)=pjj(t)pjj(s)+∑k∈Ik̸=jpjk(t)pkj(s)≤pjj(t)pjj(s)+∑k∈Ik̸=jpjk(t)=1−pjj(t)+pjj(s)pjj(t)(2)一方面，我们知道pjj(t)≥pjj(t−s)pjj(s).所以pjj(t)−pjj(s)≥(pjj(t−s)−1)pjj(s)≥pjj(t−s)−1另一方面，pjj(t)−pjj(s)=pjj(t−s)pjj(s)−pjj(s)+∑k∈Ik̸=jpjk(t−s)pkj(s)≤1−pjj(t−s)5.3一个工人照看两台机床，第i台机床的正常工作时间服从参数为i的指数分布。每台机床发生故障后需要维修的时间服从参数为的指数分布。用马氏链描述t时机床的工作状态并写出该马氏链的转移速率和嵌入链的转移概率.解解解：：：用X(t)=i表示t时第i台机床在工作，X(t)=0表示没有机床在工作，X(t)=3表示两台机器在工作。X(t)是马氏链。转移概率计算结果如下：p00(t)=(e−t)2,p01(t)=p02(t)=1−e−t,p03(t)=(1−e−t)2;p10(t)=e−t·(1−e−1t),p11(t)=e−t·e−1t,p12(t)=(1−e−t)·(1−e−1t),p13(t)=e−1t·(1−e−t);p20(t)=e−t·(1−e−2t),p21(t)=(1−e−t)·(1−e−2t),p22(t)=e−t·e−2t,2第第第五五五章章章连连连续续续时时时间间间马马马尔尔尔可可可夫夫夫链链链第第第五五五章章章连连连续续续时时时间间间马马马尔尔尔可可可夫夫夫链链链p23(t)=e−2t·(1−e−t);p30(t)=(1−e−1t)·(1−e−2t),p31(t)=e−1t·(1−e−2t),p32(t)=e−2t·(1−e−1t),p33(t)=e−1t·e−2t;根据上面的转移概率矩阵和公式qij=p′ij(0)可以求出转移速率矩阵Q如下：Q=P′(0)=−201−(1+)020−(2+)021−(2+1)由上面的转移速率矩阵得到下面的嵌入链的转移概率矩阵如下：K=01212011+001+22+002+021+211+205.4设总体T1,T2,T3相互独立，Ti∼(i).从任何时间开始，生物群体中的每个个体等待时间T1后分裂成两个个体，等待时间T2后离开群体，外部的个体等待时间T3后进入群体。(a)用{X(t)}表示t时的个体数，写出转移速率矩阵；(b)如果个体总数达到m后就停止新的迁入，写出转移速率矩阵。解解解：：：(a)根据题意容易看出{X(t)}是生灭过程，2是离开群体的速度，可以看成死亡强度，与个体数有关。3是外部个体进入的速度，可以看成增加了一个出生强度，这与个体数无关。因此出生强度为：n=n1+3,在n0情况下，在个体数为0时，由于有个体进入，出生强度仍为3，而死亡强度为：n=n2,在n1情况下。转移速率矩阵Q的形式如3第第第五五五章章章连连连续续续时时时间间间马马马尔尔尔可可可夫夫夫链链链第第第五五五章章章连连连续续续时时时间间间马马马尔尔尔可可可夫夫夫链链链下：K=−00000···1−(1+1)100···02−(2+2)20···003−(3+3)3·····················(b)对n按个体总数是否达到m分情况讨论如下n=n1+3如果nm.n1如果nm.转移速率矩阵Q的形式和第一问一样.5.5教授和助教两人在办公室为同学进行答疑.对每位前来的学生，教授先对课程的内容答疑，答疑时间是来自指数总体(1)的随机变量，然后助教对作业的内容进行答疑，答疑时间是来自总体(2)的随机变量.任何时候到达的学生发现办公室有学生时就马上离开，不再要求答疑.用0，1，2分别表示办公室无学生，教授在答疑，助教在答疑，用X(t)表示t时的答疑状态.当学生按照强度为的泊松过程来到办公室时，(a)说明X(t)是马氏链；(b)写出转移速率；(c)计算马氏链在各状态的平均停留时间.解解解：：：(a)由题意，该马氏链有3种状态，并且状态的转移基于当前马氏链所处的状态，即：对于任何正整数n，t0t1···tn+1和i;j;i0;i1;···;in−1∈I有P(X(tn+1)=j|X(tn)=i;···;X(t0)=i0)=P(X(tn+1)=j|X(tn)=i)所以X(t)是马氏链.(b)该马氏链在状态0，1，2的停留时间分别服从指数分布(q0);(q1);(q2)，又因为学生按照强度为的泊松过程来到办公室，所以状态0的停留时间服从指数分布()，同时由题意状态1，2的停留时间分别服从指数分4第第第五五五章章章连连连续续续时时时间间间马马马尔尔尔可可可夫夫夫链链链第第第五五五章章章连连连续续续时时时间间间马马马尔尔尔可可可夫夫夫链链链布(1)，(2)，所以q0=;q1=1;q2=2，由题意：当状态0结束时，该马氏链只可能转移到状态1；当状态1结束时，该马氏链只可能转移到状态2；当状态2结束时，该马氏链只可能转移到状态0；再由∑2j=0qij=0可得：q01=;q12=1;q20=2;q02=0;q10=0;q21=0即Q=−00−1120−2(c)因为该马氏链在状态0，1，2的停留时间分别服从指数分布(q0);(q1);(q2)，所以该马氏链在状态0，1，2的平均停留时间分别为1=;1=1;1=2.5.6带有移民的线性生灭过程由n=n;n≥1;n=n+;n≥0描述.这里除了线性生灭过程描述的情况外，群体的外面人口按照强度为的泊松流迁入群体.用X(t)表示t时的人数，在条件X(0)=i下，计算EX(t).解解解：：：该移民的线性生灭过程由线性生灭过程及以强度为的泊松流迁入群体构成，并且迁入进来的个体进入线性生灭过程，由书上230页的结果可知：0时刻存在的单个个体在t时的期望人数为EX1(t)=e(−)t，所以ti时刻迁入的个体在t时的期望人数为e(−)(t−ti).该泊松流迁入群体在t时的人数可以看做复合泊松过程，以N(t)表示(0;t]迁入人数，̸=时：EX2(t)=EN(t)Ee(−)(t−ti)=t∫1te(−)(t−s)ds=te(−)t−1(−)t=e(−)t−1−5第第第五五五章章章连连连续续续时时时间间间马马马尔尔尔可可可夫夫夫链链链第第第五五五章章章连连连续续续时时时间间间马马马尔尔尔可可可夫夫夫链链链当=时，e(−)(t−ti)=1，所以EX2(t)=t.X(0)=i时，对于线性生灭过程，EX1(t)=ie(−)t.所以EX(t)=EX1(t)+EX2(t)=e()t−1−+ie(−)t;̸=t+i;=5.7例8.6中，如果到达的病人发现有人在排队，就放弃看病，用马氏链描述诊室的总人数。在稳定状态下，(a)计算诊室的平均人数；(b)计算医生的可用度；(c)计算能看病人数占到达人数的比例。解解解:(a)根据题意，用X(t)表示诊室的总人数，则X(t)=01,用S表示等待新到一个人所需的时间，用T表示离开一人所需的时间，则S，T独立，S∼();S∼()。{X(t)}在1的停留时间为p1=P(X(t)=1)=P(ST)=(+);{X(t)}在0的停留时间为p0=P(X(t)=0)=P(TS)=(+);则诊室的平均人数为：EX(t)=1·(+)+0·(+)=(+)(b)医生的可用度为：1−p0=1−P(X(t)=0)=1−(+)=(+)(c)计算能看病人数占到达人数的比例：·(1−p0)=·(+)=(+)6第第第五五五章章章连连连续续续时时时间间间马马马尔尔尔可可可夫夫夫链链链第第第五五五章章章连连连续续续时时时间间间马马马尔尔尔可可可夫夫夫链链链5.8只有一个修理工的修车处对每一辆自行车的修理时间服从均值为9分钟的指数分布，设需要修理的自行车按照每12分钟一辆的泊松流到达。在稳定状态下，(a)计算修车处自行车的平均数；(b)计算每辆自行车在修车处的平均滞留时间。解解解:(a)根据题意，用X(t)表示修车处的总人数，=1=12,=1=9套用例8.6公式,可得修车处自行车的平均数为：E(X(t))=Σ∞k=0kpk=(−);:=1=121=9−1=12=3(b)套用例8.6公式,可得修车处自行车的平均排队时间为：EΣX(t)k=1k=EX(t)E1=(−);:=1=121=9(1=9−1=12)=27由于每辆自行车在修车处的滞留时间等于排队时间与修理时间之和，故每辆自行车在修车处的平均滞留时间为：EΣX(t)k=1k+=27+9=365.9在习题5.8中,设新到者发现有车在排队等候就放弃修理.在稳定状态下(a)计算修车处的自行车的平均数;(b)计算修车处失去顾客的比例;(c)计算修车处的可用度.7第第第五五五章章章连连连续续续时时时间间间马马马尔尔尔可可可夫夫夫链链链第第第五五五章章章连连连续续续时时时间间间马马马尔尔尔可可可夫夫夫链链链解解解：：：(a)用X(t)表示修车处的自行车的总数，则X(t)=0或1,用S表示等待新到一个人所需的时间，由习题5.7可知:则修车处的自行车的平均数为：EX(t)=1·(+)+0·(+)=(+)此处=19;=112则EX(t)=1=121=9+1=12=37(b)修车处失去顾客表示此刻修理工正在工作,即失去顾客的比例亦为可用度.则b题与c题一致,p1=P(X(t)=1)=(+)=1=121=9+1=12=375.10如果马氏链的两个状态互通,则有常数a;b使得其转移概率矩阵P(t)=1a+ba+be−(a+b)tb−be−(a+b)ta−ae−(a+b)tb+ae−(a+b)t证证证明明明：：：设状态空间I=0;1对于MarkovChain{X(t);t∈[0;∞)}P01(∆t)=b∆t+o(∆t);P10(∆t)=a∆t+o(∆t)则可得Q=−bba−a;P(t)=P00P01P10P11;P(0)=1001由柯尔莫洛夫向前方程可得:dP00(t)dt=−bP00(t)+aP01(t);dP01(t)dt=bP00(t)−aP01(t)dP10(t)dt=−bP10(t)+aP01(t);dP11(t)dt=bP10(t)−aP11(t)P00(0)=P11(0)=1;P10(0)=P01(0)=08第第第五五五章章章连连连续续续时时时间间间马马马尔尔尔可可可夫夫夫链链链第第第五五五章章章连连连