马尔科夫链模型

马尔可夫链模型马氏链模型•系统在每个时期所处的状态是随机的•从一时期到下时期的状态按一定概率转移•下时期状态只取决于本时期状态和转移概率已知现在，将来与过去无关（无后效性）描述一类重要的随机动态系统（过程）的模型马氏链(MarkovChain)——时间、状态均为离散的随机转移过程通过有实际背景的例子介绍马氏链的基本概念和性质例1.人的健康状况分为健康和疾病两种状态，设对特定年龄段的人，今年健康、明年保持健康状态的概率为0.8,而今年患病、明年转为健康状态的概率为0.7，1健康与疾病人的健康状态随着时间的推移会随机地发生转变保险公司要对投保人未来的健康状态作出估计,以制订保险金和理赔金的数额若某人投保时健康,问10年后他仍处于健康状态的概率,1,0,2,1,),(1njiiXjXPpnnij转移概率Xn+1只取决于Xn和pij,与Xn-1,…无关8.011p2.011112pp7.021p3.012122pp年疾病第年健康第状态nnXn,2,1,1,0,2,1),()(niiXPnani状态概率状态与状态转移状态转移具有无后效性2121111)()()1(pnapnana120.80.20.30.72221212)()()1(pnapnanan0a2(n)0a1(n)1设投保时健康给定a(0),预测a(n),n=1,2…设投保时疾病a2(n)1a1(n)0n时状态概率趋于稳定值，稳定值与初始状态无关22212122121111)()()1()()()1(pnapnanapnapnana3…0.778…0.222…∞7/92/90.70.770.777…0.30.330.333…7/92/9状态与状态转移120.80.20.30.710.80.220.780.221230.10.0210.80.250.180.65例2.健康和疾病状态同上，Xn=1~健康,Xn=2~疾病333232131332322212123132121111)()()()1()()()()1()()()()1(pnapnapnanapnapnapnanapnapnapnanap11=0.8,p12=0.18,p13=0.02死亡为第3种状态，记Xn=3健康与疾病p21=0.65,p22=0.25,p23=0.1p31=0,p32=0,p33=1n0123a2(n)00.180.1890.1835a3(n)00.020.0540.0880a1(n)10.80.7570.7285设投保时处于健康状态，预测a(n),n=1,2…•不论初始状态如何，最终都要转到状态3；•一旦a1(k)=a2(k)=0,a3(k)=1,则对于nk,a1(n)=0，a2(n)=0,a3(n)=1,即从状态3不会转移到其它状态。状态与状态转移001500.12930.03260.8381,1,0,,,2,1),()(nkiiXPnani状态概率)(1iXjXPpnnij转移概率),1,0(,2,1nkXn状态马氏链的基本方程1)(1nakiikippkjijij,,2,1,1,01）（非负，行和为转移概率矩阵1~}{kkijpPPnana)()1(kipnanakjjiji,,2,1,)()1(1基本方程状态概率向量~))(,),(),(()(21nanananaknPana)0()(wwPw满足马氏链的两个重要类型1.正则链~从任一状态出发经有限次转移能以正概率到达另外任一状态（如例1）。0,NPN正则链Pnana)()1()()(,nwnaw正则链3.07.02.08.0.1P例)9/2,9/7(w2211213.02.07.08.011kiiww满足121ww217.02.0www~稳态概率QRIPrr0马氏链的两个重要类型2.吸收链~存在吸收状态（一旦到达就不会离开的状态i,pii=1）,且从任一非吸收状态出发经有限次转移能以正概率到达吸收状态（如例2）。有r个吸收状态的吸收链的转移概率阵标准形式R有非零元素01)(ssQQIMTe)1,,1,1(Meyyyyrk),,(21yi~从第i个非吸收状态出发，被某个吸收状态吸收前的平均转移次数。Discussions2钢琴销售的存贮策略钢琴销售量很小，商店的库存量不大以免积压资金一家商店根据经验估计，平均每周的钢琴需求为1架存贮策略：每周末检查库存量，仅当库存量为零时，才订购3架供下周销售；否则，不订购。估计在这种策略下失去销售机会的可能性有多大，以及每周的平均销售量是多少。背景与问题问题分析顾客的到来相互独立，需求量近似服从波松分布，其参数由需求均值为每周1架确定，由此计算需求概率存贮策略是周末库存量为零时订购3架周末的库存量可能是0,1,2,3，周初的库存量可能是1,2,3。用马氏链描述不同需求导致的周初库存状态的变化。动态过程中每周销售量不同，失去销售机会（需求超过库存）的概率不同。可按稳态情况（时间充分长以后）计算失去销售机会的概率和每周的平均销售量。模型假设钢琴每周需求量服从波松分布，均值为每周1架存贮策略：当周末库存量为零时，订购3架，周初到货；否则，不订购。以每周初的库存量作为状态变量，状态转移具有无后效性。在稳态情况下计算该存贮策略失去销售机会的概率，和每周的平均销售量。模型建立Dn~第n周需求量，均值为1的波松分布)2,1,0(!/)(1kkekDPnSn~第n周初库存量(状态变量)状态转移规律nnnnnnnSDSDDSS,3,1368.0)0()11(111nnnDPSSPp0)12(112nnSSPp632.0)1()13(113nnnDPSSPp}3,2,1{nSDn01233P0.3680.3680.1840.0610.019448.0368.0184.0264.0368.0368.0632.00368.0333231232221131211pppppppppP状态转移阵448.0)3()0()33(133nnnnDPDPSSPp……模型建立Pnana)()1(3,2,1),()(iiSPnani状态概率)452.0,263.0,285.0(),,(321马氏链的基本方程448.0368.0184.0264.0368.0368.0632.00368.0P正则链稳态概率分布w满足wP=w已知初始状态，可预测第n周初库存量Sn=i的概率0,NPN正则链02Pn,状态概率)452.0,263.0,285.0()(na第n周失去销售机会的概率)(nnSDPn充分大时inwiSP)(模型求解105.0452.0019.0263.0080.0285.0264.0从长期看，失去销售机会的可能性大约10%。1.估计在这种策略下失去销售机会的可能性)()(31iSPiSiDPninnD01233P0.3680.3680.1840.0610.019321)3()2()1(wDPwDPwDP)452.0,263.0,285.0(w模型求解第n周平均售量]),([311innijniSjDPjR857.0452.0977.0263.0896.0285.0632.0)(])()([311iSPiSiDiPiSjDPjninnnnij从长期看，每周的平均销售量为0.857(架)n充分大时inwiSP)(需求不超过存量,销售需求需求超过存量,销售存量思考：为什么这个数值略小于每周平均需求量1(架)?2.估计这种策略下每周的平均销售量),(iSiDiPnn敏感性分析当平均需求在每周1(架)附近波动时，最终结果有多大变化。设Dn服从均值为的波松分布)2,1,0(,!/)(kkekDPkneeeeeeeeP)2/(12/)1(11022状态转移阵0.80.91.01.11.2P0.0730.0890.1050.1220.139第n周(n充分大)失去销售机会的概率)(nnSDPP当平均需求增长（或减少）10%时，失去销售机会的概率将增长（或减少）约12%。Discussions3基因遗传背景•生物的外部表征由内部相应的基因决定。•基因分优势基因d和劣势基因r两种。•每种外部表征由两个基因决定，每个基因可以是d,r中的任一个。形成3种基因类型：dd~优种D,dr~混种H,rr~劣种R。•基因类型为优种和混种,外部表征呈优势；基因类型为劣种,外部表征呈劣势。•生物繁殖时后代随机地（等概率地）继承父、母的各一个基因，形成它的两个基因。父母的基因类型决定后代基因类型的概率完全优势基因遗传父母基因类型决定后代各种基因类型的概率父母基因类型组合后代各种基因类型的概率DDRRDHDRHHHRDRH1000011/21/200101/41/21/401/21/23种基因类型：dd~优种D,dr~混种H,rr~劣种R完全优势基因遗传P(DDH)=P(dddd,dr)=P(ddd)P(ddr)P(RHH)=P(rrdr,dr)=P(rdr)P(rdr)=11/2=1/2=1/21/2=1/4随机繁殖•设群体中雄性、雌性的比例相等，基因类型的分布相同（记作D:H:R）•每一雄性个体以D:H:R的概率与一雌性个体交配，其后代随机地继承它们的各一个基因•设初始一代基因类型比例D:H:R=a:2b:c（a+2b+c=1),记p=a+b,q=b+c,则群体中优势基因和劣势基因比例d:r=p:q(p+q=1)。假设建模状态Xn=1,2,3~第n代的一个体属于D,H,R状态概率ai(n)~第n代的一个体属于状态i(=1,2,3)的概率。讨论基因类型的演变情况))()((1父基因类型后代基因类型iXjXPpnnijpddXddXPpnn)1)(1(111）（父为后代为基因比例d:r=p:qqddXdrXPpnn)1)(2(112）（父为后代为0)1)(3(113）（父为后代为ddXrrXPpnn2/2/1)2)(1(121ppdrXddXPpnn）（父为后代为2/12/12/1)2)(2(122qpdrXdrXPpnn）（父为后代为qpqpqpP02/2/12/0转移概率矩阵状态转移概率随机繁殖),2,()1()2(),2,()0()1(2222qpqpPaaqpqpPaa12,cbacbqbap马氏链模型,1,0,)()1(nPnana),2,()0(cbaaqpqpqpP02/2/12/0),2,()0(22qpqpwPwa任意，稳态分布自然界中通常p=q=1/2稳态分布D:H:R=1/4:1/2:1/4基因类型为D和H,优势表征——绿色，基因类型为R,劣势表征——黄色。解释“豆科植物的茎，绿色:黄色=3:1”(D+H):R=3:1随机繁殖近亲繁殖在一对父母的大量后代中,雄雌随机配对繁殖，讨论一系列后代的基因类型的演变过程。状态定义为配对的基因类型组合Xn=1,2,3,4,5,6~配对基因组合为DD,RR,DH,DR,HH,HR状态转移概率1)''''(111DDXDDXPpnn4/12/12/1)''''(131DHXDDXPpnn2/