第六讲-马氏链模型

线性代数模型Durer魔方植物基因的分布常染色体的隐性疾病马尔科夫链模型四马尔科夫链模型MarkovChainModel讨论材料1某商店每月考察一次经营情况，其结果用销路好或销路坏这两种状况之一表示。已知如果本月销路好，下月仍保持这种状况的概率为0.5；如果本月销路坏，下月转变为销路好的概率为0.4。试分析假若开始时商店处于销路好的状况，那么经过若干月后能保持销路好的概率有多大？若开始时商店处于销路坏的状况呢？商店的经营问题推测会有什么结果怎么证明你的结果由此问题想到什么0123410.50.450.4450.4445？00.50.550.5550.5555？n1分析nna105105105)(22)(101110111051n9594)(1na情形1开始经营好0123400.40.440.4440.4444？10.60.560.5560.5556？nnna10410410421)()(101110111041n9495)(2na情形2开始经营坏不管开始经营情况如何，经过足够长时间后，商店销路不好的概率大于好的概率，好坏的可能是4/9和5/9推测：21nnXX表示销路好；表示销路坏；210,,n2问题分析及符号说明商店的经营状况是随机的，每月转变一次。建模目标是经过一段时间（若干月）后，经营状况如何，即经营好或经营坏的概率分别为多少？nX用随机变量表示第n个月的经营状况nX称为这个经营系统的状态。用nai表示第n月处于状态i的概率，,,21i即iXPnaninai称为状态概率。ijp表示已知这月处于状态i下月处于状态j的概率，,,,21ji即iXjXPpnnij|1ijp称为状态转移概率。0.50.40.50.612状态及转移情况图2121111001papaa2221212001papaa3建模21211111pnapnana22212121pnapnana2221ijpPnanana,,令22211211212111ppppnananana,,Pnana1P概率转移矩阵Pnana121Pna10nPanPana04求解P特征值为1，1/10101001/D11145Q949495941Q94949594101451001111nQQDPnn60405050....P当n95949594nP95949594212100)()()()(aanana)()()(010021aa)()()(959421nana)()()(100021aa)()()(959421nana当n5结论不论初始状态如何，经过相当长的时间后经营状态趋于稳定的概率。注意到经营系统在每个时期所处的状态是随机的，但从这个时期到下个时期的状态按照一定的概率进行转移，并且下个时期的状态只取决于这个时期的状态和转移概率，与以前各个时期的状态无关。这种性质称为无后效性，或马尔可夫（Markov）性，即已知现在，将来与历史无关。具有无后效性的，时间、状态均为离散的随机转移过程，通常用马氏链（MarkovChain）模型描述。马氏链模型在经济、社会、生态、遗传等许多领域有广泛应用，不仅可以解决随即转移过程，还可以处理一些确定性系统的状态转移问题。健康与疾病问题人寿保险公司对受保人的健康状况非常关注，需通过大量的数据对状态转变的概率作出估计，才能制定出不同年龄、不同健康状况的人的保险金和理赔金数额。假定对某一年龄段的人，今年健康、明年保持健康状态的概率为0.8，即明年转为疾病状态的概率为0.2；而今年患病、明年转为健康状态的概率为0.7，即明年保持疾病状态的概率为0.3。如果一个人投保时处于健康状态，研究若干年后他分别处于两种状态的概率。讨论材料2比较材料1与材料2的结果，你能得出什么结论？人寿保险公司考虑到人的死亡情况，把死亡作为第三种状态情况如何？nPana030702080....P0.20.70.80.312经计算0123410.80.780.7780.77787/900.20.220.2220.22222/9nna1na2n0123400.70.770.7770.77777/900.30.230.2230.22232/9na1na23nX0.02问题的进一步考虑人寿保险公司考虑到人的死亡情况，把死亡作为第三种状态，用表示。0.180.650.80.251230.1设nai表示状态概率，,,,321iijp表示状态转移概率，321,,,ji,其值见上图。第1n年的状态概率可由全概率公式得到：1001025065002018080......P建模第1n年的状态概率可由全概率公式得到：333232131332322212123132121111111pnapnapnanapnapnapnanapnapnapnananPana0经计算0123305010.80.7570.72850.26980.1293000.180.1890.18350.06800.0326000.020.0540.08800.66210.83811nna1na2na3如果设初始状态概率为,,.,.0025007500321aaa则当n时，nanana321,,的趋向与上表相同。结论：不管初始状态如何，最终都要转到状态3，这代表了另一种重要的马氏链类型。P，当它的所有分量是非负，一般地，一个行向量且行和为1，称此向量为概率向量。每行都为概率向量的矩阵，称为概率转移矩阵。正则链吸收链定义1一个有k个状态的马氏链如果存在正整数N使从任意状态i经过N次转移都以大于零的概率到达状态kjij,,,,21，则称为正则链。特点从任意状态出发经过有限次转移都能到达另外的任意状态。定义2转移概率1iip的状态i称为吸收状态。如果马氏链至少包含一个吸收状态，并且从每一个非吸收状态出发，能以正的概率经有限次转移到达某个吸收状态，那么这个马氏链称为吸收链。吸收链的转移矩阵的标准形式：r个吸收状态，rkSROIPrr其中，rk阶子方阵S的特征值满足1个非吸收态定理1若马氏链的转移矩阵为P，则它是正则链的充要条件是，存在正整数N使0NP（指NP的每一元素大于零）。（用这个定理检验一个马氏链是否为正则链。）定理2w由kiilim存在，记作PP的每一行都是稳态概率w,,,,k21使得当n时状态概率wwna,概率0a无关。正则链存在唯一的极限状态概率与初始状态nPana0由又称为稳态概率。Pnana1上例中),(9594w95949594P1信息传播问题一条消息在,,,,naaa21等人中传播，传播的方式是1a传给,2a2a传给,3a如此继续下去，每次传播都是由ia传给,1ia每次传播消息的失真率为,,10pp即ia将消息传给,1ia时，传错的概率为p这样经过长时间传播第n个人得知消息时，消息的真实程度如何？第n个人知道消息可能是真，也可能是假，有两种状态，记为21nnXX表示消息假；表示消息真；210,,n用nai表示第n个人处于状态i的概率，,,21i),()(nanana21即状态概率为由题意，状态转移概率矩阵为ppppP11bbaaP11,10p由P为正则矩阵。nPana0求w=?令ppppP11设),(21kiiwwPw11bbaa),())(,)((212111wbawbwwa11121212211)()(得),(baababw),(2121w21212121////nP)/,/(2121na结论长时间传播消息的真实性趋于稳定，且消息的真假概率各半。例1中5215221211////P)/()/(/5221521babw94952w2迷宫问题（1）下面给出一个迷宫图。迷宫有两个分隔间，分别记为1，2。每个分隔间粉刷成不同的颜色，试验者把一只老鼠放在迷宫的某个分隔间内，不同的颜色对老鼠的吸引作用不同，从第i个分隔间转移到第j个分隔的概率为ijp30705050....)(ijpP迷宫112问题：老鼠运动会趋于稳定吗？),(125127w三个分隔间的情形如何？302050304030207010.........)(ijpP迷宫2123),,(12233122536118w迷宫3231在第一个分隔间放进实物，其他两个分隔间粉成不同的颜色，老鼠可由一个分隔间到达其他分隔间，但当到达第一分隔间时，被实物吸引，不再运动到其他分隔间，已知转移矩阵P，长时间后，老鼠运动状态如何？迷宫问题（2）迷宫问题（2）问题（1）经过n次观察后，老鼠处于各个分隔间的概率？（2）长时间运动后，老鼠的运动状态如何？（3）若再增加一个放食物的分隔间，情况又如何？1）分析,,21n321,,),(inXi时间的离散性每个时段状态的随机性321,,),(inai处于第i个状态的概率403030304030001......)(ijpP若转移概率矩阵为P2）马氏链模型nPana0可以看出，老鼠从第2，3个分隔间可以以大于零的概率达到每个分隔间，但从第1个分隔间，不能以大于零的概率达到其他分隔间。猜测：最后老鼠停留在第1个分隔间。3）求解计算nnnPanalimlim0求nPSROP1记),(00O3030..R40303040....SSROSROP11221SSRROSROSSRROP113321SRSSRROnnnSRSSRROP11nnSRSSIO)(111001InnPlimnnnnSRSSIOlim)(lim11nnnnnnSRSSIOPlim)(lim1lim1由于从第2，3个分隔间总是以大于零的概率达到第1个分隔间，0000OSnnlimISSISIn))((1又由11)(SISSIn记1nSSIF1)(SInnPlimOFRO1本例中001000321321FRaaaaaa))(),(),((),,(11403030401001....)(SIF160303060....603030602