马氏链及其应用

马尔科夫连原理及其建模实例马氏链及其应用1.一个简单的例子我们知道，人寿保险公司最为关心的是投保人的健康与疾病以及相应的风险。通过下面的例子我们来看保险公司是如何处理这类问题的。问题的提出设表示年龄的时段，假定在一年中，今年健康而明年患病的概率是而今年患病明年转为健康的概率为假设一个人在投保时处于健康状态，我们来研究若干年之后他分别处于这两种状态的概率。1,2,3,t0.2,0.7,建模用随机变量表示第年的状态，nXn12nX表示健康，表示疾病。1,2,3,n以表示第年状态为的概率。即nini.nniPXi⑴以表示今年状态处于明年状态处于的概率，即ijpij1.ijnnpPXjXi由全概率公式得到：1,,1,2.nniinjiiipjpij⑵即11121112,nnnpp11222212.nnnpp由假设，111221220.8,0.2,0.7,0.3,pppp⑶再由于投保人处于健康状态，即0011,20.由此得到01234110.80.780.7780.77787/9.200.20.220.2220.22222/9nnn若投保人在开始时处于疾病状态，即则有0010,21.01234100.70.770.7770.77777/9.210.30.230.2230.22232/9nnn从两张表中可以看到，无论投保人在初始时处于什么状态，当时间趋于无穷大时，该时刻的状态趋于稳定，且与初始值无关。即72lim1,lim2.99nnnn120.80.20.70.3两种状态的转移概率意义若将众多投保人处于两种状态的比例，视为投保人处于两种状态的概率，例如健康人占3/4，病人占1/4，即则同样可计算出0013/4,21/4,72lim1,lim2.99nnnn由上面的分析可以看出，对于给定的状态转移概率，时的状态概率，趋向于稳定值，该值与初始值无关，这是马氏链的重要性质。1,2nnn把人的死亡看作第三种状态，用来表示，相应的转移概率如下图表示。3nX120.80.180.650.25310.020.1三种状态的转移概率仍以表示状态为时的概率，表示状态转移概率，即有1,2,3niiiijp1112132122233132330.8,0.18,0.02,0.65,0.25,0.1,0,1,ppppppppp平行于⑴式，有11121311123,nnnnppp11222322123,nnnnppp13132333123,nnnnppp设投保人在期初处于健康状态，则由⑷可计算出若干年后他处于各个状态的概率。⑷01233050110.80.7570.72850.26980.012930200.180.1890.18350.06800.03260300.020.0540.08800.66210.83811nnnn表中最后一列数据是通过预测得到的。从表中的数据又可以看到，无论投保人在期初处于什么状态，当时，总有nlim31.nn2.马尔可夫链假设1.系统是随时间的发展而离散为0,1,2,3,;t2.在任何时刻，系统的状态为有限多个。在时间时，系统的状态的的取值为tS1,2,3,,;Sn3.在时刻时系统处于各状态的概率只与时刻时系统所处的概率与转移概率有关。1tt满足以上三个假设的系统的随机发展过程称为马尔可夫过程或马氏链。设在时刻时系统处于状态的概率为ti,1,2,3,,;1,2,3,.itint行向量称为状态概率向量，由概率的意义，向量应该满足12,,,ntttt⑸及0,1,2,,,0,1,2,.itint⑹11.0,1,2,.niitt⑺设在时刻处于状态的系统转移到时刻处于的概率为它应该满足tisjs1t,ijp1.0,,1,2,,,ijpijn11,1,2,.nijjpin2.⑻引如概率转移矩阵111212122212.nnijnnnnnnppppppPpppp由假设3，再由全概率公式得1111221121122222112211.1nnnnnnnnnnttptptpttptptpttptptp⑼用矩阵的方法来表示的话，⑼可以写成11.nijjijttp简单地可以写成1.ttP由此可得系统在时刻时的状态向量为t其中为时刻时系统的状态概率向量，又称为状态初始向量。00t0,ttP⑽例在前两例中，初始向量与概率转移矩阵分别为00.8,0.2,0.80.2,0.70.3P00.75,0.25,0,0.80.180.020.650.250.1.001P我们通过下面的例子具体说明：21122223321,ttptptp上式表明在时刻时投保人处于患病状态的概率为：1t21122223321210.180.25.ttptptptt从上面的例子中可以看出，对于马氏链模型，最重要的是构造状态及概率转移矩阵由此对于给定的初始状态由⑽可计算出任意时刻的状态S,P0,t.t正则链定义一个有个状态的马氏链，如果存在正整数使从任意状态经次的转移，能以大于零的概率到达状态则称这样的链为正则链.n,N,iN,1,2,,.jijn定理1设马氏链的转移矩阵为则该链为正则链的充分必要条件是存在使得,P,N0.NP定理2正则链存在唯一的极限状态概率12,,,,n满足与初始状态概率无关，且lim,ttww0及,wPw⑾11.niiw⑿例1设0.80.2,0.70.3P则由此确定的马氏链为正则链。令满足⑾式，即有12,,12120.80.2,,,0.70.3由此得到方程组1211220.80.7,0.20.3联系⑿则得到1212270,222,故方程组的解为1272,,.99ww这和前面的结果是相吻合的。例2设11022111,42411022P因23118281110,424113848P故由此确定的马氏链是正则链。令123,,,由方程⑾，⑿确定方程组121123212311,24111,2221.从方程中解出即123111,,,424123111,,,,.424吸收链定义如果存在某个状态转移概率则称状态是吸收的.如果马氏链中含有吸收状态,并且从每一个非吸收状态出发都可以达到某个吸收状态，则称这个马氏链为吸收链。1,iipi例如在前面三个状态的转移概率中，转移概率矩阵为0.80.180.020.650.250.1.001P并且从每个状态最终都转移到第三种状态,因而这样的链是吸收链。注吸收链的特征是：任一状态一旦进入该状态就将停留在该状态。含有个吸收状态和非吸收状态的吸收链的状态转移概率矩阵的标准形式是mnm0,mmnnnmnmIPRQ其中是单位矩阵。0,RI定理3对于具有标准形式的状态转移概率矩阵，有如下的性质：⑴矩阵具有零极限，即tQlim0.ttQ⑵矩阵可逆且IQ10.ttIQQ⑶记则矩阵的第行元素之和值是从非吸收状态出发被某个吸收状态吸收之前的平均转移次数。1,NIQii⑷记则矩阵的元素是从非吸收状态出发而被状态吸收的概率。BNRBbijij100.0.10.250.65,0.020.180.8P在前面的例2中,将改写成P则0.250.650.1,.0.180.80.02QR则0.250.650.1,.0.180.80.02QR110.750.650.20.651,0.180.20.180.750.033IQ0.20.650.10.03311,0.180.750.020.0330.0330.033B应用基因遗传问题生物的外部特征是由生物体内的基因决定的。基因分优势与劣势基因两种。分别表示为对于生物的某个外部特征，体内有两个基因与之对应。由于体内的每个基因都可以是两种基因之一，因此体内的基因对类型可能有三种：分别被称为优种、混种和劣种。按基因理论：含优种和混种的基因个体类型，其外部特征呈优势；而含劣势基因类型的个体，其外部特征呈劣势。,.dr,,.dddrrr生物在繁殖时，后代随机地继承父亲和母亲的两个基因中的各一个而形成自己的基因对。因此后代成为优种、劣种、混种基因类型的概率是不同的。下面讨论两种基因繁殖后代的情况一、永远与混种繁殖后代的情况假设一个个体是优种，而另一个个体是混种，则它们的直接后代成为优种、混种、劣种的概率分别为DHR11,,0.22假设一个个体是混种，而另一个个体是混种，则它们的直接后代成为优种、混种、劣种的概率分别为DHR111,,.424假设一个个体是劣种，而另一个个体是混种，则它们的直接后代成为优种、混种、劣种的概率分别为DHR110,,.22由此得到概率转移矩阵11022111,42411022P由前面的例2知该链为正则链，极限状态概率向量为123111,,,,.424上式表明，经过长时间的繁殖过程，后代的外部特征呈优势的概率是优种和混种概率的和，这个量与初始的个体所含基因的种类无关。2.近亲繁殖的结果假设最初的父母可以是优种、混种或劣种，它们有大量的后代，这些后代又随机地雌雄交配后代，今来分析它们后代的演变情况。由于每次繁殖都是随机地配对父亲和母亲，而父亲和母亲可以是中的一种，组合后就有六种状态，分别记为当父母都是优种时，后代必然是优种因此有,,DHR,,DDRR,,,DHDRHHHR1,2,3,4,5,6.D,D1111,0.2,3,4,5,6.jppj同理，当父母都是劣种时，后代只能是劣种，由此得2221,0.1,3,4,5,6.jppj当父母一方为而另一方为时，当前状态可能是因而再次配对产生的可能结果有DH,,DH,,,,,,,.DDDHHDHH因此，有313335111,,.424ppp当父母方为对时，其后代只可能是因而再次配对之后之可能产生所以,DR,H,,HH4541,0.1,2,3,4,6.jppj当父母方为对时，其后代可能是,HH,,,,dddr,,,,rdrr甲乙,,,,DHHR,,,,DHHR因而相应的概率为515253545556111111,,,,,.16164844pppppp1000000100001/401/201/200000101/161/161/41/81/41/401/4001/41/2P所以概率转移矩阵为从上面中可以看到状态1和状态2是吸收状态。所以该链