10：马尔可夫链 数学建模

马尔可夫链建模法1马尔可夫链基本理论和结论2服务网点的设置问题3常染色体遗传模型4常染体隐性疾病模型马尔可夫链的应用预备知识：马尔可夫链随机过程：设是一族随机变量，T是一个实数集合，若对任意的实数，是一个随机变量，则称为随机过程。},{TttTtt},{Ttt例一在一条生产线上检验产品质量，每次取一个，废品记为1合格品记为0。以表示第n次检验结果，则是一个随机变量.不断检验，得到一系列随机变量，记为它是一个随机序列，其状态空间为E={0，1}nnn........,.........,21,.......}2,1,{nn例二：在m个商店联营出租相机业务中（顾客从其中一个商店租出可以到m个商店中的任意一个归还）规定一天为一个时间单位表示第t天开始时照相机在第j个商店,j=1,2,…..m.则是一个随机序列，其状态空间为jt,....}2,1,{nn例3：某商店每月考察一次经营情况，其结果用销路好或坏这两种状况中的一种表示。已知若果本月销路好，下月任保只这种状况的概率为0.5；如果本月销路坏，下月转变为销路好的概率为0.4，试分析假若开始时商店处于销路好的状态，过若干月后能保持销路好的概率有多大？如果开始是处于销路坏呢？E={1,2,…….m}表示销路坏表示销路好，21nnXX,n=0,1,2,………..nX称为这个经营系统的状态)|()2,1,,2,1(),()(),2,1()(1iXjXPpjijipiXPnaiinnannijijnii即概率，下月转为状态的表示本月处于状态即的概率月处于状态表示第用无关和和只取决于这里称为转移概率称为状态概率...,,,,)(211nnijnnijiXXpXXpna称为无后效性，由此，更椐全概率公式容易得到...,.........2,1),(),(10)0(,1)0(6.015.01,4.0,5.0)()()1()()()1(212112221112211122212121221111nnanaaapppppppnapnanapnapnana）立即可算出时，用式（当商店开始销路好，即所以显然有因为知道如表所示，由数字变化规律可以看出95)(,94)(21nanan时，当开始销路好时状态概率的变化n)()(21nana0123………10.50.450.4454/900.50.550.5555/9表2开始销路坏时的状态概率的变化)()(21nana0123………n00.40.440.4444/910.60.560.5565/9马尔可夫链的定义：设,....}2,1,{nn是一个随机序列，状态空间E为有限或可列对于任意的正整数m,n，若i,j,有)1.......,2,1(nkEik}|{},.......,|{1111ijPiiijPnmnnnnmn则称,....}2,1,{nn为一个马尔可夫链马氏链及其基本方程转移过程称为马氏链态按照离散时间的随机离散状的取值无关，那麽这种而与的取值及转移概率，的取值只取决于如果，即转移概率。的概率为到，即状态概率，从的概率记作且个离散值可以取表示，设机变量，系统的状态用一个随对于每一个离散化为按照系统的发展，时间....,)(,,.......2,1,..........3,2,12111nnnnijnninnnnXXXXpjXiXnaiXkXkXXnn由状态转移的无后效性和全概率公式可以写出马氏链的基本方程)6,........(3,2,11)5,.....(3,2,1,,0)4(,......2,1,0,1)()()3(..,.........2,1,)()1(111ipjipnnapnaipnanakjijijkiiijikjijji应满足和并且0NPNP使存在正整数正则链的充要条件是：，则它是移矩阵为定理一：若马氏链的转如果的状态称为吸收状态：转移概率定义,12iiP马氏链至少包括一个吸收状态，并且从每一个非吸收状态出发，能以正的概率经有限次转移达到某个吸收状态则称此马氏链为吸收链。定理2：正则链存在唯一的极限状态概率)11(1)()1()10(,)(),........,,(1321kiikwpnanawwpwwnan两边同时取极限及得满足又称稳定概率与初始状态概率无关，时状态概率使得当引入状态概率向量和转移概率矩阵kkijkpPnanananana}{)}(.....).........(),(),({)(221（7）则基本方程（3）可表为nPanaPnana)0()()()1(由此还可以得到（8）（9）6.04.05.05.0316)5(为的转移矩阵例，称为随机矩阵。对于的行和为）式表明是非负阵，（式表明转移矩阵PP因此对于马氏链模型最基本的问题是：构造状态xn及写出转移矩阵p，一旦有了P，则给定初始状态a(0)就可以用（9）或（8）计算任意时间n的状态概率a(n)定义1：一个有k个状态的马氏链，如果存在正整数N，使从任意状态i经N次转移，都以大于0的概率达到状态j(I,j=1,2,…k)称此马氏链为正则链。正则链。马尔可夫链的应用模型六：服务网点的设置问题为适应日益扩大的旅游事业的需要，某城市的甲乙丙三个照相馆组成一个联营部，联合经营出租相机的业务。游客可由甲乙丙三处任一处租出相机，用完后，还到三处中的任一处即可。估计其转移概率为：租相机处甲乙丙还相机处甲乙丙0.20.800.800.20.10.30.6今欲选择其中之一附设相机维修点，请你设计一种方案。模型分析由于旅客还相机的情况只与该次租机地点有关，而与相机以前所处的点址无关。概率分布。这一马尔可夫链的极限设置问题实际上要计算点的由上表给出。考虑维修夫链，其转移矩阵是一个马尔可在甲乙丙馆。则用时分别表示相机第次被租次被租时所在的点址；表示相机第所以可用Pnnnnnnn..},.........2,1`,{3,2,1组解出存在，并可从下列方程的条件，极限概率满足定理对于所有的)3,2,1(,2,3,2,1,jpjij由（10）有，设极限概率为W11kiippwp即：16.02.03.08.01.08.02.03213233123211ppppppppppppp解上列方程组可得：418,4116,4117321ppp由计算看出，经过长期经营后，该联营部的每架照相机还到甲乙丙照相馆的概率为17/41，16/41，8/41。由于还到甲的照相机的概率最大，因此维修点设在甲馆较好。模型推广：生物基因遗传等方面的应用。§4.3马氏链模型随着人类的进化，为了揭示生命的奥秘，人们越来越注重遗传学的研究，特别是遗传特征的逐代传播，已引起人们广泛的注意。无论是人，还是动、植物都会将本身的特征遗传给下一代，这主要是因为后代继承了双亲的基因，形成自己的基因对，由基因又确定了后代所表现的特征。本节将利用数学的马氏链方法来建立相应的遗传模型等，并讨论几个简单而又有趣的实例。马氏链（马尔柯夫链）研究的是一类重要的随机过程，研究对象的状态s(t)是不确定的，它可能取K种状态si(i=1,…,k)之一，有时甚至可取无穷多种状态。在建模时，时间变量也被离散化，我们希望通过建立两个相邻时刻研究对象取各种状态的概率之间的联系来研究其变化规律，故马氏链研究的也是一类状态转移问题。例4.6设某商店经营情况可能有三种状态：好（S1：利润丰厚）、一般（S2）和不好（S3：亏损）。根据统计资料，上月状态为Si，下月状态为Sj的概率为pij（i=1,2,3;j=1,2,3），0≤pij≤1例4.6中的关系既可用一转移矩阵表示333231232221131211pppppppppA例4.7研究某一草原生态系统中物质磷的循环，考虑土壤中含磷、牧草含磷、牛羊体内含磷和流失于系统之外四种状态，分别以S1，S2，S3和S4表示这四种状态。以年为时间参数，一年内如果土壤中的磷以0.4的概率被牧草生长吸收，水土流失于系统外的概率为0.2；牧草中的含磷以0.6的概率被牛羊吃掉而转换到牛羊体内，0.1的概率随牧草枯死腐败归还土壤；牛羊体中的磷以0.7的概率因粪便排泄而还归土壤，又以自身0.1的比率因屠宰后投放市场而转移到系统外。我们可以建立一个马尔柯夫链来研究此生态系统问题，其转移概率列表于下：1000S4流失系统外0.10.200.7S3羊体含磷00.60.30.1S2牧草含磷0.200.40.4S1土壤含磷i时段状态S4S3S2S1i+1时段状态状态转移概率相应的转移矩阵为：10001.02.007.006.03.01.02.004.04.0M且Sj+1=SjM马氏链模型的性质完全由其转移矩阵决定，故研究马氏链的数学工具是线性代数中有关矩阵的理论。首先，任一转移矩阵的行向量均为概率向量，即有（1）（I,j=1,…,n）（2）（i=1,…,n）这样的矩阵被称为随机矩阵。10igP11njigP常染色体遗传模型下面给出双亲体基因型的所有可能的结合，以及其后代形成每种基因型的概率，如表所示。在常染色体遗传中，后代从每个亲体的基因对中各继承一个基因，形成自己的基因时，基因对也称为基因型。如果我们所考虑的遗传特征是由两个基因A和a控制的，（A、a为表示两类基因的符号）那么就有三种基因对，记为AA，Aa，aa。1000aa010Aa0001AA后代基因型aa－aaAa－aaAa－AaAA－aaAA－AaAA－AA父体——母体的基因型双亲随机结合的较一般模型相对比较复杂，这些我们仅研究一个较简单的特例。例4.8农场的植物园中某种植物的基因型为AA,Aa和aa。农场计划采用AA型的植物与每种基因型植物相结合的方案培育植物后代。那么经过若干年后，这种植物的任一代的三种基因型分布情况如何？（a）假设：令n=0,1,2,…。（i）设an,bn和cn分别表示第n代植物中，基因型为AA,Aa和aa的植物占植物总数的百分比。令x(n)为第n代植物的基因型分布：nnnncbax)(当n=0时000)0(cbax表示植物基因型的初始分布（即培育开始时的分布）例4.8农场的植物园中某种植物的基因型为AA,Aa和aa。农场计划采用AA型的植物与每种基因型植物相结合的方案培育植物后代。那么经过若干年后，这种植物的任一代的三种基因型分布情况如何？（b）建模根据假设(ii)，先考虑第n代中的AA型。由于第n－1代的AA型与AA型结合。后代全部是AA型；第n－1代的Aa型与AA型结合，后代是AA型的可能性为1/2，而第n－1代的aa型与AA型结合，后代不可能是AA型。因此当n=1,2…时1110211nnnncbaa1121nnnbaa即类似可推出1121nnncbbcn=0显然有（ii）第n代的分布与第n－1代的分布之间的关系是通过表5.2确定的。1000cba(4.2)(4.3)(4.4)将（4.2）、（4.3）、（4.4）式相加，得111nnnnnncbacba根据假设(I)，可递推得出：1000cbacbannn对于(4.2)式.(4.3)式和(4.4)式，我们采用矩阵形式简记为,2,1,)1()(nMxxnn其中nnnncbaxM)(,00012100211（注：这里M为转移矩阵的位置）(4.5)由（4.5）式递推，得)0()2(2)1()(xMxMMxxnnnn(4.6)（4.6）式给出第n代基因型的分布与初始分布的关系。为了计算出Mn，我们将M对角化，即求出可逆矩阵P和对角库D，使M=PDP-1因而有Mn=