马尔科夫链模型简介

第六小组成员：秦堉朗石国平什么是马尔科夫链？例子：用随机变量Xn表示第n年某个人的健康状况，Xn=1表示健康，Xn=2表示疾病，n=0,1….用ai(n)表示第n年处于状态i的概率，i=1,2，即ai(n)=P(Xn=i).用Pij表示今年处于状态i，明年处于状态j的概率，i,j=1,2，即Pij=P(Xn+1=j|Xn=i).ai(n)称为状态概率，Pij称为状态转移概率。第n+1年的状态Xn+1只取决于第n年的状态Xn和转移概率Pij，而与以前的状态Xn-1,Xn-2,…无关。第n+1年的状态概率可以由全概率公式给出：这样一个状态随着时间的进展随机变化的链式过程就是马尔科夫链。马尔科夫链是随机过程的一种。系统的特征可以用一组随时间变化的变量来加以描述。如果系统在任何时点上的特性或状态是随机性的，则系统的变化过程就对应一组随机变量构成的过程来描述，这个系统随机变化的过程的描述，就是随机过程。（一）随机过程随机过程可以描述为：Ttxt,tx其中为在同一状态空间中取值的随机变量，为参数集。T若为可数参数集，如，则该过程为离散参数的随机过程。若为不可数参数集，如，则该过程为连续参数的随机过程。TT（二）状态与状态转移•状态：当系统由一组确定的变量值来描述的时候，就说系统处于一个状态。•状态转移：当系统的变量从一个特定值变化到另一个特定值时，就表示系统由一个状态转移到另一个状态。（三）马尔可夫过程•有一类事物在某种因素作用下，它们的状态概率在转移过程中，第n次结果的概率规律仅取决于第(n-1)次试验的结果，第(n-1)次试验结果仅取决于第(n-2)次结果等，而与更早的结果无关。•定义：设随机过程ξ(t),如果在已知时间t系统处于状态x的条件下,在时刻T(Tt)系统所处状态和时刻t以前所处的状态无关,则称ξ(t)为马尔可夫过程。•从定义可知马尔可夫过程只与t时刻有关,与t时刻以前无关。这种性质叫做：无后效性（四）马尔可夫预测法•定义：对马尔可夫过程的演变趋势和状态加以分析，用于预测事物未来状态的研究，称为马尔可夫预测法。•特点：•适用领域：企业规模、市场占有率、选择服务点、设备更新等的预测。2.局限性：只适合于马尔可夫过程；3.简便性：无需大量的统计资料。1.随机性：确切的未来状态是不可预测；（五）马尔可夫链定义：设随机过程只能取可列个值把称为在时刻系统处于状态若在已知时刻，系统处于状态的条件下,在时刻()系统所处的状态情况与t时刻以前所处状态无关,则称为时间连续,状态离散的马尔可夫过程。而状态的转移只能在发生的马尔可夫过程称为马尔可夫链。从定义中可知,马尔可夫链是状态离散,时间连续的马尔可夫过程。()t,,,,21nrrrnrt)(tEnn(,,)12tEnt)(tttnn(,,)12（六）转移概率与转移矩阵定义：设系统的离散状态为设表示第次转移到状态，表示系统转移前处于状态。则称为系统在第次转移到状态的转移概率。EE12,,,Ajk()kjE)/()1()()(kikjkijAAPPiEEjk)1(kiA由构成的矩阵称为系统状态转移矩阵。ijP其中：;)(nPnP定义：称为n时刻马尔可夫链的绝对概率；称为n时刻的绝对概率向量。)(},{)(IjjXPnpnj12(){(),(),},0TnpnpnnP定理设{Xn,n∈T}为马尔可夫链，则对任意j∈I和n≥1，绝对概率pj(n)具有下列性质：1.2.3.4.Iinijijppnp)()(Iiijnijppnp)1()()()0()(nTTnPPPPPP)1()(nnTT定义：称为马尔可夫链的初始概率；简记为称为马尔可夫链的初始概率向量。0(0){},()jpPXjjI),,()0(21ppTPjp（七）马尔可夫图（七）马尔可夫图马尔可夫矩阵一般式均匀马尔可夫链PPkijkij(),,12)1()(/)/(kikjijijAAPEEPP若则称该马尔可夫链为均匀马尔可夫链。用下式表示：预测模型•前提：必须是均匀马尔可夫链。：初始状态；：经（K+1）次转移后的状态；：转移概率。)0(S)1(kSP例1求：预测以后第3个月顾客的购买情况。解答：第一步：建立转移矩阵第二步应用马尔可夫预测模型第三步结论解析•上个月购买甲产品的顾客，到第三个月的转移概率：甲—0.496，乙—0.252，丙—0.252；•上个月购买乙产品的顾客，到第三个月的转移概率：甲—0.504，乙—0.252，丙—0.244；•上个月购买丙产品的顾客，到第三个月的转移概率：甲—0.504，乙—0.244，丙—0.252；1.马尔可夫链遍历性设为均匀马氏链（与第n次转移无关）,对一切状态i及j（或称）,存在不依赖于i的常数,使得则称均匀马氏链有遍历性遍历意义:遍历性说明不论系统自那一个状态出发,当转移次数n充分大时,转移到状态的概率近似于某个常数。nEEij,nijjPnlim()Ejj2.平稳分布定义：设为有限s个状态的均匀马尔可夫链,若初始概率满足全概率公式：则称为平稳的,称为的一个平稳分布表示第k次转移到状态的绝对概率；可以证明:结论:当马尔可夫链是平稳时,初始概率等于绝对概率；平稳均匀马尔可夫链在任一时刻处于状态的概率都相等,说明平稳。n),(jjEPPsj,,2,1siijijsjPPP1,,2,1,nPjsj(,,,)12nPkj()Ej)2()1(jjjPPPPnj()Ej例3问：应在何处设置修船站最合适？解答：•建立转移矩阵•根据马尔可夫链平稳性，前次各租、还船点占有船只的概率等于本次的占有率。：甲处的占有率；：乙处的占有率；：丙处的占有率。甲S乙S丙S•根据上述的矩阵，可列出以下方程式。•结论：应该在甲处建修船站。12.3基因遗传（P422）•生物的外部表征由内部相应的基因决定。•基因分优势显性基因d和劣势隐形基因r两种。•每种外部表征由两个基因决定，每个基因可以是d,r中的任一个。形成3种基因类型：dd~优种D,dr~混种H,rr~劣种R。•基因类型为优种和混种,外部表征呈优势；基因类型为劣种,外部表征呈劣势。•生物繁殖时后代随机地（等概率地）继承父、母的各一个基因，形成它的两个基因。父母的基因类型决定后代基因类型的概率父母基因类型决定后代各种基因类型的概率父母基因类型组合后代各种基因类型的概率DDRRDHDRHHHRDRH1000011/21/200101/41/21/401/21/23种基因类型：dd~优种D,dr~混种H,rr~劣种R完全优势基因遗传P(DDH)=P(dddd,dr)=P(ddd)P(ddr)P(RHH)=P(rrdr,dr)=P(rdr)P(rdr)=11/2=1/2=1/21/2=1/4•设群体中雄性、雌性的比例相等，基因类型的分布相同（记作D:H:R）•每一雄性个体以D:H:R的概率与一雌性个体交配，其后代随机地继承它们的各一个基因•设初始一代基因类型比例D:H:R=a:2b:c（a+2b+c=1),记p=a+b,q=b+c,则群体中优势基因和劣势基因比例d:r=p:q(p+q=1)。假设建模状态Xn=1,2,3~第n代的一个体属于D,H,R状态概率ai(n)~第n代的一个体属于状态i(=1,2,3)的概率。讨论基因类型的演变情况随机繁殖))()((1父基因类型后代基因类型iXjXPpnnijpddXddXPpnn)1)(1(111）（父为后代为基因比例d:r=p:qqddXdrXPpnn)1)(2(112）（父为后代为0)1)(3(113）（父为后代为ddXrrXPpnn2/2/1)2)(1(121ppdrXddXPpnn）（父为后代为2/12/12/1)2)(2(122qpdrXdrXPpnn）（父为后代为qpqpqpP02/2/12/0转移概率矩阵状态转移概率随机繁殖),2,()1()2(),2,()0()1(2222qpqpPaaqpqpPaa12,cbacbqbap马氏链模型,1,0,)()1(nPnana),2,()0(cbaaqpqpqpP02/2/12/0),2,()0(22qpqpwPwa任意，稳态分布自然界中通常p=q=1/2稳态分布D:H:R=1/4:1/2:1/4基因类型为D和H,显性表征——绿色，基因类型为R,隐形表征——黄色。解释“豆科植物的茎，绿色:黄色=3:1”(D+H):R=3:1随机繁殖近亲繁殖在一对父母的大量后代中,雄雌随机配对繁殖，讨论一系列后代的基因类型的演变过程。状态定义为配对的基因类型组合Xn=1,2,3,4,5,6~配对基因组合为DD,RR,DH,DR,HH,HR状态转移概率1)''''(111DDXDDXPpnn4/12/12/1)''''(131DHXDDXPpnn2/14/1004/104/14/18/14/116/116/101000004/102/104/1000010000001P马氏链模型定义：转移概率Pii=1的状态称为吸收状态。如果马氏链至少包含一个吸收状态，并且从每一个非吸收态出发，能以正常的概率经过有限次转移到达某个吸收状态，那么这个马氏链称为吸收链。此时转移矩阵P表示为：Q子方阵的特征值小于1；R(k-r)xr中必含有非零元素。定理：对于吸收链P的标准形式，I—Q可逆，记元素全部为1的列向量为则：的第i个分量是从第i个非吸收状态出发，被某个吸收状态吸收的平均转移次数。TMey654,325,326,6543/83/46/13/23/43/83/13/43/43/83/43/43/23/46/13/8)(1QIM2/14/1004/104/14/18/14/116/116/101000004/102/104/1000010000001PI0RQ状态1(DD),2(RR)是吸收态，马氏链是吸收链——不论初始如何，经若干代近亲繁殖，将全变为优种或劣种.计算从任一非吸收态出发，平均经过几代被吸收态吸收。纯种(优种和劣种)的某些品质不如混种，近亲繁殖下大约5~6代就需重新选种.近亲繁殖未完待续。。。。谢谢欣赏！