随机过程4.2.2

湖南大学§4.2马氏链序列(二)四、遍历性与平稳性将老鼠迷宫涂上不同颜色,对老鼠运动进行足够多次的观察，以了解，1红2白3黑1）哪一种颜色的吸引力最大？2）初始状态对结果有何种影响？湖南大学关注当n→∞,pij(n)的极限分布（j=1,2,3）是否与i有关？数学问题：定义4.2.6设{X(n),n=0，1,2,…}是齐次马氏链,若对且与i无关，称此马氏链具有遍历性.,,Eji以下极限存在),(,0lim)(Ejipjnijn马氏链的遍历性表明不论从哪一个状态i出发，当转移的步数n充分大时，转移到状态j的概率都接近于正常数)(j湖南大学}{Ejj，称为齐次马氏链的极限分布.，，记}{Ejj齐次遍历马氏链的n步转移矩阵，有n当)(nPjj2121EjjjEj,10，且，若是概率向量湖南大学EX.10直线上的随机游动123状态空间E={1,2,3}一步概率转移矩阵为0100010333231232221131211pqpppppppppP讨论{X(n),n≥1}是否遍历？解{X(n),n≥1}是齐次马氏链.湖南大学步概率转移矩阵为2pqpqPPP001002步概率转移矩阵为3PpqPPP010001023,12PPn一般有pqpqPn001002湖南大学都不存在，)(limnijnp故{X(n),n≥1}不是遍历马氏链.设齐次马氏链{X(n),n=0,1,2,…}的状态空间为定理4.2.4(遍历性定理)E={1,2,…,s}.若存在正整数n0,对任意Eji,的0()0nijp有，则此马氏链是遍历的，且极限分布Π是方程组,,Eji对湖南大学siijijsjp1)1(,,2,1,）（在满足条件sjjj1,10，下的唯一解.是概率向量注一对于齐次马氏链,由C－K方程,有,)()()(nnijnPpP),(ijpP记定理4.2.4条件可叙述为：存在正整数n0,使n0步转移矩阵的每一元素都为正数.0nP湖南大学定义4.2.7称齐次马氏链的转移矩阵P是正则的,若若存在正整数k，使Pk的每一个元素均为正数.推论1若齐次马氏链的转移矩阵P是正则阵,则此马氏链是遍历的.注二，，记},,{21s定理4.2.4中(1)式可改写为P(1')定理给出了求极限（平稳）分布的方法。j湖南大学ssssssspppppppppP21222211121121),,,(siisisiiisiiippp11211.][21s湖南大学定义4.2.8若行向量U=(u1,u2,…,us)与s阶方阵R满足UR=U称U是R的不动点向量.定理4.2.5若P是遍历齐次马氏链的正则阵,则1)P有唯一的不动点向量Π,其分量均为正数；2）Pn(n≥1)随n的增大而趋于矩阵W，W的每一行向量等于不动点向量Π.湖南大学EX.11迷宫问题老鼠运动是齐次马氏链.设老鼠运动的转移矩阵P为3.02.05.03.04.03.02.07.01.0P正则阵），，或设初始分布为001()31,31,31()0(由于P是正则阵,则时，有n湖南大学,)(WPPnn).,,(321其中第n步绝对分布为,)0()0()()(nnPPnWPn)0()0()(313131321321321321)(nas湖南大学321321321321)001(同理一般,对任意初始概率向量(0)=（p1p2p3）均有π(0)W=ΠΠ是不动点向量定义4.2.9设{X(n),n≥0}为齐次马氏链,若存在行向量满足以下条件：},{EjvVj是概率向量；V)1湖南大学,)2量是转移矩阵的不动点向V称马氏链是平稳的,称V是马氏链的平稳分布.定义4.2.9’满足设马氏链有转移矩阵)(ijpP，若存在一个概率分布{j，jE}，jiijiEp则称{j，jE}为马氏链{0,nXn}的平稳分布。湖南大学注若马氏链的初始分布是一个平稳分布V，则绝对分布为VVPVPPVPnnnn11)(即绝对分布保持不变.系统具有平稳性定理4.2.5之推论正则(遍历)马氏链的极限分布是平稳分布.湖南大学Ex12其一步转移矩阵为试证此链具有遍历性，并求出平稳分布。设马氏链{0,nXn}的状态空间I={1，2，3}3231032031032311P解由于212)(PP329291949491949231湖南大学所以因此，该马氏链具有遍历性。由定理4.2.4得解得当0n=2时，对于一切Iji,，0)2(ijp。1)3()2()1()3(32)2(32)3()3(31)1(32)2()2(31)1(31)1(71)1(，72)2(，74)3(所以马氏链的平稳分布为X)(i1237172741))3(),2(),1(())3(),2(),1((P湖南大学Ex13市场占有率预测设某地有1600户居民，某产品只有甲、乙、丙3厂家在该地销售。经调查，8月份买甲、乙、丙三厂的户数分别为480，320，800。9月份里，原买甲的有48户转买乙产品，有96户转买丙产品；原买乙的有32户转买甲产品，有64户转买丙产品；原买丙的有64户转买甲产品，有32户转买乙产品。用状态1、2、3分别表示甲、乙、丙三厂，试求（1）转移概率矩阵；（2）9月份市场占有率的分布；（3）12月份市场占有率的分布；（4）当顾客流如此长期稳定下去市场占有率的分布。湖南大学解（1）由题意得频数一步转移矩阵为再用频数估计概率，得一步转移概率矩阵为704326464224329648336N88.004.008.02.07.01.02.01.07.01P（2）以1600除以N中各行元素之和，得初始概率分布（即初始市场占有率）)5.02.03.0(),,()0(321pppP湖南大学所以9月份市场占有率分布为（3）12月份市场占有率分布为1)0()1(PPP)5.02.03.0(88.004.008.02.07.01.02.01.07.0)54.019.027.0(41)0()4(PPP)5.02.03.0(488.004.008.02.07.01.02.01.07.0)5983.01698.02319.0(湖南大学（4）该链是遍历的。解方程组188.02.02.004.07.01.008.01.07.0321321332123211即得当顾客流如此长期稳定下去是市场占有率的分布为)625.0156.0219.0(),,(321