9马尔可夫预测方法

第九章马尔柯夫预测法第一节马尔柯夫链的基本概念第二节马尔柯夫预测的基本原理第三节马尔柯夫预测应用马尔柯夫（A.AMarkov俄国数学家）。（欧洲中世纪骑士，“领主的领主不是我的领主”）20世纪初，马尔柯夫在研究中发现自然界中有一类事物的变化过程仅与事物的近期状况有关，而与事物的过去状态无关。例：设备维修和更新、人才结构变化、资金流向、市场需求变化等许多经济行为都可用这一类过程来描述或近似。所谓马尔柯夫链，就是一种随机时间序列，它在将来取什么值只与它现在的取值有关，而与它过去取什么值无关，即无后效性。具备这个性质的离散型随机过程，称为马尔柯夫链。第一节马尔柯夫链的基本概念2020/1/1131.马尔可夫及其马尔可夫过程马尔可夫（A.Markov，1856—1922）俄国数学家.1878年大学毕业于彼得堡大学数学系，1884年获物理数学博士学位，1886年成为教授，1896年当选为彼得堡院士。对概率论、数理统计、数论、函数逼近论、微分方程、数的几何等都有建树。他开创了一种无后效性随机过程的研究，即在已知当前状态的情况下，过程的未来状态与其过去状态无关，这就是现在大家熟悉的马尔可夫过程.马尔可夫的工作极大的丰富了概率论的内容，促使它成为自然科学和技术直接有关的最重要的数学领域之一。2020/1/114为了形象说明“状态”和“状态的转移”的概念，假设在一个水池中有三片荷叶，一只青蛙在三片荷叶之间跳跃玩耍，见图.观察青蛙的活动会发现青蛙的动作是随意的。为讨论方便，我们给荷叶编号，我们关心的是在一定时间内，它从一片荷叶跳到其他两片荷叶的转移结构。当青蛙在第1片荷叶上时，它下一步动作跳跃到第2、3片荷叶上或原地不动，只与现在的位置1有关，而与它以前跳过的路径无关。我们给出这只青蛙从各片荷叶上向另一片荷叶移动的转移图，见图。2020/1/115箭头表示跳跃的方向，数字表示跳跃的概率，白环表示青蛙保持不动。此图表明：在一定时间内，当青蛙开始时刻在第1片荷叶上时，它保持不动的概率为0.3，它跳跃到第2片荷叶上的概率为0.6，跳跃到第3片荷叶上的概率为0.1；当青蛙开始时刻在第2片荷叶上时，它保持不动的概率为0.4，它跳跃到第1片荷叶上的概率为0.2，跳跃到第3片荷叶上的概率为0.4；当青蛙开始时刻在第3片荷叶上时，它保持不动的概率为0.5，它跳跃到第1片荷叶上的概率为0.2，跳跃到第2片荷叶上的概率为0.3.2020/1/116我们以x(t)表示青蛙跳跃t次后所处的位置,x(t)的取值叫做状态，S={1,2,3}叫状态空间。我们称{x(t)}(t0)为一个随机过程。当从x(0)到x(t)已知时，青蛙在t+1时处在x(t+1)状态上的概率仅与t时刻状态有关，即满足以下关系式01{(1)(0),(1),...,()}{(1)()}PxtjxixixtiPxtjxti（8.1）我们称满足（6.1）式的随机过程{x(t)}(t0)为马尔可夫过程或马尔可夫链，而把（6.1）式的随机过程{x(t)}称为马尔可夫性，它反映了前一状态x(t-1)、现状态x(t)和后一状态x(t+1)之间的链接。因此，用马尔可夫链描述随机性状态变量的变化时，只需求在某一点上两个相邻随机变量的条件分布就可以了。2020/1/117我们称为转移概率。由于这种转移概率不依赖于时间，因此具有稳定性，我们用常数来表示。将各个状态之间的转移概率用一个矩阵表示出来，就得到一个马尔科夫问题（有限状态稳定的马尔可夫过程问题）的数学模型：{(1)()}Pxtjxtiijp{(1)()}Pxtjxtiijp={(1)()}Pxtjxtiijp=2020/1/118称矩阵为一步概率转移矩阵，简称转移矩阵。由于转移矩阵的每行都是独立的分布，所有每行的元素满足下列性质：111212122212.........nnnnnnppppppPppp10(,1,2,...,)1(1,2,...,)ijnijjpijnpin（8.2）（8.3）例1：不可越壁（反弹壁）的随机游动设一质点在线段[1，5]上随机游动，状态空间I={1，2，3，4，5}，每秒钟发生一次随机游动，移动的规则是：（1）若移动前在2，3，4处，则均以概率向左或向右移动一单位，或停留在原处；（2）若移动前在1处，则以概率1移到2处；（3）若移动前在5处，则以概率1移到4处。31用nX表示在时刻n质点的位置，则{nX，0n}是一个有限齐次马氏链，试写出一步转移矩阵.12345分析555453525145444342413534333231252423222115141312111pppppppppppppppppppppppppP01000313131000313131000313131000101P故12345其一步转移矩阵为10000210210002102100021021000011P若将移动规则改为（1）若移动前在2，3，4处，则均以概率向左或向右移动一单位；（2）若移动前在1，5处，则以概率1停留在原处。21因为质点在1，5两点被“吸收”，故称有两个吸收壁的随机游动而与以前的状态)(tX在时刻n+1的状态jnX)1(的概率分布只与时刻n的状态inX)(有关，1)1(ninX，…，0)0(iX无关。二、一步转移概率马尔柯夫链在时刻n处于状态i的条件下，到时刻n+1转移到状态j的条件概率，即}|{1iXjXPnn称为在时刻n的一步转移概率，记作)(npij注:由于概率是非负的，且过程从一状态出发，经过一步转移后，必到达状态空间中的某个状态一步转移概率满足一步转移矩阵称为在时刻n的一步转移矩阵（1）0)(npij,Iji,（2）1)(npijIj,Ii如果固定时刻Tn则由一步转移概率为元素构成的矩阵1P：即有有限马尔柯夫链状态空间I={0，1，2，…，k})()()()()()(10111001001npnpnpnpnpnpPnn)()()()()()()()()(1011110001001npnpnpnpnpnpnpnpnpPkkkkkk齐次马尔柯夫链即则称此马尔柯夫链为齐次马尔柯夫链（即关于时间为齐次）。如果马氏链的一步转移概率)(npij与n无关，ijnnpiXjXP}|{1初始分布设}{)(00iXPip，Ii，如果对一切Ii都有0)(0ip1)(0ipIi称)(0ip为马氏链的初始分布注马尔柯夫链在初始时刻有可能处于I中任意状态，初始分布就是马尔柯夫链在初始时刻的概率分布。绝对分布概率分布}{)(iXPipnn，Ii，0n称为马尔柯夫链的绝对分布或称绝对概率定态分布若绝对分布)(ipn与n无关，即}{)(iXPipn，Ii，0n则称{)(ipn，Ii}为马氏链{0,nXn}的定态分布在马尔柯夫链的研究中，须研究“从已知状态i出发，经过n次转移后，系统将处于状态j”的概率.三、n步转移矩阵1．n步转移概率系统在时刻m从状态i经过n步转移后处于状态j的概率设{0,nXn}为齐次马氏链，其状态空间为I，}|{iXjXPmnmIji.称为n步转移概率由于马尔柯夫链是齐次的，这个概率与m无关所以简记为)(nijp显然有2．n步转移矩阵0)(nijp，1)(nijIjp，Iji.由所有n步转移概率)(nijp为元素组成的矩阵)()(nijnpPIji.称为n步转移矩阵规定jijipPij，当，当01)()0(0)()()1(1ijijppP注（1）用一步转移概率表示多步转移概率kjIkikijppp)2(jkkkIkkiknijnnpppp2111,,)1(（2）n步转移矩阵nP与一步转移矩阵1P之间的关系nnPP1首页注（3）}{)(jXPjpnn为元素的行矩阵记为))(,),2(),1(()(NpppnPnnnI={1，2，…，N}由矩阵的乘法规则，得nPPnP)0()(表示：在时刻n，各状态的概率等于其初始状态的概率与n步转移概率矩阵之积。若链是齐次的，则有nPPnP1)0()(首页标准概率矩阵、平衡向量。如果P为概率矩阵，而且存在整数m0，使得概率矩阵中诸元素皆非零，则称P为标准概率矩阵。可以证明，如果P为标准概率矩阵，则存在非零向量，而且满足，使得：（3.7.4）这样的向量α称为平衡向量，或终极向量。这就是说，标准概率矩阵一定存在平衡向量。mP],,,[21nxxxix10ixniix11P遍历性与平稳分布非周期、正常返状态为遍历状态定义1使得设马氏链{0,nXn}的状态空间为I，若对一切Iji,，存在不依赖于i的常数)(j，)(lim)(jpnijn则称此马尔柯夫链具有遍历性其中)(nijp是马氏链的n步转移概率马尔柯夫链的遍历性表明不论从哪一个状态i出发，当转移的步数n充分大时，转移到状态j的概率都接近于正常数)(j第二节马尔柯夫预测的基本原理定理1则此马尔柯夫链是遍历的，且中的是方程组设有限马氏链{0,nXn}的状态空间为I={0,1,2,…,s}如果存在正整数0n，使对一切Iji,都有0)(0nijp，)(lim)(jpnijn)(jsiijpij0)()(j=0，1，2，…，s的满足条件0)(j1)(0jsj的唯一解注1定理表明不论从链中哪一状态i出发，都能以正概率经有限次转移到达链中预先指定的其它任一状态。定理给出了求平稳分布的方法。)(j注2例3其一步转移矩阵为试证此链具有遍历性，并求出平稳分布。设马氏链{0,nXn}的状态空间I={1，2，3}3231032031032311P解由于212)(PP329291949491949231所以因此，该马尔柯夫链具有遍历性。由定理1得解得当0n=2时，对于一切Iji,，0)2(ijp。1)3()2()1()3(32)2(32)3()3(31)1(32)2()2(31)1(31)1(71)1(，72)2(，74)3(所以马尔柯夫链的平稳分布为X)(i1237172741))3(),2(),1(())3(),2(),1((P定理2（1）若状态是正常返，则该链存在平稳分布，且平稳分布（其中是从状态j出发首次返回状态j的平均时间）（2）若所有状态是瞬时态，或所有状态是零常返态，则不存在平稳分布。（3）若是有限马尔柯夫链，则一定存在平稳分布。设{0,nXn}是状态空间为I的不可约非周期马氏链，}1{})({IjIjjj，，j首页马尔柯夫预测方法的最简单类型是预测下期最可能出现的状态。步骤：第一步：划分预测对象所出现的状态。从预测目的出发，考虑决策需要来划分现象所处的状态。第二步：计算初始概率。据实际问题分析历史资料所得的状态概率称为初始概率。第三步：计算状态转移概率第四步：根据转移概率进行预测由状态转移概率矩阵P：如果目前预测对象处于状态Ei，这时Pij就描述了目前状态Ei在未来将转向状态Ej（j=1，2，…，N）的可能性。按最大可能性作为选择原则：选择（Pj1，Pj2，…，PjN）中最大者为预测结果。第三节马尔柯夫预测应用例题4：考虑某地区农业收成变化的三个状态，即“丰收”、“平收”和“欠收”。记E1为“丰收”状态，E2为“平收”状态，E3为“欠收”状态。表4.给出了该地区1960～1999年期间农业收成的状态变化情况。试计算该地区农业收成变化的状态转移