马尔科夫预测法

马尔科夫预测法第一节基本原理一、基本概念1.随机变量、随机函数与随机过程一变量x，能随机地取数据（但不能准确地预言它取何值），而对于每一个数值或某一个范围内的值有一定的概率，那么称x为随机变量。假定随机变量的可能值xi发生概率为Pi即P(x=xi)=Pi对于xi的所有n个可能值，有离散型随机变量分布列：∑Pi=1对于连续型随机变量，有∫P(x)dx=111旺游戏YYWANG168.NET在试验过程中，随机变量可能随某一参数（不一定是时间）的变化而变化.如测量大气中空气温度变化x=x(h),随高度变化。这种随参变量而变化的随机变量称为随机函数。而以时间t作参变量的随机函数称为随机过程。也就是说：随机过程是这样一个函数，在每次试验结果中，它以一定的概率取某一个确定的，但预先未知的时间函数。2、马尔科夫过程随机过程中，有一类具有“无后效性性质”，即当随机过程在某一时刻to所处的状态已知的条件下，过程在时刻tto时所处的状态只和to时刻有关，而与to以前的状态无关，则这种随机过程称为马尔科夫过程。即是：ito为确知,it(tto)只与ito有关，这种性质为无后效性，又叫马尔科夫假设。简例：设x(t)为大米在粮仓中t月末的库存量，则x(t)=x(t―1)—y(t)+G(t)t月的转出量第t―1月末库存量,G(t)为当月转入量x(t)可看作一个马尔科夫过程。3、马尔科夫链时间和状态都是离散的马尔科夫过程称为马尔科夫链。例：蛙跳问题假定池中有N张荷叶，编号为1，2，3,……,N，即蛙跳可能有N个状态（状态确知且离散）。青蛙所属荷叶，为它目前所处的状态；因此它未来的状态，只与现在所处状态有关，而与以前的状态无关（无后效性成立）1234P33P22P44P41P42P31P32写成数学表达式为：P(xt+1=j|xt=it,xt-1=it―1,……x1=i1)=P(xt+1=j|xt=it)定义：Pij=P(xt+1=j|xt=i)即在xt=i的条件下，使xt+1=j的条件概率，是从i状态一步转移到j状态的概率，因此它又称一步状态转移概率。由状态转移图，由于共有N个状态，所以有二．状态转移矩阵1.一步状态转移矩阵系统有N个状态，描述各种状态下向其他状态转移的概率矩阵P11P12……P1N定义为P21P22……P2N:::PN1PN2……PNN这是一个N阶方阵，满足概率矩阵性质1）Pij≥0,i,j=1,2,……,N非负性性质2）∑Pij=1行元素和为1,i=1,2,…NN×NP=如：W1=[1/4,1/4,1/2,0]W2=[1/3,0,2/3]W3=[1/4,1/4,1/4,1/2]W4=[1/3,1/3,-1/3,0,2/3]3）若A和B分别为概率矩阵时，则AB为概率矩阵。概率向量非概率向量2.稳定性假设若系统的一步状态转移概率不随时间变化，即转移矩阵在各个时刻都相同，称该系统是稳定的。这个假设称为稳定性假设。蛙跳问题属于此类，后面的讨论均假定满足稳定性条件。{2004/11/22}3.k步状态转移矩阵经过k步转移由状态i转移到状态j的概率记为P(xt+k=j|xt=i)=Pij(k)i,j=1,2,……,N定义：k步状态转移矩阵为：P11(k)P12(k)……P1N(k)P=:::PN1(k)PN2(k)……PNN(k)当系统满足稳定性假设时P=P=P•P•……P其中P为一步状态转移矩阵。即当系统满足稳定性假设时，k步状态转移矩阵为一步状态转移矩阵的k次方.[k][k]k例：设系统状态为N=3，求从状态1转移到状态2的二步状态转移概率.解：作状态转移图解法一：由状态转移图：1——1——2:P11•P121——2——2:P12•P221——3——2:P13•P32P12=P11•P12+P12•P22+P13•P32=∑P1i•Pi2132P13P32P11P12P12P22解法二：k=2,N=3P11(2)P12(2)P13(2)P=P21(2)P22(2)P23(2)P31(2)P32(2)P33(2)P11P12P13P11P12P13=P•P=P21P22P23P21P22P23P31P32P33P31P32P33得：P12(2)=P11•P12+P12•P22+P13•P32=∑P1i•Pi2例：味精销售问题已连续统计六年共24个季度，确定畅销，滞销界限，即只允许出现两种状态，且具备无后效性。。设状态1为畅销，状态2为滞销,作出状态转移图:图中:P11为当前畅销，连续畅销概率；P12为当前畅销，转滞销概率；P22为当前滞销，连续滞销概率；P21为当前滞销，转畅销概率。12P22P11P12P21数据在确定盈亏量化界限后的统计表如下：t12345678910111213状态①①②①②②①①①②①②①t1415161718192021222324状态①②②①①②①②①①①进行概率计算时，第二十四个季度为畅销，但后续是什么状态不知，故计算时不能采用，只用于第二十三季度统计。有：P11=7/(7+7)=0.5;P12=7/(7+7)=0.5;P21=7/(7+2)=0.78;P22=2/(7+2)=0.22则0.50.50.780.22此式说明了：若本季度畅销，则下季度畅销和滞销的可能性各占一半若本季度滞销，则下季度滞销有78%的把握，滞销风险22%P=二步状态转移矩阵为：0.50.50.50.50.780.220.780.220.640.360.56160.4384P11(2)P11(2)P11(2)P11(2)==P=P=2[2]三.稳态概率：用于解决长期趋势预测问题。即：当转移步数的不断增加时，转移概率矩阵P的变化趋势。1.正规概率矩阵。定义：若一个概率矩阵P，存在着某一个正整数m,使P的所有元素均为正数（Pijo），则该矩阵称为正规概率矩阵[k]例：1/21/41/4P=1/31/31/3为正规概率矩阵2/51/52/501P11=01/21/2但当m=2，有有Pij0它也是正规概率矩阵。（P每个元素均为正数）但1001就找不到一个正数m,使P的每一个元素均大于0，所以它不是正规概率矩阵。½½¼¾P=22P=mP=22.固定概率向量（特征概率向量）设P为NN概率矩阵,若U=[U1,U2,…,UN]为概率向量,且满足UP=U,称U为P的固定概率向量例011/21/2为概率矩阵P的固定概率向量U=[1/3,2/3]检验UP=[1/32/3]011/21/2=[1/32/3]P=3.正规概率矩阵的性质定理一设P为NXN正规概率矩阵，则A.P有且只有一个固定概率向量U=[U1,U2,……UN]且U的所有元素均为正数Ui0B.NXN方阵P的各次方组成序列P,P,P,……,P趋于方阵T，且T的每一个行向量都是固定概率向量U。即U1U2……UNUlimPk=T=:::=:U1U2……UNU这个方阵T称稳态概率矩阵。23k这个定理说明：无论系统现在处于何种状态，在经过足够多的状态转移之后，均达到一个稳态。因此，欲求长期转移概率矩阵，即进行长期状态预测，只要求出稳态概率矩阵T；而T的每个行向量都是固定概率向量，所以只须求出固定概率向量U就行了!定理二：设X为任意概率向量，则XT=U即任意概率向量与稳态概率矩阵之点积为固定概率向量。事实上：U1U2……UNXT=X•:::=[U1∑XiU1∑Xi……U1∑Xi]U1U2……UN=[U1U2……UN]=U例：若0.40.30.3P=0.60.30.1求T0.60.10.3解：设U=[U1U2U3]=[U1U21－U1－U2]由UP=U有0.40.30.3[U1U21－U1－U2]0.60.30.1=[U1U2U3]0.60.10.3即-0.2U1+0.6=U1→U1=0.50.2U1+0.2U2+0.1=U2→U2=0.25-0.2U2+0.3=U3→U3=0.25∴U=[0.50.250.25]则0.50.250.25T=0.50.250.250.50.250.25说明：不管系统的初始状态如何，当系统运行时间较长时，转移到各个状态的概率都相等。（列向量各元素相等）即各状态转移到1状态都为0.5;2状态都为0.25;3状态都为0.25第二节市场占有率预测商品在市场上参与竞争，都拥有顾客，并由此而产生销售，事实上，同一商品在某一地区所有的N个商家（或不同品牌的N个同类产品）都拥有各自的顾客，产生各自销售额，于是产生了市场占有率定义：设某一确定市场某商品有N个不同品牌（或N个商家）投入销售，第i个商家在第j期的市场占有率Si(j)=xi(j)/xi=1,2,……N其中xi(j)为第i个商家在第j期的销售额（或拥有顾客数）x为同类产品在市场上总销售额（或顾客数）市场占有率所需数据可通过顾客抽样调查得到。一般地,首先考虑初始条件,设当前状态（即j=0）为S(0)=[S1(0)S2(0)……SN(0)]第i个商家Si(0)=xi(0)/x→xi(0)=Si(0)x即当前第i个商家市场占有率与初始市场占有率及市场总量有关.同时假定满足无后效性及稳定性假设.由于销售商品的流通性质,有第i个商家第j期销售状况为xi(k)=x1(0)P1i(k)+x2(0)P2i(k)+……+xN(0)PNi(k)=xS1(0)P1i(k)+xS2(0)P2i(k)+……+xSN(0)PNi(k)P1i(k)=x[S1(0)S2(0)……SN(0)]P2i(k):PNi(k)有：Si(k)=xi(k)/xP1i(k)=[S1(0)S2(0)……SN(0)]P2i(k):PNi(k)故可用矩阵式表达所有状态:[S1(k),S2(k),……,SN(k)]=[S1(0),S2(0),……,SN(0)]P即S(k)=S(0)P当满足稳定性假设时,有S(k)=S(0)P这个公式称为已知初始状态条件下的市场占有率k步预测模型.[k]k[k]例:东南亚各国味精市场占有率预测,初期工作:a)行销上海,日本,香港味精,确定状态1,2,3.b)市场调查,求得目前状况,即初始分布c)调查流动状况;上月转本月情况,求出一步状态转移概率.1)初始向量:设上海味精状况为1;日本味精状况为2;香港味精状况为3;有S(0)=[S1(0)S2(0)S3(0)]=[0.40.30.3]2)确定一步状态转移矩阵P11P12P130.40.30.3P=P21P22P23=0.60.30.1P31P32P330.60.10.33),3步状态转移矩阵(假定要预测3个月后)P11(3)P12(3)P13(3)0.4960.2520.252P3=P21(3)P22(3)P23(3)=P=0.5040.2520.244P31(3)P32(3)P33(3)0.5040.2440.25234)预测三个月后市场0.4960.2520.252S(3)=S(0)P3=[0.40.30.3]0.5040.2520.2440.5040.2440.252S1(3)=0.4×0.496+0.3×0.504+0.3×0.504=0.5008S2(3)=0.2496S3(3)=0.2496二.长期市场占有率预测这是求当k→∞时S(k)→?我们知道:S(k)=S(0)PlimS(k)=S(0)limP=S(0)•T=U因此,在已知初始条件下求长期市场占有率就是求稳态概率矩阵,也是求固定概率向量.求固定概率向量的方法,我们在前一节已有例子,只不过说明了长期市场占有率也是只与稳态矩阵有关,与初始条件无关.[k][k]上面味精例子,0.40.30.3已知P=0.60.30.10.60.10.40.50.250.25求出T=0.50.250.25=limPk0.50.250.25limS(k)=[0.50.250.25]即中国味精可拥有50%的长期市场.第三节期望利润预测是考虑:一个与经济有关随机系统在进行状态转移时,利润要发生相应变化,例如商品连续畅销到滞销,显然在这些过程变化时,利润变化的差距是很大的.所以有如下的定义:若马尔科夫链在发生状态转移时,伴随利润变化,称这个马尔科夫链为带利