第四章 马尔科夫链与马尔科夫转换模型

第四章马尔科夫链与马尔科夫转换模型讲授内容:第一节马尔科夫链的基本概念第二节状态概率的估算第三节马尔科夫链在经济预测方面的应用第四节马尔科夫预测案例思考与练习一、状态与状态概率将事物在时间t所处的第i种状态记为，假设事物有n种不同的状态，则这n种不同的状态所构成的状态空间记为S，被研究对象在t时间处于状态空间中的某一状态，把其处于各种状态的可能性称为状态概率。记状态的概率为，即：t=1,2,…;i=1,2,…,n（6.1）iS},,,{21nSSSS)(ti}{)(itiSXptiS一、状态与状态概率用表示被研究对象第k期的状态概率空间，即：k=1,2,…（6.2）其中，)(k))(,),(),(()(21kkkknnjjikk10)(,1)(1.状态转移及其转移概率系统由一个时期所处的状态到未来某时期所处的可能状态的转变被称为状态转移，发生这种状态转移的可能性被称为转移概率。状态转移可分为一次转移和多次转移。所谓一次转移是指系统在相邻两个时期的状态转移，多次转移是指系统经过多个时期的状态转移。iSjS二、状态转移、转移概率及状态转移矩阵系统在时间t=m时处于状态，在下一时间t=m+1时处于状态的概率记为，则称为一次转移概率。k次转移概率是指，系统在时间t=m时处于状态，经过k步转移之后，在时间t=m+k时处于状态的概率，记为k=1,2,…iSjS}|{}|{1imjmijijSXSXPSSPp)(kpij}|{}|{)(imjkmijijSXSXPSSPkpijpijpiSjS二、状态转移、转移概率及状态转移矩阵由概率的性质可知：0≤≤1(i,j=1,2,…,n)，(i=1,2,…,n)。2.状态转移概率矩阵系统一次转移概率的集合组成的矩阵被称为一次转移概率矩阵，记为：ijpnjijp11Pppppppppppnnnnnnnnij212222111211)(二、状态转移、转移概率及状态转移矩阵系统k次转移概率的集合组成的矩阵被称为k次转移概率矩阵，记为P(k)，即)()()()()()()()()()())((212222111211kPkpkpkpkpkpkpkpkpkpkpnnnnnnnnij二、状态转移、转移概率及状态转移矩阵如果这种转移是随机的，则k次转移概率矩阵等于一次转移矩阵的k次方，即：被研究对象的状态转移概率矩阵完全地描述了被研究对象的变化过程。knnnnnnknnijpppppppppPkpkP212222111211)1())(()(二、状态转移、转移概率及状态转移矩阵三、马尔科夫过程某现象在时间m+1时处于状态的概率仅与该现象在时间m时所处的状态有关，而与时间m前所处何种状态无关的特性称为无后效性。这种特性最早由俄国数学家马尔科夫研究发现，故又称为马尔科夫性。具有这种特性的时间转移和状态转移的过程就称为马尔科夫过程。马尔科夫预测法只能用来进行短期预测，若用马尔科夫预测法进行长期预测则应及时修正异步转移概率矩阵。jSiS四、标准概率矩阵与平衡向量对于概率矩阵，若转移是随机的，即存在正整数k使得矩阵，那么称概率矩阵P为标准概率矩阵。若矩阵P是一个标准概率矩阵，则必存在非零向量使得。其中≥0，，为平衡向量，也叫作终极状态概率。nnijkkpp))((),,,(21nPi11nii一、状态概率估计被研究对象X存在n种状态，其状态空间记为：设在N次观察中，被研究对象X处于状态共有次，显然。用频率代替概率可得：i=1,2,…,n其中0≤≤1，且。可以作为现象X处于状态的状态概率估计。状态概率向量为},,,{21nSSSSiSinniinN1NnSXPiii}{inii11),,,(21niiS二、转移概率估计如果被研究对象X处于，下一次转入状态共发生了次，显然(i=1,2,…,n)，那么用频率代替概率可得：i,j=1,2,…,n其中0≤≤1，且。则就可以作为现象的一步转移概率估计值。iSjSijnniijinn1iijijijnnSXSXPp}|(ijpniijp11ijp一、市场占有率预测市场占有率是指在某一地区某企业产品销售量在该地区同类产品的市场销售总量中所占的份额。市场占有率是公司销售率和盈利率的一个重要控制比率。在激烈的市场竞争中，对现有和未来的市场占有率的估计关系到企业经营的成败。假如我们对市场情况不太清楚，如何对它进行预测。马尔科夫方法为市场占有率预测提供了较为可靠的工具。一、市场占有率预测具体步骤如下：1.进行市场调查（1）调查目前的市场占有情况，即调查所有顾客在目前消费该类商品时购买各种商品的比重，获得初始分布。（2）调查顾客在选择n种品牌的流动情况，先获得转移频率矩阵，从而由频率估算概率，获得转移概率矩阵。2.建立数学模型通过一步转移概率矩阵P，测算出第k步转移概率矩阵P(k)。))0(,),0(),0(()0(21n一、市场占有率预测3.市场预测（1）预测第k期的市场占有率。（2）预测稳定状态下的市场占有率，即顾客的流动对市场占有率没有影响，亦即在顾客流动过程中，各种品牌在顾客流动的过程中争取到的顾客和失去的顾客相互抵消。)()0()(kPk二、期望利润预测一个生产厂家的利润伴随着市场状态的变化而变化。由于市场状态的变化具有随机性，所以生产厂家的利润也具有不确定性。下面用马尔科夫链的基本原理对厂家的利润进行预测。1.利润矩阵设一个市场状态空间为，转移概率矩阵为。当市场状态从i转移至j时，厂家存在一个损益值(i,j=1,2,…,n)。},,,{21nSSSSnnijpP)(ijr二、期望利润预测若0，则表示盈利；若=0，则表示保本；若0，则表示亏损。称由(i,j=1,2,…,n)构成的n阶方阵：为利润矩阵或损益矩阵，并称该系统形成的马尔科夫链为带利润的马尔科夫链。ijrnnnnnnnnijrrrrrrrrrrR212222111211)(ijrijrijr二、期望利润预测2.期望利润预测设为从状态i开始，经过k步转移到各状态所获得的期望利润，i=1,2,…,n。记，k=1,2,…，并规定v(0)=0。当k=1时，(i=1,2,…,n）)(kviTnkvkvkvkv))(,),(),(()(21njijijirpv1)1(二、期望利润预测当k1时，等于由状态i开始，经过一步转移到各状态所获得的利润加上经一步转移后所到达的各个状态再经k-1步转移到达的状态所获得的期望利润，数学表达式为：)(kvi)1(iv)1(kvj)1()1()1()1()(1kPvvkvpvkvnjijijii二、期望利润预测)1()1()1()1()1()1()1()1()()()()(212122221112112121kPvvkvkvkvpppppppppvvvkvkvkvkvnnnnnnnnn于是：案例考虑某地区农业收成变化的三个状态，即“丰收”、“平收”和“欠收”。记为“丰收”状态，为“平收”状态，为“欠收”状态。表6-3给出了该地区1966—2005年期间农业收成的状态变化情况。试计算：（1）初始状态概率。（2）该地区农业收成变化的一步和二步转移概率矩阵。（3）2006—2010年可能出现的各种状态的概率。（4）终极状态的状态概率。1S2S3S案例年份1966196719681969197019711972197319741975状态年份1976197719781979198019811982198319841985状态年份1986198719881989199019911992199319941995状态年份1996199719981999200020012002200320042005状态1S2S1S1S2S3S表6-3各年份农业收成情况表2S1S1S1S1S1S3S3S3S3S2S2S2S2S2S2S2S2S2S3S3S3S3S3S1S1S1S1S1S1S1S3S2S2S1.试判断以下转移概率矩阵是否为一个标准概率矩阵，如果是标准概率矩阵，那么它的终极状态概率为多少。3.01.06.01.02.07.03.03.04.0p3.01.06.0001100p4.06.05.05.0p思考与练习2.某产品的市场状态有畅销、平销、滞销三种，三年有如下记录，见下表。用“1”代表畅销，用“2”代表平销，用“3”代表滞销。试求：（1）初始状态概率。（2）该市场变化的一步、二步和三步转移概率矩阵。（3）未来1年的1～6个月可能出现的各种状态的概率。（4）市场的终极状态概率。思考与练习月份12345678910111213市场状态1123322111322月份141516171819202122232425市场状态311231322323月份26272829303132市场状态2213211各月份市场状态思考与练习3.某地区有甲、乙、丙三个电脑公司。在对该地区的5000名顾客进行调查的过程中发现：在上一个季度甲公司的市场占有率为60%，乙公司的市场占有率为30%，丙公司的市场占有率为10%。市场占有率低的公司采取措施，努力提高自己的占有率，结果市场情况有如下的变化，用矩阵表示如下：5025010020010003005005002000N思考与练习以上矩阵第一行表示购买甲公司产品的3000个消费者中有2000个继续购买甲公司的产品，500个转向购买乙公司的产品，500个转向购买丙公司的产品。第二行和第三行的含义同第一行。（1）试求购买电脑的顾客在三种产品之间转移的概率矩阵。（2）对三个公司未来三个季度的市场占有率进行预测。（3）试求当市场处于均衡状态时，各公司的市场占有率是多少。思考与练习4.已知某经济系统的状态转移概率矩阵和利润矩阵分别为：试求出即期、第2期和第3期的期望利润值。4.06.05.05.0P103020100,R思考与练习5.设一家生产厂家的产品每个月市场状态有畅销和滞销两种状态，分别用1和2来表示。假设从畅销到畅销可获利100万元，从畅销到滞销可获利40万元；从滞销到畅销可获利60万元，从滞销到滞销可获利20万元。现有24个月的销售记录，如下表所示：（1）求销售市场状态转移概率矩阵。（2）预测未来3个月的期望利润。月份123456789101112131415161718192021222324市场状态112212211112111122112212各月份市场状态思考与练习1、某企业把生产的产品W在市场上的销售分为畅销和滞销两种状态。根据企业的历史数据可知：产品W连续畅销的概率为60%，由畅销转为滞销的概率为40%，连续滞销的概率为50%，由滞销转为畅销的概率为50%。并且在连续畅销的情况下可获得160万元，由畅销转到滞销的情况下可获得60万元，在连续滞销的情况下亏损40万元，由滞销转到畅销的情况下可获利50万元。企业准备投资20万元作为本企业的广告宣传费用，根据历史经验，可知