马氏链模型习题

马氏链模型习题范萌萌[e-mail]2018.7.14马氏链模型•系统在每个时期所处的状态是随机的.•从一时期到下时期的状态按一定概率转移.•下时期状态只取决于本时期状态和转移概率.已知现在，将来与过去无关（无后效性）描述一类重要的随机动态系统(过程)的模型.马氏链(MarkovChain)——时间、状态均为离散的随机转移过程具有无后效性的，时间、状态均为离散的随机转移过程，通常用马氏链（MarkovChain）模型描述。马氏链模型在经济、社会、生态、遗传等许多领域有广泛应用，不仅可以解决随即转移过程，还可以处理一些确定性系统的状态转移问题。,1,0,2,1),()(nkiiXPnani状态概率)(1iXjXPpnnij转移概率),1,0(,2,1nkXn状态马氏链的基本方程1)(1nakiikippkjijij,,2,1,1,01）（非负，行和为转移概率矩阵1~}{kkijpPPnana)()1(kipnanakjjiji,,2,1,)()1(1基本方程状态概率向量~))(,),(),(()(21nanananaknPana)0()(wwPw满足马氏链的两个重要类型1.正则链~从任一状态出发经有限次转移能以正概率到达另外任一状态(如例1).0,NPN正则链Pnana)()1()()(,nwnaw正则链11kiiww满足w~稳态概率QRIPrr0马氏链的两个重要类型2.吸收链~存在吸收状态（一旦到达就不会离开的状态i,pii=1）,且从任一非吸收状态出发经有限次转移能以正概率到达吸收状态(如例2).有r个吸收状态的吸收链的转移概率阵标准形式R有非零元素01)(ssQQIMTe)1,,1,1(Meyyyyrk),,(21yi~从第i个非吸收状态出发，被某个吸收状态吸收前的平均转移次数.信息传播问题一条消息在,,,,naaa21等人中传播，传播的方式是1a传给,2a2a传给,3a如此继续下去，每次传播都是由ia传给,1ia每次传播消息的失真率为,,10pp即ia将消息传给,1ia时，传错的概率为p这样经过长时间传播第n个人得知消息时，消息的真实程度如何？习题1第n个人知道消息可能是真，也可能是假，有两种状态，记为21nnXX表示消息假；表示消息真；210,,n用nai表示第n个人处于状态i的概率，,,21i),()(nanana21即状态概率为由题意，状态转移概率矩阵为ppppP11求解wwPw满足11kiiww满足ppppP11习题2若顾客的购买是无记忆的，即已知现在顾客购买的情况，未来顾客的购买情况不受过去购买历史的影响，而只与现在购买情况有关。现在市场上供应A、B、C三个不同厂家生产的50克袋装味精。若已知第一次顾客购买三个厂味精的概率依次为0.2、0.4、0.4，又知道一般顾客的购买倾向由下表给出。（1）求顾客第四次购买各家味精的概率。（2）从长期看这三家厂商的市场占有率分别是多少？习题2习题2习题3甲、乙两人进行比赛，设每局比赛中甲胜的概率是p，乙胜的概率是q，和局的概率是r，（）。设每局比赛后，胜者记“+1”分，负者记“—1”分，和局不记分。当两人中有一人获得2分结束比赛。以表示比赛至第n局时甲获得的分数。1rqpnX（1）写出状态空间；（3）问在甲获得1分的情况下，再赛二局可以结束比赛的概率是多少？（2）求(2)P；解（1）记甲获得“负2分”为状态1，获得“负1分”为状态2，获得“0分”为状态3，获得“正1分”为状态4，获得“正2分”为状态5，则状态空间为{12345}I，，，，一步转移概率矩阵1000000000000001qrpPqrpqrp（2）二步转移概率矩阵(2)2PP100002022202000012222222rpppqrqrqpprpqrrqqpprpqrrpq（3）在(2)P中(2)45p是在甲得1分的情况下经二步转移至得2分从而结束比赛的概率；(2)41p是在甲得1分的情况下经二步转移至—2分（即乙得2分）从而结束比赛的概率。所以题中所求概率为(2)45p+(2)41p)1(0)(rprpp习题4智力竞赛问题甲、乙两队进行智力竞赛。竞赛规则规定：竞赛开始时，甲、乙两队各记2分，在抢答问题时，如果甲队赢得1分，那么甲队的总分将增加1分，同时乙队总分将减少1分。当甲（或乙）队总分达到4分时，竞赛结束，甲（或乙）获胜。根据队员的智力水平，知道甲队赢得1分的概率为p，失去1分的概率为1-p，求（1）甲队获胜的概率是多少；（3）甲队获得1、2、3分的平均次数是多少？（2）竞赛从开始到结束，分数转移的平均次数是多少？解（1）解（1）解（1）分析习题5赌徒输光问题赌徒甲有资本a元，赌徒乙有资本b元，两人进行赌博，每赌一局输者给赢者1元，没有和局，直赌至两人中有一人输光为止。设在每一局中，甲获胜的概率为p，乙获胜的概率为，求甲输光的概率。pq1这个问题实质上是带有两个吸收壁的随机游动。从甲的角度看，他初始时刻处于a，每次移动一格，向右移（即赢1元）的概率为p，向左移（即输1元）的概率为q。如果一旦到达0（即甲输光）或a+b（即乙输光）这个游动就停止。这时的状态空间为{0，1，2，…，c}，c=a+b，。现在的问题是求质点从a出发到达0状态先于到达c状态的概率。考虑质点从j出发移动一步后的情况解设cj0设ju为质点从j出发到达0状态先于到达c状态的概率。在以概率p移到1j的假设下，到达0状态先于到达c状态的概率为1ju同理以概率q移到1j的前提下，到达0状态先于到达c状态的概率为1ju根据全概率公式有qupuujjj11这一方程实质上是一差分方程，它的边界条件是0,10cuu首页于是设（p+q）11jjjqupuu))((11jjjjuupquupqr1jjjuud则可得到两个相邻差分间的递推关系1jjrdd于是2120jjjjdrdrdrdL欲求au先求ju需讨论r当而1rcuu01)(110jjcjuujcjd10010drjcj011drrccjjuuu)(11iicjiuu011drdicjiicji10(1)jcjrrrdL01drrrcj两式相比ccjjrrru1故ccaarrru1ccapqpqpq)(1)()(当1r001cduuc而0)(djcuj因此cjcuj故cbcacua用同样的方法可以求得乙先输光的概率由以上计算结果可知当1r即qp时，甲先输光的概率为ccapqpqpq)(1)()(当1r即qp时，甲先输光的概率为cb当qp时，乙输光的概率为capqpq)(1)(1当qp时，乙先输光的概率为ca服务网站问题kvvv,,,21iviv习题6210,,n问题分析及符号说明问题分析服务请求要么被拒绝或者接受，要么到达某个工作站等待处理建模目标分析服务请求被接受或者拒绝的概率nX用随机变量表示第n个阶段的状况服务请求被拒绝服务请求被接受转移概率矩阵为：可以计算为：空气污染问题有k个城市，每一时刻t=0,1,2,…,kvvv,,,21iv的空气中污染物浓度，从t到t+1，空气)(tciiv中污染物扩散到去的比例是，有jvijp),,,(kipkjij2111扩散到k个城市之外的那部分污染物永远不再回来。在每个时刻各城市的污染源都排出一定的污染物，记排出的为。ivid按照环境管理条例要求，对充分大的t必须。iictc)(习题7试建立马氏链模型，在已知和的条件下ic确定的限制范围，满足管理条例的要求。ijpidijp设k=3,由以下矩阵给出3132313131313100Q)3,2,1(25ici求的限制范围。id基本模型1)(,0,0)(1tpptckjijiji污染物浓度c(t)=(c1(t),c2(t),ck(t))，ci(t)~第t年地区i的污染物浓度，t=0,1,2,，i=1,2,,k转移矩阵Q={pij}kk,pij~每年污染物从地区i转至j的比例dQtctc)()1(10)0()(tsstQdQctcQ表示污染物扩散比例，为排放浓度。