11章马尔可夫链习题课

第十一章马尔可夫链习题课二、主要内容三、典型例题一、重点与难点一、重点与难点1.重点2.难点马氏链n步转移概率的确定有限维分布律的计算方法遍历性问题马尔可夫过程二、主要内容马尔可夫链转移概率矩阵齐次马尔可夫链C-K方程遍历性充要条件马尔可夫过程具有马尔可夫性的随机过程称为马尔可夫过程.马尔可夫性(无后效性)所处的状态为已知的在时刻系统过程或0)(t所处状态的条件分布与过程在时刻条件下0,tt特性称为之前所处的状态无关的与过程在时刻0t马尔可夫性或无后效性.马尔可夫链时间和状态都是离散的马尔可夫过程称为马尔可夫链.},2,1,0),({nnXXn简记为:齐次马尔可夫链njinnmPij及时间间距只与当转移概率,),(有关时,称此链是齐次的或时齐的.称条件概率}|{),(imjnmijaXaXPnnmP在时刻条件下处于状态为马氏链在时刻,iam.的转移概率转移到状态janm转移概率的特点.,2,1,1),(1jijinmmP由转移概率组成的矩阵)),((),(nnmPnmmPij称为马氏链的转移概率矩阵.它是随机矩阵.转移概率、转移概率矩阵马氏链的n步转移概率)(),(nPnmmPijij记}|{)(imjnmijaXaXPnP.))(()(步转移概率为nnPnPijn步转移概率.称为马氏链的一步转移概率}|()1(1imjmijijaXaXPPp当k=1时:一步转移概率矩阵)1(P切普曼-柯莫哥洛夫方程(简称C-K方程)}),({1TnnX设是一齐次马氏链,则对任意的有,,1Tvu,2,1,),()()(1kkjikijjivpuPvuP马氏链的n步转移概率是一步转移概率的n次方,链的有限维分布可由初始分布和一步移概率完全确定.由C-K方程知:遍历性若对于所有间为设齐次马氏链的状态空,I存在极限转移概率的)(,,nPIaaijii)(π)(liminPjijn不依赖于jjjnnPnP212121)()(或则称此链具有遍历性.遍历性的充分条件},,,{21NaaaI间为设齐次马氏链的状态空,,mP如果存在正整数阵是它的一步转移概率矩都有使对任意的,,IaajiNjimPij,,2,1,,0)(满足条件它是方程组且有极限分布则此链具有遍历性PN),,,,(,21.1,01的唯一解Njjj三、典型例题模型艾伦非斯特)Ehrenfest(.,,,.,,球数研究坛中的黑次摸换经过另一种颜色的的球并装入一个球从坛中随机地摸出一个是黑色的或它们或是红色的个球设一个坛子装有nc解.1,次摸球后坛中的黑球数表示第以nnXncXn0例1cS,,2,1,0状态空间为.1,1,1iiXiXnn也可能是取值可能是时.可夫链该过程是一个齐次马尔其转移概率为其它,01,1,ijcicijcipij概率矩阵为设齐马尔可夫链的转移21021021041410021210313131P?)1(状态问马尔可夫链有几个?)2(步才能到第三状态问从第二状态至少几.2)3(步转移概率矩阵求例2解状态空间为个状态有,4)1(4,3,2,1S步才能到第三状态从第二状态至少2)2(31241021414112114112450611251256191361336132PPP(3)步转移概率矩阵为一马氏链是具有三个状态的齐次设,0,nXn}.1{)2(};1,0{)1(:,2,1,0,31}{)0(2200XPXXPiiXPpi求初始分布4143041214104143P解先求出2步转移概率矩阵.例3411691631632116516116585)2(2PP于是}1,0{20XXP}0|1{}0{020XXPXP)2()0(010pp48516531)2(1p}1{2XP)2()0()2()0()2()0(212111010pppppp2411)16921165(31.,,1,,,态空间和转移概率矩阵确定状动过程试用马尔可夫链描述游针移动一格逆时以概率顺时针移动一格质点以概率格圆周上共有游动一质点在圆周上做随机pqpN解状态空间为NS,,2,1,1,,2,1,1,Nippii.,,2,1,Niqpii,1,ppN,,1qpN例4.)(Wiener是马尔可夫过程过程试证tB)}0)((,)(|)({suuBxsBystBp)}0)((,)(|)()({suuBxsBxysBstBp})()({xysBstBp独立增量性})(|)()({xsBysBstBp证明例5