第七讲-Markov链模型与计算

第13章Markov链模型与计算2012年5月6日2Markov过程：t时刻的状态向量S(t)通过转移概率矩阵P，遗传到t+1时刻的状态向量S(t+1)，就把这样的过程称为Markov过程，是一个简化的随机过程。转移概率性质(1)(2)P称为随机矩阵mnmmnnpppppppppP212222111211Ijipij,,0IipIjij,1例1赌徒输光问题甲有赌资a元，乙有赌资b元，赌一局输者给赢者1元，无和局。甲赢的概率为p，乙赢的概率为q=1-p，求甲输光的概率。解状态空间I={0,1,2,,c}，c=a+b例2天气预报问题RR表示连续两天有雨，记为状态0NR表示第1天无雨第2天有雨，记为状态1RN表示第1天有雨第2天无雨，记为状态2NN表示连续两天无雨，记为状态3p00=P{R今R明|R昨R今}=P{R明|R昨R今}=0.7p01=P{N今R明|R昨R今}=0p02=P{R今N明|R昨R今}=P{N明|R昨R今}=0.3p03=P{N今N明|R昨R今}=0类似地得到其他转移概率，于是转移概率矩阵为若星期一、星期二均下雨，求星期四下雨的概率8.002.006.004.0005.005.003.007.033323130232221201312111003020100ppppppppppppppppP称概率分布{j,jI}为马尔可夫链的平稳分布，若0,1jIjjIiijijp13.1正则Markov过程0,0,MarkovkkP如果存在使得则称过程为正则的正则Markov过程有限状态的正则Markov过程的极限状态的概率与初始状态无关，存在一个平稳分布。2121111·1pppIiii例如，设马氏链的状态空间I={1,2}，那么平稳分布应满足=(1,2)0,1jIjjIiijijp2221212·2pppIiii1+2=10,1222112112121jIjjpppp），（），（=P913.2有报酬的Markov过程假设Markov过程有N（有限）状态，每个状态都有M个不同的方案，对应的每个转移矩阵P都有一个报酬矩阵R与之对应。要求最佳的方案策略1211iiiiNddddd定义为方案向量，其中的就表示第种状态的某个方案101111221212()((1))(1)(1)(1)(,,)(,,)(1)NiijijjjNijijijjjiiiiiNiiiNNiNVnprVnprpVnrVnrVnppppppVnr