电子科技大学-随机过程-覃思义-第六章sjgc6.2-1

电子科技大学§6.2马氏链序列(一)设{X(t),t∈T}为马氏过程,为”称“xtX)(“过程在t时刻处于状态x”;记E={xX(t)=x,t∈T}称为过程的状态空间.若E是可数集,称{X(t),t∈T}是马氏链.若指标集T是可数集,称{X(t),t∈T}是马氏序列.电子科技大学本节讨论状态空间E和参数集T都是可列集的马尔科夫链.马尔科夫链的理论系统而深入，在自然科学、工程技术及经济管理各领域有广泛的应用.定义6.2.1设{X(n),n≥0}为随机变量序列,状态空间E={0,1,2,…},如果对于任意非负整数k及n1n2…nrm，以及一、定义及例,,,,,,21Eiiiiikmmnnnr电子科技大学P{X(m+k)=im+k|X(n1)=i1,…,X(nr)=inr,X(m)=im}=P{X(m+k)=im+k|X(m)=im}成立,称{X(n),n≥0}为离散参数马氏链.定理6.2.1(等价定义)随机变量序列{X(n),n≥0}的状态空间E={0,1,2,…},如果对于任意非负整数m，以及,,,,,110EiiiimmP{X(m+1)=im+1|X(m)=im,X(m－1)=im－1,…,X(0)=i0}=P{X(m+1)=im+1|X(m)=im}电子科技大学注必要性显然，充分性自证.成立,是{X(n),n≥0}为离散参数马氏链的充分必要条件.定义6.2.2设{X(n):n≥0}为马氏链，状态空间为E={0,1,2,…},称条件概率为马氏链在m时刻的k步转移概率.})()({)()(imXjkmXPmpkij特别称为一步转移概率.})()1({)()1(imXjmXPmpij电子科技大学表示在时刻m时X(m)取i值的条件下，在下一时刻m+1时,X(m+1)取j值的概率.注定理6.2.1说明可由一步转移概率验证时间序列的马氏性.EX.1在股票交易过程中令状态空间为E={－1,0,1}。各状态分别代表“下跌”、“持平”、“上升”。时间集T={n=0,1,2,…}(单位周),将股票交易过程转化马氏链{X(n),n≥0}.因对任意时刻m有电子科技大学=P{X(m+1)=im+1|X(m)=im}P{X(m+1)=im+1|X(m)=im,X(m－1)=im－1,…,X(0)=i0});,,0(;0)()1)1(Ejimmpij及EjijmEimp).0,(,1)()2)1(注例中有电子科技大学123状态空间E={1,2,3},X(n)为第n次观察时老鼠所处位置,记},)({)(jnXPnj根据全概率公式，对j=1,2,3有EX.2迷宫问题定时观察老鼠位于哪一个房间？.3,2,1,),1()1()1(jinppijij电子科技大学)1(3)1(2)1(1321)1()1()1()(jjjpnpnpnnj在时刻n,老鼠处于各状态的概率只与第n－1次时所处状态与转移概率有关，而与第n－1次前的状态无关.老鼠的随机转移状态运动过程是一个马氏链.EX.3设X(n),n=1,2,…是相互独立随机变量,令,2,1)]()2()1([)(2nnXXXnY.},2,1),({是马尔科夫链证明：nnYP219习题2电子科技大学证,2,1),()2()1(nnXXXSn记22)}()]1()2()1({[)(nXnXXXSnYn则212121)]([)(2)]([nXnXSSnXSnnn212221)1(,,)2(,)1()(nSnYSYSYnX与且.分别相互独立})1(,)2(,)1()({121nnynYyYyYynYP},,)]([)(2{1211212121nnnnnySySynXnXSSP},,)]([)(2{121121211nnnnnySySynXnXyyP电子科技大学故均相互独立与因,,,,)(212221nSSSnX},,)]([)(2{121121211nnnnnySySynXnXyyP})1(,)2(,)1()({121nnynYyYyYynYP)1(})]([)(2{211nnnynXnXyyP另一方面})1()({1nnynYynYP})]([)(2{121211nnnnnySynXnXyyP)2(})]([)(2{211nnnynXnXyyP电子科技大学比较(1)和(2)得121{()(1),(2),,(1)}nnPYnyYyYyYny})1()({1nnynYynYP.},2,1),({是马尔科夫链即nnY二、齐次马氏链定义6.5.3若马氏链{X(n),n≥0}的一步转移概率与起始时刻无关，即对任意m，ijijijppimXjmXPmp)1()1(})()1({)(称{X(n),n≥0}为齐次马氏链.与m无关电子科技大学若状态空间为E={0,1,2,…}222120121110020100)(ppppppppppPij记称P为一步转移矩阵.矩阵中每个元素为非负数,且每行之和均为1..1)2,10)1成立和EjijijPp电子科技大学凡满足以上两条的行向量称为概率向量.定义6.5.4称矩阵A=(aij)为随机矩阵,若满足对,Ei;0)1ija转移矩阵P是随机矩阵.转移矩阵P的行向量都是概率向量..1)2Ejija()()()kkijPp同理有:电子科技大学pppppPij11)(.,},1,0{EjiEEX.4在某数字通信系统中传0和1两种信号,且传递要经过多级.若每级由于噪声的存在,送出0，1信号的失真概率均为p(0p1),则各级输入状态和输出状态的转移矩阵为数字传输过程是齐次马氏链.电子科技大学EX.5Polya模型（传染病模型）设坛子中有b个黑球,r个红球.从坛子中随机地摸出一个球，然后将球放回并加入c只同色球，如此取和放,不断进行下去.研究坛子中黑色球个数.电子科技大学分析设X(n)表示第n次摸球后坛子中的黑球个数.每取放一次后黑球或者增加c个黑球,或者不变.显然,{X(n),n≥1}是马氏链，但})()1({)()1(inXjnXPnpij.,0;,1;,其他ijncrbicijncrbin次转移概率与n有关,{X(n),n≥1}是非齐次马氏链电子科技大学将一个小球投入无限大高尔顿钉板内,小球各以的概率向左或向右移动一格.21EX6.随机游动(高尔顿钉板试验).1;,1)(层向左位移一格在第，层向右位移一格在第kkkX电子科技大学P{X(k)=i}－11X(k)2/12/1nkkXnY0),()(令随机游动n步所处的状态})(,)(,)()({112211nnnnjmYjmYjmYjmYP})()({11nnnnjmYjmYP状态空间,有NE{Y(n),n∈N}是马氏过程.电子科技大学更进一步，因对任意m有，ijijijppimYjmYPmp)1()1(})()1({)(即马氏链{Y(n),n∈N}的一步转移概率与起始时刻无关，是齐次马氏链.210210210210P转移矩阵为电子科技大学三、切普曼－柯尔莫哥洛夫方程定理6.2.2齐次马氏链{X(n),n≥0}的k步转移概率满足切普曼－柯尔莫哥洛夫方程Ersrjkirksijppp)()()(}.)()({)(isXjmsXPpmij其中)()()()()()()(BCPABCPCPBCPCPABCPCABP).()(BCAPCBP需用概率式:电子科技大学分析图imm+k+sjm+k12r……})(,)({jskmXimX})(,)(,)({jskmXrkmXimXEr电子科技大学})()({imXskmXP{(),()()}rEPXmkrXmksjXmi{()()}{()(),()}rEPXmkrXmiPXmksjXmiXmkr证{()()}{()()}rEPXmkrXmiPXmksjXmkr马氏性电子科技大学Ersrjkirksijppp.)()()(即，若记)()()(kijkpPC－K方程的矩阵形式)()()(skskPPP则称k步转移矩阵齐次马氏链的n步转移矩阵为(一步)转移矩阵的n次幂.推论1nnPPPPP)(电子科技大学证在C－K方程中，,32)1()2()3(PPPPPP令k=s=1,有,2)1()1()2(PPPP令k=2,s=1,有由数学归纳法知nnnnPPPPPP1)1()(齐次马氏链的n步转移矩阵由一步转移矩阵确定.电子科技大学EX.7天气预报问题假设明日是否有雨仅与今日下雨与否有关，而与过去无关.把有雨称为“0”状态天气，无雨称为“1状态天气，这是一个两状态马氏链.记p00=α,p10=β,则过程的一步转移矩阵为1111100100ppppP设α=0.7,β=0.4,可得电子科技大学4332.05668.04251.05749.04)4(PP可知今日有雨的条件下第四日仍有雨的概率为.5749.0)4(00p问题:1)计算P（8）,P（16）,P（32）,尝试发现其变化规律.电子科技大学定义6.2.5给定齐次马氏链{X(n),n≥0},记πi(n)=P{X(n)=i｝,i∈E称行向量π(0)={π0(0),π1(0),…,πi(0),…}为马氏链的初始(概率)分布称行向量π(n)={π0(n),π1(n),…,πi(n),…}为马氏链的绝对(概率)分布.定理6.2.3设{X(n),n≥0}是齐次马氏链,其绝对分布和有限维分布由初始分布和一步转移矩阵所完全确定.电子科技大学证由全概率公式及马氏性知EijnXiXPjnXP})(,)0({})({EiiXjnXPiXP)0()({})0(EiniEjpij,)0()(或.0,)0()0()()(nPPnnn绝对分布初始分布电子科技大学,21knnn对于})(,,)(,)({2211kkinXinXinXP})0()({})0({11iXinXPiXPEi由{X(n),n≥0}的齐次性,以上各转移概率均可利用C－K方程，由一步转移概率求出.有限维分布为})()({})()({111122kkkkinXinXPinXinXP电子科技大学)1(33)1(22)1(11)1()1()1()(jjjjpnpnpnn续EX.2迷宫问题j=1,2,3若老鼠随机转移过程是齐次的,则.0,)0()(nPnn其中π(0)是初始分布,P=(pij)3×3是一步转移矩阵.电子科技大学EX.8另一类迷宫问题假设在三个分隔间的第3间放有食物,当老鼠到达第3分隔间,受到食物吸引不再运动到其他房间.分析状态空间E={1,2,3}，有p33=1,p3j=0,j=1,2.123其转移矩阵形如100232221131211ppppppP称状态3为吸收状态.电子科技大学EX.9醉汉问题酒吧家12345醉汉在街上徘徊,在每一个街口以1/3的概率停下,以1/3的概率向前或向后.若他又返回酒吧或到家门,不再游动.状态空间为E=｛1,2,3,4,5｝运动的转移矩阵为电子科技大学10000313131000313131000