您好,欢迎访问三七文档
当前位置:首页 > 商业/管理/HR > 质量控制/管理 > 第六章-6.4-转移概率的极限与平稳分布
6.4转移概率的极限与平稳分布西安电子科技大学数学与统计学院李伟1四转移概率的极限与平稳分布本节内容转移概率的极限平稳分布(),,lim(1)nijnijSp任意的是否存在?()limijnjnp此时记是否为一概率分布?()2)lim(nijnpi若存在,极限是否与无关?()limnijnpi(3什么条件下存在且与)无关?转移概率的极限研究转移概率的极限,主要关注以下问题先通过几个例子观察例6.4.1设马氏链的状态空间为S={1,2,3,4},一步转移概率矩阵为100001001200331110442P()1lim1,2,3,4ninpii试分析极限()是否存在,是否与初始状态有关.4123231213141411()11()21()31limlimlimnnnnnnppp易知有=1,=0,1=,3()()()414111()41(1)(1)11112422nlnlllnpfpfnl=1nl=1nl=1=()41lim2nnp1所以有=()1lim1,2,3,4ninpii因此极限()存在,且与初始状态有关.0.70.30.40.6P(),limnijnijpi对任意的S,试分析极限是否存在,是否与初始状态有关.{0.06.4.1.}10{}2nXXnSX设,是描述天气变化的齐次马氏链状态空间为,,其中与分例别表示有雨和无雨天气的一步转移概率矩阵为0.5710.429(10)0.5710.429nnP解:()()01limlimnniinnippi即对任意的S,有=0.571,=0.429与初始状态无关.320.5830.4170.5560.444PPP推再论回忆6.一个推论(3.1)(),jlim0nijniSSp非常返零常对任意的当是或有返时,()limnijnpi极限存在,与初始状态无关.再依据状态空间分解,还可以知道:()lim0nijnijp当属于不同的常返态不可约闭集时,有和()limnjjnjp而当周期态时为正常返,有不存在综上,转移概率的极限有不同的情况,为此,关于转移概率极限问题的讨论做以下假设:ji是正常返总定且假是非常返ji和属于同或者一个正常返类limnjjnjp()又当为正常返周期态时,考虑到,不存在,但是状态转移遵从周期链原则,为此,一般讨论以下形式的极限()limjndrijnp(1,2,,)jrd()0()(,,1,2,,)jndrijijjnfrfijSrd为此记()jijfrindr表示系统从状态出发,在某时刻终究到达状态j的概率.且()110()()jjjddndrijijrrnfrf()01()jjdndrijnrf()1mijmfijf证明()()()1jjjijndrndrndrvvijjjvpfp()(())0jjijnldrnldjjlfp()()(0.010)jjnjjjndrjjvdnpldrvlnp不能整除时,仅当时,,,,有定理6.4.1设j是正常返态,则()lim(),(,1,2,,)jndrjijijjnjjdpfriSrdjjj其中是状态平均返回时间()()(())0jjjijnndrldrnldijjjlpfp即1Nn对()(())()(()()()001)jjjjjijijijjldrnndrildldrnldldrjjjjllNjnNlNfpfppf()limijndjjnjjdNnp固定,让,并注意到,得()()()0limlimjjjijldrndrndrjijijnnljjNdfpp01()()jjijijNldrldrjlljjNdffN再让得()lim()jndrjijijnjjdpfr,1,2,,jiSrd0120D,D(1,2,)mSCCCCCm设马氏链的状态空间分解为其中为非常返状态子结论:集,为零常返的不可约闭集,为正常返的不可约闭集.则有0()00,,,lim0,,ijmnijjjnmlmmjDCiSfjCiSpjCiCClmjCiDC遍历,有周期,一般不存在,有周期,()limijnjnp此时记是否为一概率分布?()limijnnp什么情况下转移概率极从上述结限论中能否可以观察与初始到,状态无关?极限分为此引入布的定义()lim,0,1nijjjjnjSp且{,}jjS则是一概率分布,称之为马氏链的极限分布.X={,0,1,},,nXnijS设为马氏链,若对定义6.4.1次任意的齐有()1lim0nijnjjp即转移概率的极限存在,且与初始状态无关.X={,0,1,},,nXnijS:当马氏链为不可约的遍历链时,对任意的易知有0limnijnjjp()12.若是,但计算=比较困难.有没简单方法??1{,}jjjS1.此时是否是一概率分布极限疑问即:(分布)?()1lim,defnijjnjjpijSX={,0}nXn设为不可约定理的遍6.4.2历链,则{,},0,1.jjiijiSjjjSjSxxpjSxx且是线性方程组满足条件的唯一解()X1lim,因为是不可约的遍历链,因此1)先证极限存在且不依赖初始有证明状态defnijjnjjpjS,},2)再证极限满足方程{组jjiijiSjSxxpjS(1)()C-KMk=1首先,对固定正整数M,由方程有nnijikkjppp而上式对一切S等号成立.jS先令n,再令M,对上不等式取极限得jkkjkp事实上,若上式对某个j成立严格不等式,则两边关于j求和,得SSS()jkjSkkjkkjjSkjSkkpp矛盾!因此对于一切j成立有SjkkjkpjS,}01.3)证极限满足条{,件:jjjjSjSxxS首先,反复利用可以得到jkkjkpSSS(SSS))(2S)()(jnkkjiikkjkkiiikkjiijikiiijippppppp()S即有njiijipS1(6.32)j先令n,再令M,对上不等式取极限得j()又由于转移概率一致有界,因此令n对nijp()1Mj=1再次,对固定正整数M,有nijp()S两边取极限,得njiijip()()SSSlimli(m=)=()nnnnjiijiijijiiippS1ii,.}4)最后证的唯一性{jjS()Snjiijip,}若还有满足条件的另一{,解则也有jjS令n,得S()jijjijS.唯一性得证0.50.40.10.30.40.30.20.30.5P(),lim对任意的S,试计算和.nijjjnijp{}{ .012.001}6.4.32nnXnXXnS设在任意一天里,人的情绪是快乐的、一般的和忧郁的分别记为,,令表示某例人第天的心情,则,是状态空间,,上的齐次马氏链,一步转移概率为S,1jiijiSiipjS解方程组,012212318626262,,2平稳分布6.4.2{X,}jjS称概率分布是齐次马氏链定义平稳分布的一个,如果有12={,,},()XijpP其中为的转移概率矩阵。,jiijiSpjS或矩阵形式为=P{,}XjjS若概率分布是齐显然平稳分布次马氏链的,则也有(),,1,2,ijnjiiSjSnpn或矩阵形式为=P30,,jiijiSjpS()X={,0,1,},lim={,}nnijjnjXniSpjSπ总之,:当马氏链为时,对任意的有不可约的存在且概率分平稳布链为遍历分布,即10,jjjS,且{,0,1,2,}nXn定理6.4.3设{,}iiS是齐次马氏链的一个平稳分布,如果取{,}iiS为{,0,1,2,}nXn的初始分布,即0(),,iPXiiS(1)则对任意的正整数n,都有(),,niPXiiS00(1)()()()nnkSPXiPXkPXiXk证:明()nkkikSpiiS(2)并且对任意的正整数n,m,以及1120,,,,nnttiiiS和有12121212(,,,)(,,,)nntmtmtmntttnPXiXiXiPXiXiXi1212(2)(,,,)ntmtmtmnPXiXiXi证明0121002((,,,,))ntmtmtniSmPXiXiXXii1212(,,,)ntttnPXiXiXi1201002(,),,,ntmtmtmniSPXiXiXiXi10011201121()()()nnnntttttmiiiiiiiiSppp1211112()()nnnnittttiiiipp12111211()))((nntttntntPXiXiPXiXiPXi定理说明:若马氏链存在平稳分布,则以平稳分布作为初始分布,就有以下结论:(1)马氏链的绝对分布是确定的,保持不变.(2)该马氏链是一个严平稳时间序列.齐次马尔可夫链是否存在平稳分布?思考:一个重要的问题:如果存在,是否唯一?如何计算?按照以下情况分别讨论不可约的遍历链不可约的正常返的马氏链一般的齐次马氏链X=X{,0,1,}1{,}.设是,则存在唯一的极限分不可约的遍历链布njjjXnjS且此时的极限分布就是平稳分布.,jkkjkSkkSpjS=1平稳分布可通过求解下列方程组得到齐次马尔可夫链是不可约的遍历链例1设状态空间为S={0,1,2}的马尔可夫链,其一步转移概率矩阵为0.50.40.10.30.40.30.20.30.5P试分析它的极限分布,平稳分布是否存在?并计算解易知此链为不可约遍历链.故极限分布存在,平稳分布存在唯一,且平稳分布就是其极限分布。0121=P021621236221862012212318=(,,)(,,)626262例2设齐次马尔可夫链的状态空间S={0,1,2,3,4},其一步转移概率矩阵为12000331200033120003312000331200033P分析平稳分布存在?并计算解易知是不可约链,且为遍历链.故其平稳分布存在且唯一.012341=P013112312431383141631平稳分布为8161243131313131π={,,,,}定理6.4.4设{,0,1,}不可约齐次马氏链是nXXn其状态空间中的每个状正常态都是返状态.SX1{,}.则有唯一的平稳分布:jjjjS,jkkjkSkkSpjS=1平稳分布通过求解方程组齐次马尔可夫链是不可约的正常返链,},jjiijiSjSpjS1)先证满足方程组{(1)()()111C-K111()()nnnmmmijikkjikkjmmkSkSmpppppnnn
本文标题:第六章-6.4-转移概率的极限与平稳分布
链接地址:https://www.777doc.com/doc-4716409 .html