离散时间马尔可夫链的几个性质-Read

1第二节离散时间马尔可夫链的几个性质1互通性2周期性3常返性4遍历性21.1互通性若对某一n1，有，则称系统X可以自状态I到达状态j，并记ij。如果ij，并且ji，则状态i与j互通，并记为ij若对一切n1，有或，或两式均成立，则称状态i与j不通()0nijp()0nijp()0njip（书第18页）31.2互通性互通性的性质自反律：ii(假定每个状态0步转移到自己)对称律：ij当且仅当ji传递律：ik且kj，则ijiji与j不通ikji，j，k互通41.3互通性举例考察具有两个吸收壁的随机游动，E＝{0,1,2,3,…,a}它的一步转移概率矩阵为1000.....................001qpqpPqpa0pq=(1-p)ii-1i+151.4互通性举例考察具有两个吸收壁的随机游动，E＝{0,1,2,3,…,a}它的一步转移概率矩阵为1000.....................001qpqpPqp01i-1ii+1a-1a….….qqqqqqqppppppp状态转移图1161.5不可约若一个马氏链的任意两个状态都互通，则此马氏链称为不可约马氏链；否则称为可约的马氏链。不可约的马氏链：在排队论中，用到的马尔可夫链大多是不可约的011101121/21/21/32/3（书第24页）71.6不可约可约的马氏链：2，3闭集4闭集(吸收态)11/30112312/31/310112/3282.1周期性定义若记di为数集{n:n1,}的最大公约数，则称它为状态i的周期。若对一切n1有，则约定di=.当di1时，称i是有周期的状态，当di=1时，称i是非周期的状态。定理2.1若ij，则di=djijk111ijkl1111/32/3()0niip()0niip（书第20页）92.2周期性如何判别一个状态是非周期的？若此状态带有自环，则必为非周期的（虽然非周期的状态不一定有自环）若此状态与一个非周期的状态互通，则必为非周期的以上是两个充分条件12我是非周期的，因为我有自环我也是非周期的，因为我与非周期状态1互通1/43/41103.1常返性常返性是考察马氏链由一个状态出发之后能否再次回归到本状态的特性常返性分三种正常返（必定会返回，平均返回时间为有限值）零常返（必定会返回，平均返回时间为）非常返（可能不再返回）（书第21页）113.2常返性定义引入符号1.2.3.若fj=1，则称j是常返的；若fj1则称j是非常返的()njf()0(jnj)(,,1|)njnkfPPXjXjknXj从状态出发经过步第一次回到状态()1(jj)njjnffP从状态出发经能够回到状态jf123.3常返性定义1.平均返回时间若fj=1，同时Mj=，则称j是零常返的或消极常返的；若fj=1，同时Mj，则称j是正常返的或积极常返的。2.若j是正常返且非周期的，则称j是遍历的()1njjnMnfjS133.4常返性举例0123nppppppqqqqqqqp+q=1pq正常返p=q零常返pq非常返143.5常返性判定判断马氏链的常返性经常使用如下定理：定理2.2对有限状态齐次马氏链，必有若此马氏链不可约，则E全由常返态组成；不存在零常返态不可约马氏链均由正常返态组成1/3011231/212/31/2非常返常返153.4常返性定理2.3设X是不可约马氏链，那么其状态集E或者全由非常返态组成，或者全为零常返态，或者全为正常返态，且每个状态周期相同这个定理称作“不可约马氏链的状态一致性”164.1遍历性定理2.4若马氏链X是齐次，不可约，非周期的，那么下列极限总存在且与初始分布无关。此外，或者A）所有状态全为非常返或者全为零常返，这是对一切j，j=0，且不存在平稳分布。或者B）所有状态全为正常返，且对一切j有j0，这时{j}就是平稳分布，同时有而且i可由下述关系式唯一地确定()limniiniE1ijiijiip1jjM174.2遍历性如果齐次马氏链的一个状态j是非周期、正常返的，则此状态j为遍历的。如果一个不可约的马氏链所有状态均为遍历的，则此马氏链就是遍历链。（修正书25页）遍历链平稳分布：存在、与初始分布无关、唯一、且全部都大于0185.1离散时间马尔可夫链性质举例S={0,1}状态数有限不可约（两两互通）非周期（有自环）正常返（状态有限，不可约）遍历（不可约，非周期，正常返）01ba1-b1-a195.2离散时间马尔可夫链性质举例S={0,1,2,3….}状态数无限不可约非周期常返性要看p的取值0123npppppp1-p1-p1-p1-p1-p1-p1-p205.3离散时间马尔可夫链性质举例有可约（为吸收态）非周期非常返正常返遍历的此马氏链不是遍历的0123331p1215.4离散时间马尔可夫链性质举例S={0,1,2,3}状态个数有限不可约周期d0=d1=d2=d3=3正常返不是遍历链0123225.5离散时间马尔可夫链性质举例S={0,1,2,3}状态个数有限不可约非周期的正常返遍历链0123