应用随机过程第5章马尔科夫链上

第5章马尔科夫链（上）2016-2017学年第2学期统计与信息学院张建新2017/4/17第5章马尔科夫（Markov）链›5.1基本概念›5.2状态的分类及其性质›5.3极限定理即平稳分布›5.4马尔可夫链的应用›5.5连续时间马尔可夫链5.1基本概念›马尔可夫链及其转移概率矩阵›马尔可夫链举例›n步转移概率矩阵、C-K方程与主方程5.1基本概念›马尔可夫链及其转移概率矩阵5.1基本概念›马尔可夫链及其转移概率矩阵5.1基本概念›马尔可夫链及其转移概率矩阵5.1基本概念›马尔可夫链及其转移概率矩阵5.1基本概念›马尔可夫链及其转移概率矩阵5.1基本概念›马尔可夫链举例5.1基本概念›马尔可夫链举例5.1基本概念›马尔可夫链举例5.1基本概念›马尔可夫链举例5.1基本概念›马尔可夫链举例5.1基本概念›马尔可夫链举例5.1基本概念›马尔可夫链举例5.1基本概念›马尔可夫链举例5.1基本概念›马尔可夫链举例5.1基本概念›马尔可夫链举例5.1基本概念›马尔可夫链举例5.1基本概念›n步转移概率矩阵、C-K方程与主方程5.1基本概念›n步转移概率矩阵、C-K方程与主方程5.1基本概念›n步转移概率矩阵、C-K方程与主方程5.1基本概念›n步转移概率矩阵、C-K方程与主方程›以下定理显示，马氏链在时刻n的分布是如何依赖于它的初始分布的。›设行向量›则有主方程：›证明：()(()),(){},niinnnPXiiS()()nmmnP()(0)(0)()nnPnP()()(){}{}{|}()()(),jmnmmnmimniijjimnPXjPXiPXjXimpnPjS5.1基本概念›n步转移概率矩阵、C-K方程与主方程5.1基本概念›n步转移概率矩阵、C-K方程与主方程5.1基本概念›n步转移概率矩阵、C-K方程与主方程5.1基本概念›n步转移概率矩阵、C-K方程与主方程5.1基本概念›n步转移概率矩阵、C-K方程与主方程P00(3)=7/275.1基本概念›n步转移概率矩阵、C-K方程与主方程5.1基本概念›n步转移概率矩阵、C-K方程与主方程已知初始分布为(0)0.250.300.350.15.1基本概念›n步转移概率矩阵、C-K方程与主方程5.2状态的分类及其性质可以利用C-K方程证明（3）5.2状态的分类及其性质5.2状态的分类及其性质5.2状态的分类及其性质5.2状态的分类及其性质5.2状态的分类及其性质首达概率、常返状态、非常返状态（暂态）5.2状态的分类及其性质5.2状态的分类及其性质11/223411/21/21/32/31/25.2状态的分类及其性质11/223411/21/21/32/31/25.2状态的分类及其性质11/223411/21/21/32/31/2该马尔科夫链的状态分为三类：{1,2}，{3}，{4}。5.2状态的分类及其性质n步转移概率的首达分解定理证明：利用全概率公式()0000001100()0011()()1{,}{|}{}{,,}{|,}{,}{}{}{|,}{|}{|}nnijnnnnjnjjllnnlnjjnlijllnlnlijjjlPXjXipPXjXiPXiPXjXiTlPXjXiTlPTlXiPXiPXiPXjXiTlPTlXiPXjXjffp注：Tj表示过程首次到达状态j的时间，称为首达时间。5.2状态的分类及其性质›常返态与暂态的充要条件›进而，对于暂态j有：›证明：可以母函数证明，思路比较清晰。详见《应用随机过程-模型和方法》，龚光鲁钱敏平，P29.›也可以利用n步转移概率的首达分解定理证明。()()1,lim01ijnnijijnnjjfippf5.2状态的分类及其性质›常返态与暂态的充要条件5.2状态的分类及其性质5.2状态的分类及其性质5.2状态的分类及其性质可见，各态互通，即状态空间不可约。5.2状态的分类及其性质5.2状态的分类及其性质由于各状态是互通的，故而所有的状态具有相同的常返性和周期性。注：将直线上的随机徘徊推广到d维空间，假设质点处在某一个格点时，以等概率在下一时刻移动到与之相邻的任意格点上，便得到Zd上的对称随机徘徊。类似地，可得：所以，当d=2时，所有状态都是常返态；而当d=3时，所有状态则均为暂态。(2)00/21ndpcn第5章作业›教材P111习题51-4›补充作业