第六章-6.1马尔可夫链的定义

6.1马尔可夫链的定义马尔可夫链的定义马尔可夫链的定义马尔可夫链的定义主讲人主讲人主讲人主讲人：：：：李伟李伟李伟李伟主讲人主讲人主讲人主讲人：：：：李伟李伟李伟李伟西安电子科技大学数学与统计学院西安电子科技大学数学与统计学院西安电子科技大学数学与统计学院西安电子科技大学数学与统计学院2013年秋季年秋季年秋季年秋季马尔可夫简介马尔可夫简介马尔可夫简介马尔可夫简介•安德雷安德雷安德雷安德雷·安德耶维齐安德耶维齐安德耶维齐安德耶维齐·马尔可夫马尔可夫马尔可夫马尔可夫(1856年年年年6月月月月14日日日日－－－－1922年年年年7月月月月20日日日日），），），），俄国数学家俄国数学家俄国数学家俄国数学家。。。。•马尔可夫出生于梁赞马尔可夫出生于梁赞马尔可夫出生于梁赞马尔可夫出生于梁赞，，，，他的父亲是一位中级官员他的父亲是一位中级官员他的父亲是一位中级官员他的父亲是一位中级官员，，，，后来举家后来举家后来举家后来举家迁往圣彼得堡迁往圣彼得堡迁往圣彼得堡迁往圣彼得堡。。。。1874年马尔可夫年马尔可夫年马尔可夫年马尔可夫入圣彼得堡大学入圣彼得堡大学入圣彼得堡大学入圣彼得堡大学，，，，师从师从师从师从切比切比切比切比雪夫雪夫雪夫雪夫，，，，毕业后留校任教毕业后留校任教毕业后留校任教毕业后留校任教。。。。1886年当选为圣彼得堡科学院院士年当选为圣彼得堡科学院院士年当选为圣彼得堡科学院院士年当选为圣彼得堡科学院院士。。。。•马尔可夫的主要研究领域在概率和统计方面马尔可夫的主要研究领域在概率和统计方面马尔可夫的主要研究领域在概率和统计方面马尔可夫的主要研究领域在概率和统计方面。。。。二十世纪初二十世纪初二十世纪初二十世纪初，，，，他的兴趣转移到相依随机变量序列的研究上来他的兴趣转移到相依随机变量序列的研究上来他的兴趣转移到相依随机变量序列的研究上来他的兴趣转移到相依随机变量序列的研究上来，，，，从而创立了从而创立了从而创立了从而创立了以他命名的著名概率模型以他命名的著名概率模型以他命名的著名概率模型以他命名的著名概率模型——马尔可夫链马尔可夫链马尔可夫链马尔可夫链．．．．他他他他的研究开创了的研究开创了的研究开创了的研究开创了随机过程这个新的领域随机过程这个新的领域随机过程这个新的领域随机过程这个新的领域，，，，以他的名字命名以他的名字命名以他的名字命名以他的名字命名的马尔可夫链在现的马尔可夫链在现的马尔可夫链在现的马尔可夫链在现代代代代工程工程工程工程、、、、自然科学自然科学自然科学自然科学和社会科学各个和社会科学各个和社会科学各个和社会科学各个领域都有很广泛的应用领域都有很广泛的应用领域都有很广泛的应用领域都有很广泛的应用。。。。经过世界各国几代数学家的相继努力经过世界各国几代数学家的相继努力经过世界各国几代数学家的相继努力经过世界各国几代数学家的相继努力,至今已成为内至今已成为内至今已成为内至今已成为内容十分丰富容十分丰富容十分丰富容十分丰富,理论上相当完整理论上相当完整理论上相当完整理论上相当完整,应用也十分广泛的一门应用也十分广泛的一门应用也十分广泛的一门应用也十分广泛的一门数学分支数学分支数学分支数学分支.它的应用领域涉及计算机它的应用领域涉及计算机它的应用领域涉及计算机它的应用领域涉及计算机、、、、通讯通讯通讯通讯、、、、自动控制自动控制自动控制自动控制、、、、随机服随机服随机服随机服务务务务、、、、可靠性可靠性可靠性可靠性、、、、生物生物生物生物、、、、经济经济经济经济、、、、管理管理管理管理、、、、气象气象气象气象、、、、物理物理物理物理、、、、化学化学化学化学等等等等.马尔可夫马尔可夫马尔可夫马尔可夫1922年逝世于圣彼得堡年逝世于圣彼得堡年逝世于圣彼得堡年逝世于圣彼得堡。。。。马尔可夫的儿子马尔可夫的儿子马尔可夫的儿子马尔可夫的儿子A·A·小马尔可夫也是一位著名数学家小马尔可夫也是一位著名数学家小马尔可夫也是一位著名数学家小马尔可夫也是一位著名数学家。。。。王梓坤院士王梓坤院士王梓坤院士王梓坤院士(1929年年年年—)江西吉安江西吉安江西吉安江西吉安人人人人,1952年大学毕业年大学毕业年大学毕业年大学毕业后后后后，，，，被分派到天津南被分派到天津南被分派到天津南被分派到天津南开大学数学系任教开大学数学系任教开大学数学系任教开大学数学系任教.是一位对我国科学和是一位对我国科学和是一位对我国科学和是一位对我国科学和教育事业作出卓越贡教育事业作出卓越贡教育事业作出卓越贡教育事业作出卓越贡献的数学家和教育家献的数学家和教育家献的数学家和教育家献的数学家和教育家，，，，献的数学家和教育家献的数学家和教育家献的数学家和教育家献的数学家和教育家，，，，也是我国概率论研究也是我国概率论研究也是我国概率论研究也是我国概率论研究的先驱和学术带头人的先驱和学术带头人的先驱和学术带头人的先驱和学术带头人之一之一之一之一。。。。•1954年年年年，，，，他又以优异的成绩考取了赴苏研究生他又以优异的成绩考取了赴苏研究生他又以优异的成绩考取了赴苏研究生他又以优异的成绩考取了赴苏研究生。。。。踏进世界著名踏进世界著名踏进世界著名踏进世界著名学府学府学府学府－－－－莫斯科大学莫斯科大学莫斯科大学莫斯科大学，，，，在这个学府世界概率论的奠基人柯尔莫哥洛在这个学府世界概率论的奠基人柯尔莫哥洛在这个学府世界概率论的奠基人柯尔莫哥洛在这个学府世界概率论的奠基人柯尔莫哥洛夫院士正领导看一个强有力的概率研究集团夫院士正领导看一个强有力的概率研究集团夫院士正领导看一个强有力的概率研究集团夫院士正领导看一个强有力的概率研究集团。。。。柯尔莫高洛夫慧眼柯尔莫高洛夫慧眼柯尔莫高洛夫慧眼柯尔莫高洛夫慧眼识英才识英才识英才识英才，，，，非常信赖这位由中国选派的年轻人的能力非常信赖这位由中国选派的年轻人的能力非常信赖这位由中国选派的年轻人的能力非常信赖这位由中国选派的年轻人的能力，，，，把他选作自把他选作自把他选作自把他选作自己的研究生己的研究生己的研究生己的研究生，，，，去攻概率论的中心问题随机过程理论去攻概率论的中心问题随机过程理论去攻概率论的中心问题随机过程理论去攻概率论的中心问题随机过程理论。。。。•当时当时当时当时中国近代数学才刚刚起步中国近代数学才刚刚起步中国近代数学才刚刚起步中国近代数学才刚刚起步，，，，大学也没有概率课程大学也没有概率课程大学也没有概率课程大学也没有概率课程。。。。此时此时此时此时苏联的概率论水平已届于世界最前列苏联的概率论水平已届于世界最前列苏联的概率论水平已届于世界最前列苏联的概率论水平已届于世界最前列。。。。王梓坤也根本不知道什么王梓坤也根本不知道什么王梓坤也根本不知道什么王梓坤也根本不知道什么是概率是概率是概率是概率，，，，可他的研究方向又恰恰被定为概率论可他的研究方向又恰恰被定为概率论可他的研究方向又恰恰被定为概率论可他的研究方向又恰恰被定为概率论，，，，著著著著有有有有《《《《概率论基概率论基概率论基概率论基是概率是概率是概率是概率，，，，可他的研究方向又恰恰被定为概率论可他的研究方向又恰恰被定为概率论可他的研究方向又恰恰被定为概率论可他的研究方向又恰恰被定为概率论，，，，著著著著有有有有《《《《概率论基概率论基概率论基概率论基础及其应用础及其应用础及其应用础及其应用》》》》、、、、《《《《随机过程论随机过程论随机过程论随机过程论》》》》、、、、《《《《生灭过程与马尔科夫链生灭过程与马尔科夫链生灭过程与马尔科夫链生灭过程与马尔科夫链》》》》等等等等9部数学著作部数学著作部数学著作部数学著作．．．．
马尔可夫链的定义马尔可夫链的定义马尔可夫链的定义马尔可夫链的定义
马尔可夫链的概率分布马尔可夫链的概率分布马尔可夫链的概率分布马尔可夫链的概率分布本章内容本章内容本章内容本章内容
齐次马尔可夫链的状态分类齐次马尔可夫链的状态分类齐次马尔可夫链的状态分类齐次马尔可夫链的状态分类
转移概率的极限与平稳分布转移概率的极限与平稳分布转移概率的极限与平稳分布转移概率的极限与平稳分布01+16.1.1X={,0}(,,)S0,,,,,nnnXnFPniiiiS≥Ω≥∈⋯定义是定义在概率空间上的随机过程，状态空间为可数集合，如果对任意的以及，有110011(),,,nnnnPXiXiXiXi++====⋯离散时间马尔可夫链的定义离散时间马尔可夫链的定义离散时间马尔可夫链的定义离散时间马尔可夫链的定义11101011()()(6,1,,.)nnnnnnnnPXiPXiXiXXiXii++++=======⋯X则称随机过程为离散时间马尔可夫链，简称马氏链.(6.1)式所表达的性质，称为马氏性.马氏性的直观解释马氏性的直观解释马氏性的直观解释马氏性的直观解释如果将时刻如果将时刻如果将时刻如果将时刻n看作现在看作现在看作现在看作现在，，，，则时刻则时刻则时刻则时刻0，，，，1，，，，…，，，，n-1就就就就表示过去表示过去表示过去表示过去，，，，而时刻而时刻而时刻而时刻n+1就表示将来就表示将来就表示将来就表示将来，，，，tn=1tn=+0,1,...,1tn=-(6.1)式表示的马氏性指式表示的马氏性指式表示的马氏性指式表示的马氏性指：：：：在已知过程现在状态的条在已知过程现在状态的条在已知过程现在状态的条在已知过程现在状态的条件下件下件下件下，，，，过程将来处于那个状态的概率不依赖于过程过程将来处于那个状态的概率不依赖于过程过程将来处于那个状态的概率不依赖于过程过程将来处于那个状态的概率不依赖于过程过去经历的状态过去经历的状态过去经历的状态过去经历的状态.也称之为也称之为也称之为也称之为无记忆性无记忆性无记忆性无记忆性.tn=现在1tn=+将来0,1,...,1tn=-过去+1+1(6.1)()nnnnPXXii==式中的条件概率1Xn().nniipn+称为马氏链在时刻从状态到的一步转移概率，记为即1().nniipn+记为即1+1+1()()nniinnnnpnPiXXi+===一般地一般地一般地一般地，，，，有以下定义有以下定义有以下定义有以下定义()6.1.2{,0}S,()nkijXXnijSn=≥≥≥∈定义设马氏链的状态空间为，对任意的n0,k1以及任意的状态，用p表示以下条件概率，即()()(,,,0,)1kijnknpnPXjXijSnik+==∈≥≥=kn+kjnk.Xni它表示马氏链在时从状态出发经过步转移，于时到达状态的概率，称为马氏链在时刻的步转移概率k=1时，(1)()ijnpn为时的一步转移概率,()ijpn记为))(()()()(npnkijk=P()()nk.kijnjpi称以为第行第列元素的矩阵为马氏链在时刻的步转移概率矩阵记为(1)(1)()(())ijnpn=Pk=1时，马氏链的一步转移概率矩阵为()(())ijnpn=P常简记为特别约定特别约定特别约定特别约定，，，，当当当当k＝＝＝＝００００时时时时，，，，(0)1,,,00,ijijijpijSnijδ===∈≥≠(0)()I.Pn=此时为单位矩阵(0)()I.Pn=此时为单位矩阵()()()0,()1,,,0,0kkijijjSpnpnijSnk∈≥=∈≥≥∑不难验证不难验证不难验证不难验证，，，，转移概率矩阵是随机矩阵转移概率矩阵是随机矩阵转移概率矩阵是随机矩阵转移概率矩阵是随机矩阵，，，，即即即即齐次马尔可夫链齐次马尔可夫链齐次马尔可夫链齐次马尔可夫链()nijpn如果马氏链X的一步转移概率衡与起始时刻无关，即有()(1)(2),ijijijpnpnpnijS=+=+=∈⋯X则称马氏链具有时齐性，也称为齐次马氏链.为方便，一般常将齐次马氏链的起始时刻取为零．即10(),ijpPXjXiijS===∈相应的一步转移概率矩阵分别记为P=()ijpX则称马氏链具有时齐性，也称为齐次马氏链.例6.1.1(随机游动)设一质点在直线上的整数格点上作随机游动，移动规则如下：i如果某时刻质点位于整数格点处，pq马尔可夫链举例马尔可夫链举例马尔可