第一章-马氏过程_泊松过程_讲稿

第一章随机过程离散时间随机过程连续型随机过程()Xt采样(),1,2,nnXXtn称为随机变量序列12,,,,nXXX也记作{(),1,2,,}Xnnn或{}nX，简记为()Xn或nX。称()Xn为离散时间随机过程。()Xn在时刻n的取值是一个随机变量nX，其概率分布就是离散时间随机过程的一维分布。()Xn在时刻nm,的取值nmXX,的联合分布，就是离散时间随机过程的二维分布。以此类推，()Xn在n个时刻的取值的联合分布，就是离散时间随机过程的n维分布。若经过某时间平移k后，其任意n维分布保持不变：XkkNkXNFxxxkkNkFxxxN1212(,,...,;1,2,...,)(,,...,;1,2,...,)则称该离散时间随机过程为严平稳的。均值nXnmEXEXn()(())均方值nXnEX22()相关函数XnnRnnEXX1212(,)()宽平稳的定义nXnXmEXm()XnnXRnnEXXRmmnn121221(,)()(),nXXR2(0)遍历性（对应连续随机过程的时间平均TTTdtT1lim2）时间均值NnNnNAXnXnXN1()()lim21时间相关函数NXnnmNnNRnnmXnXnmXXN1(,)()()lim21定义：若宽平稳随机序列()Xn的时间均值依概率1等于其统计均值Xm，时间相关函数依概率1等于其统计相关函数XRm()则称其为宽遍历的。宽平稳随机序列相关函数的性质：与连续随机过程的类似，自己看书。马尔可夫过程的概念当随机过程在时刻1it所处的状态为已知的条件下，过程在时刻1()iitt所处的状态，与过程在时刻1it以前所处的状态无关，而仅与过程在时刻1it的状态有关，则称该过程为马尔可夫过程。这种特性称为随机过程的“无后效性”或马尔可夫性。t2itit1it2()iXt()iXt1()iXt根据时间Ｔ和状态Ｅ的取值，马尔可夫过程分为四类：时间集Ｔ状态集Ｅ分类连续连续马尔可夫过程连续离散可列马尔可夫过程离散连续马尔可夫序列离散离散马尔可夫链状态可列的马尔可夫链称为可列马尔可夫链；状态有限的马尔可夫链称为有限马尔可夫链。规定一随机变量序列12,,,,nXXX，可把此序列看作连续型随机过程()Xt采样(),1,2,nnXXtn称为随机变量序列12,,,,nXXX也记作{(),1,2,,}Xnnn或{}nX，简记为()Xn或nX。状态连续定义：若对于任意的n，有1211(|,,,)(|)XnnnXnnFxxxxFxx（1）写成概率形式11221111nnnnnnnnnnP{Xx|Xx,Xx,,Xx}P{Xx|Xx}即，如果在112211,,,nnnnXxXxXx条件下nX的条件分布，等于仅在11nnXx条件下nX的条件分布，则称此随机变量序列nX为马尔可夫序列。这一分布函数常称为转移分布。概率论回顾：(|){|}FxyPXxYy为在Yy下X的条件分布函数。对于连续型随机变量，由（1）式可得1211(|,,,)(|)XnnnXnnfxxxxfxx（2）这样，有12121121211112211(,,,)(|,,,)(|,,)(|)()(|)(|)(|)()XnXnnnXnnXXXnnXnnXXfxxxfxxxxfxxxfxxfxfxxfxxfxxfx（3）即，12,,,nXXX的联合概率密度可由初始概率密度1()Xfx和转移概率密度1(|)Xkkfxx(2,,)kn来确定。相反地，若（3）式对所有n皆成立，则序列是马尔可夫序列，这是因为12121121112211112211(,,,)(|,,,)(,,,)(|)(|)(|)()(|)(|)(|)()XnXnnnXnXnnXnnXXXnnXnnXXfxxxfxxxxfxxxfxxfxxfxxfxfxxfxxfxxfx1.6马尔可夫链1.6.1马尔可夫链的基本概念1．马尔可夫链的定义时间离散、状态离散定义34：设{,1,2,,}nXnn为一随机变量序列，其状态空间12{,,,}NEaaa，若对于任意的n，满足12111211{|,,,}{|}nnnnnnininiininiPXaXaXaXaPXaXa则称该序列为马尔可夫链（简称马氏链）。含义：（1）此序列nX可看作是对随机过程()Xt的采样()nnXXt，nX所可能取的状态为12,,,Naaa之一，而且nX只在12,,,,nttt时刻发生状态转移。（2）过程在nt时刻变成状态nia的概率，只与1nt时刻的状态有关，而与1nt以前时刻的状态无关。2．马尔可夫链的转移概率及性质对于马氏链，描述它的概率性质最重要的是它在时刻mt的转移概率。通常，我们用(,){|}ijmkjmipmmkPXaXa表示在mt时刻出现miXa的条件下,mkt时刻出现mkjXa的条件概率。mtmktmiXamkjXat一般而言，(,)ijpmmk不仅与,,ijk有关，而且与m有关。若与m无关，则称该马氏链为齐次马氏链，此时(,)ijpmmk可表示为()ijpk。下面仅对齐次马氏链进行讨论。1)一步转移概率在齐次条件下，1k时，有(1)(,1)ijijijppmmp（马氏链由状态miXa经一步转移到1mjXa的概率）此即一步转移概率。由所有一步转移概率ijp构成的矩阵111212122212NNNNNNppppppPppp称为一步转移概率矩阵，简称转移概率矩阵。这一矩阵给出了随机变量序列12{,,,,}nXXX状态转移的概率特性。转移概率矩阵的性质：（1）01ijp==由于ijp是条件概率，所以由概率的性质可知上式成立。（2）11Nijjp==11111{x,x}{x|x}{x}{(x,x)}{(x)(x)}{x}{x}{(x)}{x}1{x}{x}jjmjmiNjijmjmijjmimjmimjmiaEaEmimimimimimiPaapPaaPaPaaPaaPaPaPSaPaPaPa注意：1(x)jmjaEa是必然事件S。对必然事件S，有()()PASPA。只有两两互不相交事件才有()()iiiiPAPA。易知1{x,x}{x}mjmimijPaaPa表明：马氏链mt时从状态ia出发，而下一步必然到达E中状态之一。对应于转移概率矩阵，可知转移概率矩阵的每一行的元素之和为1。2)n步转移概率之前给出了时刻mt的转移概率：(,){|}ijmkjmipmmkPXaXa在齐次条件下，kn时，可得到n步转移概率()(,){|}ijijmnjmipnpmmnPXaXa表示马氏链由状态ia经过n步转移到ja的概率。由所有n步转移概率()ijpn可构成n步转移概率矩阵111212122212()()()()()()()()()()NNNNNNpnpnpnpnpnpnPnpnpnpnn步转移概率类似于一步转移概率具有下列性质：（1）0()1ijpn；（2）1()1Nijjpn证明类似于一步转移概率的证明方法。为了数学处理便利，通常规定1(0)(,){x|x}0ijijmjmiijijppmmPaaij3)切普曼-柯尔莫哥洛夫方程（C-K方程）对于nkl步转移概率，有如下的C-K方程的离散形式1()()()()Nijijirrjrpnpklplpk表明：由于马氏链的无后效性和齐次性，该链从状态ia经过n步转移到ja的概率可等效为：先由状态ia经过l步到达中间状态(1,2,,)rarN，再由状态ra经过k步到达状态ja的概率和。证明：rrijijmlkjmimlkjmlrmiaEmlkjmlrmiaENmlkjmlrmirpnpklPaaPaaaPaaaPaaa1()(){x|x}{(x)(x)|x}{(x,x|x)}{x,x|x}注意：(x)rmlraEa是必然事件若S是必然事件，则有()()PASPA；只有两两互不相交事件才有()()iiiiPAPA由概率的乘法定理公式()(|)()PABPABPB知(|)(|)(|)PABCPABCPBC，可得1(){x|x,x}{x|x}NijmlkjmlrmimlrmirpnPaaaPaa1{x|x}{x|x}NmlkjmlrmlrmirPaaPaa马尔科夫性1()()Nirrjrplpk齐次性证毕。若用概率矩阵表示，有：()()()PnPlPk1212()()()()()()()jjijiiiNNjpkpkpnplplplpk当2n时，有：22(2)(1)(1)[(1)]()PPPPP同理，当kn时，有：()(1)(1)[(1)]()kkPkPPkPP即，任意k步转移概率矩阵可由一步转移概率矩阵自乘k次来得到。例1-15在某数字通信系统中多级传输0、1两种数字信号。由于系统中存在干扰，在任一级输入0、1数字信号后，其输出不产生错误的概率为p，产生错误的概率为pq1，求两级传输时的概率转移矩阵。解：系统每一级的输入状态和输出状态构成一个两状态的马氏链，满足无后效性和齐次性。其一步转移概率矩阵为pqqppppp11100100P于是，两级传输时的概率转移矩阵等效于两步转移概率矩阵为2222222)2(qppqpqqppqqppqqpPP例1-16已知明日是否降雨只与今日的天气(是否有雨)有关，而与以往的天气无关。设有雨为状态“1”，而无雨为状态“0”，并且今日有雨而明日有雨的概率为6.0，今日无雨而明日有雨的概率为3.0。试求其一步至四步转移概率矩阵；并求今日有雨而后日（第二日）仍有雨、今日无雨而第四日有雨的概率各为多少？解：由题意可知，本例构成一个两状态的具有无后效性和齐次性的马氏链。其一步转移概率矩阵为6.04.03.07.011100100ppppP二步转移概率矩阵为48.052.039.061.06.04.03.07.06.04.03.07.0)2(11100100111001002ppppppppPP三步转移概率矩阵为444.0556.0417.0583.06.04.03.07.048.052.039.061.0)3(123PPPP四步转移概率矩阵为4332.05668.04251.05749.06.04.03.07.0444.0556.0417.0583.0)4(134PPPP今日有雨而第二日仍有雨的概率为48.0)2(11p今日无雨而第四日有雨的概率为4251.0)4(01p例1-17设每次打靶击中的概率为p，每次打靶未击中的概率为q，试写出可列多次相互独立的打靶试验的一步转移概率矩阵。解：可列多次独立的打靶试验定义了一个离