随机过程10-11

第十章随机过程的基本概念•随机过程的基本概念•随机过程的有限维分布函数族•随机过程的数字特征•特殊的随机过程及性质•泊松过程和维纳过程§10.1基本概念例1、1mol氧气注入密封的圆柱形容器中（中间插入网形隔板），注入的起始时刻令t=0，问[0,1]中任一时刻左边含有的氧分子数。令t时刻左边含有的氧分子数为X(t)，则在每一个时刻t，X(t)为随机变量，且X(0.1)与X(0.2)显然不独立。称{X(t),t∈T}为随机过程，T称为参数集。TttXXTTtE，，，有，对每个固定的的样本空间，是随机试验＝定义：设),(||}{令t在T中变动，得到依赖于t的一族随机变量，则称为随机过程。},),,({TttX记为{X(t),t∈T}，或X(t),X(ω,t)（随机过程即为定义在同一个Ω上的无穷多个随机变量的集合族。）注：①T:参数集；t:参数（一般为时间，也可以是其余的参数）；Ω:样本空间。故随机过程{X(t),t∈T}由t和ω决定。②T可以是离散、可列地取值，如T={1,2,…}，称为具有离散参数的随机过程（随机序列）；T也可以是某一有限区间或无限区间，如T＝[a,b]，T=[0,+∞)，称为具有连续参数的随机过程。③参数t固定为t0，则X(ω,t0)为一随机变量，称为过程在t0时刻的状态；故随t变化的随机变量的集合族即为一随机过程。固定t0∈T，I={X(ω0,t0)|任意ω0∈Ω}称为状态空间（所有状态的集合）；根据X(ω,t0)离散（连续），I称为离散（连续）状态空间。④固定ω0,{X(ω0,t),t∈T}是t普通的函数，称为随机过程对应于试验结果ω0的一个样本函数（一个现实，一个轨迹）。所有的轨迹放在一起即为随机过程，这种定义在理论上比较有用；但在实际的认识中我们是在每个时刻t去认识随机过程，故用统计的方式处理。§10.2随机过程的有限维分布函数族为随机变量；，若固定随机过程),(,}),({tXTtTttX的分布函数；称为，),()),((),(tXxtXPtxFRx定义1：的一维分布函数族。称为中变化，则在参数)(},|),({1tXRxTttxFBTt布函数；时刻的联合分称为随机过程在称212211212121,))(,)((),,,(,,ttxtXxtXPttxxFTtt定义2：的二维分布函数族。称为，)(},,|),,,({212121212tXRxxTttttxxFB维联合分布函数；的称为随机过程称ntXxtXxtXPttxxFTtttnnnnn)())(,,)((),,;,,(,,,,111121定义3：维分布函数族。的称为，ntXRxTtttxxFBiinnn)(}|),,;,,({111nnBB称为随机过程的有限维分布函数族。例1、设随机序列Xn=Sn,(n=1,2,…)，其中S是在[0,1]区间上服从均匀分布的随机变量，求{Xn,n≥1}的一维分布密度函数族。例2、已知随机过程21)()(,,sin)(HPHPHtHttX，其中若若求：)1,21,,()21,(21xxFxF；§10.3随机过程的数字特征函数；，称为随机过程的均值)()(tEXtmX定义1：为随机变量；，固定随机过程)(,}),({tXTtTttX值函数；，称为随机过程的均方)()(22tEXtX称为均方差函数。的方差函数；，称为)()()]()([)(2tDtXtmtXEtDXXX定义2：TtsTttX,}),({，随机过程)(),()()(),(2tttRtXsEXtsRXXX相关函数；特别的，称为随机过程的函数。称为随机过程的协方差))()())(()(())(),(cov(),(tmtXsmsXEtXsXtsCXXX计算公式：)()(),(),(tmsmtsRtsCXXXX注：①随机过程{X(t),t∈T}，t固定时X(t)即为随机变量，故概率论中求数字特征的方法，全部可以用来求随机过程中相应的数字特征（包括数字特征的性质）。③随机过程加普通函数不改变协方差函数。②{X(t),t∈T}中均方值函数存在，其协方差函数一定存在。§10.4特殊的随机过程⒈二阶矩过程：设{X(t),t∈T}为一随机过程，若任意t∈T,二阶矩存在，即EX2(t)+∞，则称{X(t),t∈T}为二阶矩过程。⒉正态过程：设{X(t),t∈T}为一随机过程,若X(t)的任一有限维分布均为正态分布，则称{X(t),t∈T}为正态过程（特殊的二阶矩过程）⒊独立增量过程：设{X(t),t∈T}为一随机过程，立增量过程。为独称随机变量相互独立，则个这，，有若}),({1)()()()(),,2,1(,,211221TttXntXtXtXtXniTttttnnnin称为增量。其中),,2,1()()(1nitXtXii⒋齐次增量过程：设{X(t),t∈T}为一随机过程，为时齐增量。增量过程。称时齐为齐次无关，则称时间起始点而与有关，的分布仅与时间间隔有亦可一般若)()()(}),({)()()(),0,0(,tXhtXTttXthtXhtXThthhhTt特殊：当{X(t),t∈T}为独立增量过程时称为齐次独立增量过程。⒌马尔可夫过程：设{X(t),t∈T}为一随机过程，为无记忆性）。具有马尔可夫性（或称，则称该过程条件下的条件分布相同条件分布与在的条件下，若在nnknnnnknnnxtXxtXxtXtXtXxtXtttttkn)(,,)(,)())(,),(()(,,1,111001110具有马尔可夫性的随机过程称为马尔可夫过程。,2,1,1nXSniin例3、Xn，n=1,2,…是独立同分布的随机变量序列，称其部分和序列为和过程，证明和过程{Sn}，n=1,2,…是齐次独立增量过程。,2,1,1nXSniin⒍独立增量过程的性质：{X(t),t∈T}是一个独立增量过程，t0是T的起点，定义Y(t)=X(t)-X(t0)，则Y(t)也是一个独立增量过程，而且与X(t)有着完全相同的增量规律，且P(Y(t0)=0)=1;所以，一般的，对于独立增量过程{X(t),t∈T}，若T={t|t≥0}，我们假设P(X(0)=0)=1。定理1：设{X(t),t≥0}是一个独立增量过程，在P(X(0)=0)=1的条件下，X(t)的任意有限维分布函数族可以由增量X(t)-X(s)(0st)的分布来唯一确定。定理2：设{X(t),t≥0}是一个独立增量过程，其均值函数和方差函数存在，则在P(X(0)=0)=1条件下，X(t)的协方差函数)(tmX)(tDX}),(min{),(tsDtsCXX如：例3中Xn，n=1,2,…是独立同分布且方差为σ2的随机变量序列，则其和过程的协方差函数niinXS12},min{),(mnmnCS§10.5泊松过程和维纳过程一、维纳过程定义：设随机过程{W(t),t≥0}，若满足如下条件，则称W(t)为维纳过程：(1)W(0)=0；(2)W(t)是齐次独立增量过程；服从正态分布，，)()(0sWtWst(3)))(,0(~)()(2stNsWtW即：(4)任给t≥0，EW(t)=0。性质：(1)W(t)为正态过程，其一维分布为正态分布。(2)},min{),()()(0)()(22tstsCttDWtDtEWtm二、泊松过程现实中某些现象的属性常常可以归结为某一空间中点的随机发生，即构成随机点过程。如：“来到银行柜台前等待服务的顾客数”；“在一段时间内点机器发生的故障数”等等。而我们关心的是计数过程N(t)在[0,t]内随机点发生的数目，N(t)满足一定的条件称为泊松过程。1.概念定义：设{N(t),t≥0}表示[0,t]时间内随机点发生的数目，如果N(t)具有以下性质，则称{N(t),t≥0}是一个到达强度为λ(λ0)的泊松过程。(1)齐次性：以{N(t0,t0+t)=k}表示“在(t0,t0+t]发生k个随机点”这一事件，则Pk(t)=P(N(t0,t0+t)=k)(k=0,1,2,…)只与时间区间长度t有关，而与起始点无关。(2)独立增量性（无后效性）：在任意的n个互不相交的时间区间(ai,bi](i=1,2,…)中，各自发生的随机点数是相互独立的，即：若第i个区间(ai,bi]有ki个随机点出现，则事件{N(ai,bi)=ki}(i=1,2,…)独立。(3)普通性：在一瞬间最多出现一个随机点；则)()(0)(limtotttn，即)()1)(()(1tottNPtP且(4)P(N(0)=0)=1（非本质性质）)()(1)(10tPtPt若记2.性质（有限维分布及数字特征）(1)设{N(t),t≥0}是一个强度为λ的泊松过程，则N(t)的一维分布是参数为λt的泊松分布，即N(t)~P(λt)。(2)mN(t)=λt；DN(t)=λt；CN(s,t)=λ·min{s,t}(3)设{N(t),t≥0}是一个强度为λ的泊松过程，则增量N(t)-N(s)（参数ts≥0）的分布是参数为λ(t-s)的泊松分布，即N(t)-N(s)~P(λ(t-s))。(4)设{N(t),t≥0}是一个强度为λ的泊松过程，求N(t)的二维分布。3.间隔时间的分布例：设{N(t),t≥0}是一个强度为λ的泊松过程，记Wn（n=1,2,…）为第n个随机点出现的时刻，Ti=Wi-Wi-1（i=1,2,…）表示第i-1个随机点与第i个随机点出现的时间间隔，求Wi与Ti的分布。结论：泊松过程中随机点出现的间隔时间Ti=Wi-Wi-1（i=1,2,…），相互独立，同服从参数为λ的指数分布e(λ)；反之也成立。4.泊松过程与其它分布的关系例1、设{N(t),t≥0}是一个强度为λ的泊松过程，求：P(N(S)=1|N(T)=1)(T≥S≥0)例2、求：P(N(S)=k|N(T)=n)(k=0,1,…,n)(T≥S≥0)例3、证明：所有的独立增量过程都为马尔可夫过程（即具有马尔可夫性）。第十一章马尔可夫链•马尔可夫链的概念和转移概率矩阵•齐次马尔可夫链的有限维分布•多步转移概率的确定•齐次马尔可夫链的遍历性§11.1马尔可夫链的基本概念定义1：设随机过程{Xn,n≥0}，如果满足如下条件：(1){Xn,n≥0}的状态空间I={x0,x1,…,xn,…}为可数集；(2)对一切的n≥1和所有的x,x1,x2,…,xn-1∈I都有则称{Xn,n≥0}为马尔可夫链，简称马氏链。其中(1)式称为马尔可夫条件。（无后效性）)1()|(),,,|(11111100nnnnnnxXxXPxXxXxXxXP注：1.马尔可夫性的意义：未来的分布只与现在时刻有关，与历史无关。2.定义中(1)式与下列等式等价：)2(0,)|(),,,|(1100nmxXxXPxXxXxXxXPnnnmnnnm0,)3()|(),,,|(212211mnnnnxXxXPxXxXxXxXPknnnmnnnnnnnmkkkk其中3.状态空间不失一般性，可假定为I={0,1,2,…}此时，{Xn=i}表示：马尔可夫链“第n步（n时刻）处于第i个状态”或称为“第n步有值i”。定义2：设{Xn,n≥0}是一马尔可夫链，称pij(m,m+n)=P(Xm+n=j|Xm=i)为马氏链{Xn,n≥0}的n步转移概率。(任意的i,j∈I)由pij(m,m+n)组成的矩阵P(m,m+n)=(pij(m,m+n))称为{Xn,n≥0}的n步转移概率矩阵。定义3：设{Xn,n≥0}为一马尔可夫链，如果对所有的m≥0，n≥1，i,j∈I，有P(Xm+n=j|Xm=i)=P(Xn=j|X0=i)，