第三章 几种重要随机过程

正态过程（高斯过程）独立过程独立增量过程维纳过程泊松过程马尔可夫过程生灭过程4几种重要的随机过程4.1.1正态分布（高斯分布）定义1：如果随机变量X的概率密度为则称X为服从参数的正态分布，记为，其中，为均值；为方差。分布函数为当时的正态分布称为标准正态分布，记为。分布函数22()21(),2xfxex2(,)XN220,122()21()()2txxFxedt()()Fxx(0,1)XN4.1正态过程(高斯过程)4.1.1正态分布（高斯分布）定义2：如果n维随机变量的概率密度为其中，为均值向量，为协方差矩阵，则称X服从n维正态分布，称X为n维正态随机变量。n维正态分布完全由一阶矩和二阶矩所确定。1()21221()(2)||nfe-1x-μ)C(x-μxC12(,,,)nXXXX12(,,,)nxxxx12(,,,)nμ(),cov(,)ijnnijijccXXC4.1.1正态分布（高斯分布）中心极限定理：设是n个相互独立同分布的随机变量，每个随机变量的均值为，方差为，则即的极限分布为标准正态分布N(0,1)；近似地服从正态分布。该定理表明，若有大量相互独立的随机变量，且每个随机变量对它们之和的影响足够小时，则当这些随机变量的个数趋于无穷大时，这些随机变量的和服从正态分布，而与每个随机变量的分布无关。12,,,nXXX2121lim{}()2ntixinXnPxedtxn1niinXnZn21niiX2(,)Nnn4.1.1正态分布（高斯分布）n维正态随机变量的性质：（1）（n维正态分布的边沿分布）设是n维正态随机向量，则X的任一子向量也服从正态分布。12(,,,)nXXXX12(,,,)()mkkkXXXmnbX(,)NXuC(,)NbbbXuC12(,,,)mkkkbμCb是保留C的第k1,k2,…,km行和列所得到的m×m矩阵4.1.1正态分布（高斯分布）n维正态随机变量的性质：（2）（独立性）定理1：n维正态分布的随机变量相互统计独立的充要条件是它们两两互不相关。定理2：若X是正态分布的随机向量，X1和X2是X的两个子向量，即，则X1与X2相互统计独立的充要条件是它们的互协方差矩阵为0。12,,,nXXX12(,)XXX4.1.1正态分布（高斯分布）n维正态随机变量的性质：（3）（线性变换）设是n维正态随机变量，均值为，协方差矩阵为C。若，其中，则。若e=(ejk)是m×n矩阵,是m×1的列矩阵，即m维向量，则，。12(,,,)nXXXX12[](,,,)nEXμ1nkkkYaXaX12(,,,)naaaa[],[]EYDYaμaCaZeX[],[]EDZeμZeCe4.1.1正态分布（高斯分布）n维正态随机变量的性质：（3）（线性变换）定理1：服从n维正态分布的充要条件是它的任何一个线性组合服从一维正态分布。定理2：若服从n维正态分布，而若e=(ejk)是m×n矩阵,则服从m维正态分布。(,)NeμeCe12(,,,)nXXXX1nkkkYaXaXZeX(,)NμC111(,)nnnkkkikikkiNaaaC12(,,,)nXXXX(,)NμC正态分布随机变量的线性变换不变性4.1.2正态随机过程（高斯过程）定义：若随机过程{X(t),t∊T},对于任意n个时刻t1,t2,…,tn∊T,n维随机变量[X(t1),X(t2),…,X(tn)]的联合概率分布为n维正态分布，则称{X(t),t∊T}为正态过程（或高斯过程）。概率分布：-1121221211(,,,;,,,)exp[()()](2)||2nnnfxxxtttxμCxμC12()()()nmtmtmtμ111212122212(,)(,)(,)(,)(,)(,)(,)(,)(,)nnnnnnCttCttCttCttCttCttCttCttCttC特征函数：121(,,,)exp()2nuuuiμuuCu4.1.2正态随机过程（高斯过程）性质：（1）正态过程{X(t),t∊T}的n维概率密度及特征函数完全由它的均值向量和协方差矩阵所确定。（二阶矩过程）（2）对于正态过程，独立性和不相关性是等价的。若一个正态过程{X(t),t∊T}在任意n个时刻t1,t2,…,tn∊T,采样，所得的n维随机变量X(t1),X(t2),…,X(tn)两两互不相关，则，这些随机变量也是相互独立的。对于多个正态过程，若两两互不相关，则两两相互独立。[证明]X(t1),X(t2),…,X(tn)两两互不相关，则协方差函数20,,(,),.ikiikCttik当当21222000000nC212122100100100nC21|C|nii-11112212222112221111(,,,;,,,)exp[()()](2)||2()11exp[](2)2()1exp[](,)22nnnniinininniiiiiiiifxxxtttxmxmfxtxμCxμCn维正态概率密度等于n个一维正态概率密度的乘积。4.1.2正态随机过程（高斯过程）性质：（3）对于正态过程，宽平稳与严平稳是等价的。严平稳过程二阶矩存在宽平稳过程()[()][()]()iiiimtEXtEXtmtm22(,)(,)(,)(,)ijijijijCttRttmRttmCtt宽平稳过程:n维分布相同，不随时间、位置的推移而变化严平稳过程：4.1.2正态随机过程（高斯过程）性质：（4）正态过程的线性不变性。正态过程的线性组合仍为正态过程；正态过程经过线性系统（变换）后仍为正态过程。4.1.2正态随机过程（高斯过程）性质：（5）正态过程的均方微积分定理1设为k维正态随机向量,且均方收敛于,则X也是k维正态随机向量。定理2设{X(t),t∈T}是正态过程,且在T上均方可导,则该过程的导数{X′(t),t∈T}也是正态过程。定理3设{X(t),t∈T}是正态过程,且在T上均方可积,则该过程的积分是正态过程。()()()()12(,,,)nnnnkXXXX12(,,,)nXXXX()nX()(),(,)tatsdsatTYX4.1.2正态随机过程（高斯过程）复正态过程：设{X(t),t∊T}和{Y(t),t∊T}为两个实正态过程，定义为复正态过程。对于复正态过程，在n个时刻采样，得到n个复正态随机变量，2n个实正态随机变量；n个复正态随机变量的联合概率密度，应是2n维实正态随机变量的联合概率密度。{()()(),}ZtXtiYttT4.1.2正态随机过程（高斯过程）例题：设有随机过程，式中为常数，U和V是相互独立的正态随机变量，且均值皆为0，方差都是。求X(t)的一维、二维概率密度。解：在任意时刻，该随机过程是正态随机变量U和V的线性组合，因此，是一正态过程。求出均值和方差函数，即可求出其概率密度。()cossinXtUtVt2()()0EUEV2()()DUDV()[()](cossin)()cos()sin0mtEXtEUtVtEUtEVt22222222222222[()][()][cossin2sincos[]cos[]sin2[][]sincoscossinDXtEXtEUtVtUVttEUtEVtEUEVtttt221()exp()22xfx4.1.2正态随机过程（高斯过程）12121122212121221221212(,)[()()][(cossin)(cossin)][coscos(sincoscossin)sinsin][]coscos[][]sin()[CttEXtXtEUtVtUtVtEUttUVttttVttEUttEUEVttEV212222121221]sinsincoscossinsincos()tttttttt12[(),()][0,0]mtmtμ2211122122212221(,)(,)cos()(,)(,)cos()CttCttttCttCttttC1112121212211(,,,)exp2||2xfxxttxxxCC定义：如果随机过程{X(t),t∊T}，对应于任意n个时刻t1,t2,…,tn∊T的n个随机变量X(t1),X(t2),…,X(tn)相互独立，则称该随机过程为独立过程。n维概率分布由一维分布确定：当时间参数是离散时，若X(n)(n=1,2,…)是相互独立的随机变量，称{X(n),n=1,2,…}是独立随机序列。独立随机序列在实际中是存在的，如重复抛硬币试验结果就形成一个独立随机序列；而对于任何连续参数过程，当t1与t2充分接近时，X(t1)和X(t2)将不可能完全独立。因此参数连续的独立过程实际上是不存在的，是一种理想化的随机过程。12121(,,,;,,,)(;)nXnnXkkkFxxxtttFxt1211(,,,;1,2,,)(;)nXnkkFxxxnFxk4.2独立过程例1：伯努利随机序列。伯努利试验仅有两种结果，各次试验结果互不影响，伯努利随机序列{X(n),n=1,2,…}是独立随机序列。定义概率分布：均值：均方值：方差：相关函数：协方差函数：[()0],1[()1],PXnqpqPXnp[()]0[()0]1[()1]EXnPXnPXnp222[()]0[()0]1[()1]EXnPXnPXnp22[()][()],;(,)[()()][()],.EXmEXnpmnRmnEXmXnEXnpmn20,;(,)(,)[()][()],.pppmnCmnRmnEXmEXnppppqmn222[()][()][()]DXnEXnEXnpppq4.2独立过程例2：高斯白噪声。如果随机过程{X(t),-∞t+∞}的均值为0，方差为，相关函数满足功率谱为常数，即，则称{X(t),-∞t+∞}为连续参数白噪声（过程）。如果对于每个t∊(-∞,+∞),X(t)是正态随机变量，则称{X(t),-∞t+∞}为高斯白噪声（过程）。高斯白噪声是独立随机过程。如热噪声。1221221120,;(,)(),.ttRtttttt22(),-S4.2独立过程例2：高斯白噪声。如果随机序列{X(n),n=0,1,2,…}的均值为0，方差为，相关函数满足功率谱为常数，即，则称{X(n),n=0,1,2,…}为白噪声序列。如果白噪声序列X(n),n=0,1,2,…都服从正态分布，则称{X(n),n=0,1,2,…}为高斯白噪声序列。高斯白噪声序列是独立随机序列。20,;(,),.mnRmnmn22(),-S4.2独立过程定义：设{X(t),t∊T}是一随机过程，如果对于任意正整数n≥2，以及任意的t1,t2,…,tn∊T,且0≤t1t2…tn，该随机过程的增量X(t2)-X(t1),X(t3)-X(t2),…,X(tn)-X(tn-1)相互独立，则称{X(t),t∊T}为独立增量过程。特点：在任意时间间隔上，过程状态的改变，并不影响将来任一时间间隔上过程状态