第5章大数定律及中心极限定理

1第五章大数定律与中心极限定理随机现象的规律只有在大量随机现象的考察中才能显现出来。研究大量的随机现象，常常采用极限形式。极限定理的内容很广泛，其中最重要的有二种：大数定律与中心极限定理。1大数定律事件发生的频率具有稳定性；大量测量值的算术平均值也具有稳定性。大数定律就是从这种稳定性的研究中得出的。定理一（契比雪夫大数定律）设随机变量序列,,,,21nXXX…相互独立，且具有相同的数学期望和方差：.,2,1,2kXDXEkk前n个随机变量的算术平均：nkkXnX11对于任意正数，有||limXPn=.1|1|1limnkknXnP则称{Xn}服从大数定律。证：由于,11111nnXEnXnEnkknkk,111222121nnnXDnXnDnkknkk由契比雪夫不等式可得：2./1|1|221nXnPnkk在上式中令,n并注意到概率不能大于1，即得：.1|1|lim1nkknXnP定理一给出了关于平均值稳定性的科学的描述。上式的意义：|1|1nkkXn是一个随机事件，等式表明，当n时，这个事件的概率趋于1。即对于任意正数，当n充分大时，不等式|1|1nkkXn成立的概率很大。还表明，当n很大时，随机变量nXXX,,,21的算术平均nkkXnX11接近于数学期望kXEXEXE21.这种接近是在概率意义下的接近。说明平均结果nkkXnX11渐趋稳定性。即单个随机现象的行为对大量随机现象共同产生的总平均效果E(nX)几乎不发生影响。即尽管某个随机现象的具体表现不可避免地引起随机偏差，然而在大量随机现象共同作用时，这些随机偏差相互抵消、补尚与拉平，致使总平均结果趋于稳定。例如在分析天平上称量一质量为µ的物品，以nXXX,,,21表示n次重复3测量结果，经验告知，当n充分大时，其平均值nkkXnX11对µ的偏差是很小的。定义：设,,,,21nYYY是一个随机变量序列，a是一个常数。若对于任意正数，有：,1||limaYPnn则称序列,,,,21nYYY依概率收敛于a，记为：.aYPn依概率收敛的序列还有以下的性质：设,aXPn,bYPn又设函数g(x,y)在点(a,b)连续，则:bagYXgPnn,,定理一又可叙述为：设随机变量,,,,,21nXXX相互独立，且具有相同的数学期望和方差：),,2,1()(,2kXDXEkk则序列前n个随机变量的算术平均nkkXnX11依概率收敛于，.PX即定理二（伯努利大数定理）设nA是n次独立重复试验中事件A发生的次数，p是事件A在每次试验中发生的概率，则对于任意正数,0有1||limpnnPAn或：4.0||limpnnPAn证：因为nA～b(n,p)，引入随机变量：,0,1kX.,,2,1,.nkkAkA次试验不发生在第次试验发生在第,21nAXXXn由于X1,X2…,Xn相互独立，又知Xk,k=1,2,…,n服从同一（0—1）分布：Xk01Pk1-pp已知.,,2,1,1,nkppXDpXEkk由定理一得：,1|)(1|lim21PXXXnPnn即.1||limpnnPAn伯努利大数定理表明：事件发生的频率nnA依概率收敛于事件的概率P，这个定理以严格的数学形式表达了频率的稳定性。5就是说当n很大时，事件发生的频率与概率有较大偏差的可能性很小。由实际推断原理，在实际应用中，当试验次数很大时，便可以用事件发生的频率来代替事件的概率。切比雪夫大数定律的证明要求随机变量具有方差。但进一步的研究表明，方差存在这个条件有时并不是必要的，定理三就是这种情况。定理三（辛钦大数定理）：设随机变量,,,,21nXXX相互独立，服从同一分布，且具有数学期望,2,1kXEk，则对于任意正数，有：.1|1|lim1nkknXnP（证明略）显然，伯努利大数定理是辛钦定理的特殊情况。大数定理以严格的数学形式表达了随机现象最根本的性质之一：平均结果的稳定性，它是随机现象统计规律的具体表现。在理论和实际中有广泛的应用。例如，要测量一个圆柱形工件的直径，由于仪器的测量误差、读数的偏差以及温度的变化等各种原因，使每次测量的结果是随机的。如果测量n次，得到nXXX,,,21，其算术平均值为nkkXnX11，当n较大时，此平均值就可作为直径的一个估计，其理论依据是大数定理。例如，要估计某地区水稻的平均亩产量，只要收割一部分有代表性的地块，比如n块，计算它们的平均亩产，在n比较大的情况下，n块的平均亩产量就可以作为全地区的平均亩产量。其理论依据也是大数定理。例：设随机变量序列,,,,21nXXX相互独立，且均服从（a,b）区间上6的均匀分布，问平均值nkkXnX11依概率收敛于何值？解：因为Xk～U(a,b),k=1,2,…,n,则2)(2)(baXEbaXEnk由辛钦大数定理知2baXPn。例：设随机变量序列,,,,21nXXX相互独立，且均服从泊松分布，试问当n很大时，可用何值估计？解：因为1,2,...,k,)E(X),(~k故kX由辛钦大数定理知PnkkXnX11即当n很大时，可用值nX代替λ。具体的，若有nXXX,,,21的一组观察值n1kk21xn1x,,...,,则nxxx。2中心极限定理7在实际问题中，常常需要考虑许多随机因素所产生的总的影响。例如，炮弹射击的偏差，受许多随机因素的影响：瞄准的误差、空气阻力所产生的误差、炮弹或炮身所产生的误差等。我们所关心的是这些随机因素的总影响。自从高斯指出测量误差服从正态分布之后，人们发现，正态分布在自然界中极为常见。观察表明，如果一个结果是由大量相互独立的随机因素的影响所造成，而每一个别因素在总影响中所起的作用不大。则这种量一般都服从或近似服从正态分布。中心极限定理就是研究独立随机变量之和所特有的规律性问题。即，当n无限大时，这个和的极限分布是什么？在什么条件下极限分布是正态的？由于无穷各随机变量之和可以取∞为值，故这里不研究n个随机变量之和而考虑它的标准化的随机变量nnXXDXEXYnkknkknkknkkn1111的分布函数的极限。可以证明，在满足一定的条件，上述极限分布是标准正态分布。定理四（独立同分布的中心极限定理）设随机变量,,,,21nXXX相互独立，服从同一分布，且具有数学期望和方差：),2,1(0)(,)(2kXDXEkk，则随机变量之和nkkX1的标准化变量：nnXXDXEXYnkknkknkknkkn11118的分布函数)(xFn对于任意x满足xnnXPxFnkknnn1limlim.212/2xdtetx（证明略）这就是说，均值为，方差为02的独立同分布的随机变量nXXX,,,21之和nkkX1的标准化变形量，当n充分大时，有：).1,0(~1NnnXnkk近似地中心极限定理不仅提供了计算独立随机变量之和的近似概率分布的简单方法，而且有助于解释为什么很多自然群体的经验频率呈现出钟形曲线这一事实。在一般情况下，很难求出n个随机变量之和nkkX1的分布函数，上式表明，当n充分大时，可以通过)(x给出其近似的分布。这样，就可以利用正态分布对nkkX1作理论分析或作实际计算，其好处是明显的。将上式左端改写成nXnXnnkk//11，这样，上述结果可以写成：当n充分大时，9)1,0(~/NnX近似地或nN/,~2近似地这是独立同分布中心极限定理结果的另一个形式。这就是说，均值为，方差为02的独立同分布的随机变量,,,,21nXXX的算术平均nkkXnX11，当n充分大时近似地服从均值为，方差为n/2的正态分布。这一结果是数理统计中大样本统计推断的基础。定理五（李雅普诺夫定理）设随机变量,,,,21nXXX相互独立，它们具有数学期望和方差：,,2,1,0,2kXDXEkkkk记nkknB122.，若存在正数，使得当n时，,0||1122nkkknXEB则随机变量之和nkkX1的标准化变量：nnkknkknkknknkkknBXXDXEXZ11111的分布函数Fn(x)对于任意x，满足10xBXPxFnnknkkknnn11limlim＝.212/2xdtetx（证明略）定理五表明，在定理的条件下，随机变量nnknkkknBXZ11当n很大时，近似地服从正态分布N（0.1），由此，当n很大时，nkknnknkZBX11近似地服从正态分布nknkBN12,。这就是说，无论各个随机变量),2,1(kXk服从什么分布，只要满足定理的条件，那么nkkX1当n很大时，就近似地服从正态分布。在很多问题中，所考虑的随机变量可以表示成很多个独立的随机变量之和，例如，在任一指定时刻，一个城市的耗电量是大量用户耗电量的总和；一个物理实验的测量误差是由许多观察不到的，可加的微小误差所合成的，它们往往近似地服从正态分布。定理六（棣莫弗—拉普拉斯定理）（定理四的特殊情况），设随机变量,2,1nn服从参数为n,P(0P1)的二项分布，则对于任意x，有.21)1(lim2/2xdtexPnPnPPtxnn证：可以将n分解成为n个相互独立、服从同一（0-1）分布的诸随机变量11,,,,21nXXX之和，即有：nkknX1,其中),,2,1(nkXk的分布律为.1,0,11iPPiXPiik由于),,2,1)(1()(,nkPPXDPXEkk，由定理四得：xPnPnPXPxPnPnPPnkknnn1lim)1(lim1.212/2xdtext这个定理表明，正态分布是二项分布的极限分布。当n充分大时，可以利用（2.5）式来计算二项分布的概率。例1：一加法器同时收到20个噪声电压,20,,2,1kVk设它们是相互独立的随机变量，且都在区间（0,10）上服从均匀分布。记105,201VVVkk求的近似值。解：易知20,,2,112/100,5kVDVEkk.由定理四，随机变量：122012/1005202012/100520201VVZkk近似服从正态分布N(0,1),于是：2012/105201052012/10520105VPVP.348.0)387.0(1211387.02012/101001387.02012/10100387.02/2dteVPVPt例2：一船舶在某海区航行，已知每遭受一次波浪的冲击，纵摇角大于3°的概率