第十四讲大数定律及中心极限定理

第十四讲大数定律及中心极限定理1.依概率收敛与微积分学中的收敛性的概念类似,在概率论中,我们要考虑随机变量序列的收敛性.定义1设,,,,21nXXX是一个随机变量序列,a为一个常数,若对于任意给定的正数,有,1}|{|limaXPnn则称序列,,,,21nXXX依概率收敛于a,记为).(naXPn定理1设,,bYaXPnPn又设函数),(yxg在点),(ba连续,则),(),(bagYXgPnn.2.切比雪夫不等式(以前讲过)设随机变量X有期望)(XE和方差2)(XD,则对于任给0,有22}|{|XP.上述不等式称切比雪夫不等式.3.大数定理定理1(切比雪夫大数定律)设,,,,21nXXX,相互独立，且具有相同的数学期望和方差:)(kXE,2)(kXD),2,1(k。做前n个随机变量的算术平均niiXnX11第五章大数定律及中心极限定理§1大数定律在第一章我们提到过事件发生的频率具有稳定性，即随着试验次数的增加，事件发生的频率逐渐稳定于某个常数。在实践中人们还认识到大量测量值的算术平均值也具有稳定性，而这种稳定性就是本节所要讨论的大数定律的客观背景，而这些理论正是概率论的理论基础。下面介绍三个定理，它们分别反映了算术平均值及频率的稳定性。事件的频率稳定于概率，能否有pnnnlim，答案是否定的。而是用0}{pnPn)(n[依概率收敛]来刻画（弱）。或者用{}1nnPpn[a.e.收敛]来刻画（强）。则对任意正数,有1)(11limlim11niiniinnXEnXnPXP或者说，序列niiXnX11以概率收敛于，即.PX定理表明:当n很大时,随机变量序列}{nX的算术平均值niiXn11依概率收敛于其数学期望niiXEn1)(1.定理2(伯努利大数定律)设An是n重伯努利试验中事件A发生的次数,p是事件A在每次试验中发生的概率,则对任意的0,有1limpnnPAn或0limpnnPAn.定理3(辛钦大数定律)设随机变量,,,,21nXXX相互独立,服从同一分布,且具有数学期望,,2,1,)(iXEi则对任意0,有11lim1niinXnP.注:(i)定理不要求随机变量的方差存在;注：(i)伯努利大数定律是定理1的推论的一种特例,它表明:当重复试验次数n充分大时,事件A发生的频率nnA依概率收敛于事件A发生的概率p.定理以严格的数学形式表达了频率的稳定性.在实际应用中,当试验次数很大时,便可以用事件发生的频率来近似代替事件的概率.(ii)如果事件A的概率很小，则由伯努利大数定律知事件A发生的频率也是很小的，或者说事件A很少发生.即“概率很小的随机事件在个别试验中几乎不会发生”，这一原理称为小概率原理，它的实际应用很广泛.但应注意到，小概率事件与不可能事件是有区别的.在多次试验中，小概率事件也可能发生.(ii)伯努利大数定律是辛钦大数定律的特殊情况;(iii)辛钦大数定律为寻找随机变量的期望值提供了一条实际可行的途径.例如,要估计某地区的平均亩产量,可收割某些有代表性的地块,如n块,计算其平均亩产量,则当n较大时,可用它作为整个地区平均亩产量的一个估计.此类做法在实际应用中具有重要意义.4.中心极限定理中心极限定理回答了大量独立随机变量和的近似分布问题,其结论表明:当一个量受许多随机因素(主导因素除外)的共同影响而随机取值,则它的分布就近似服从正态分布.定理4(独立同分布的中心极限定理)（林德伯格—勒维定理）设,,,,21nXXX相互独立，服从同一分布,且具有数学期望和方差：,)(iXE,)(2iXD,,,2,1ni,则随机变量之和niiX1的标准化变量nnXXDXEXYniiniiniiniin1111的分布函数)(xFn对于任意x满足在实际问题中,许多随机现象是由大量相互独立的随机因素综合影响所形成,其中每一个因素在总的影响中所起的作用是微小的.这类随机变量一般都服从或近似服从正态分布.以一门大炮的射程为例,影响大炮的射程的随机因素包括:大炮炮身结构的制造导致的误差,炮弹及炮弹内炸药在质量上的误差,瞄准时的误差,受风速、风向的干扰而造成的误差等.其中每一种误差造成的影响在总的影响中所起的作用是微小的,并且可以看成是相互独立的,人们关心的是这众多误差因素对大炮射程所造成的总影响.因此需要讨论大量独立随机变量和的问题.)(21lim)(lim2/12xdtexnnXPxFxtniinnn定理4表明:当n充分大时,n个具有期望和方差的独立同分布的随机变量之和近似服从正态分布.虽然在一般情况下,我们很难求出nXXX21的分布的确切形式,但当n很大时,可求出其近似分布.由定理结论有)./,(~1)1,0(~/1)1,0(~2111nNXnXNnXnNnnXniiniinii近似近似故定理又可表述为:均值为,方差为02的独立同分布的随机变量,,,,21nXXX的算术平均值X,当n充分大时近似地服从均值为,方差为n/2的正态分布.这一结果是数理统计中大样本统计推断的理论基础.定理5（李雅普诺夫定理）设随机变量,,,,21nXXX相互独立,它们具有数学期望和方差:,2,1,0)(,)(2iXDXEkkkk，记.122nkknB若存在正数,使得当n时,,0}|{|1122nkkknXEB则随机变量之和nkkX1的标准化变量:nnkknkknkknkknkknBXXDXEXZ11111的分布函数)(xFn对于任意x,满足).(21lim)(lim2/112xdtexBXPxFxtnnkknkknnn定理5表明,在定理的条件下,随机变量nnkknkknkknkknkknBXXDXEXZ11111当n很大时,近似地服从正态分布)1,0(N.由此,当n很大时,nkknnnkkZBX11近似地服从正态分布21,nnkkBN.这就是说,无论各个随机变量),2,1(kXk服从什么分布,只要满足定理的条件,那么它们的和nkkX1当n很大时,就近似地服从正态分布.定理6（棣莫佛—拉普拉斯定理）设随机变量nY服从参数pn,)10(p的二项分布,则对任意x,有)(21)1(lim22xdtexpnpnpYPxtnn注:易见，棣莫佛—拉普拉斯定理就是林德伯格—勒维定理的一个特殊情况.证明：以pn,为参数的二项分布变量nY，可以分解为n个相互独立且都服从以p为参数的(0-1)分布的随机变量nXXX,,,21之和，即有nkknXY1，其中),,2,1(nkXk的分布律为,1}0{,}1{pXPpXPkk由于)1()(,)(ppXDpXEkk),,2,1(nk，由定理4得)(21)1(limlim2/112xdtexpnpnpYPxXDXEXPxtnnnkknkknkikn定理6表明，正态分布是二项分布的极限分布。当n充分大时，可以利用该定理中的公式来计算二项分布的概率。（课间休息）例１一加法器同时收到20个噪声电压)20,,2,1(kVk，设它们是相互独立的随机变量，且都在区间（0，10）上服从均匀分布。记201kkVV，求)105(VP的近似值。解：12100)(,5)(kkVDVE)20,,2,1(k，由定理4知V的标准化变量20)1210(520)()(201201201VVDVEVZkkkkkk近似服从正态分布)1,0(N，于是)20)1210(52010520)1210(520()105(VPVP)387.020)1210(100(VP)387.020)1210(100(1VP)387.0(1348.0即有)105(VP348.0.例２一船舶在某海区航行，已知每遭受一次波浪的冲击，纵摇角大于3的概率为,3/1p若船舶遭受了90000次波浪冲击，问其中有29500~30500次纵摇角度大于3的概率是多少？解：我们将船舶每遭受一次波浪冲击看作是一次试验,并假设各次试验是相互独立的。在n=90000次波浪冲击中纵摇角度大于3的次数记为随机变量X，则），（3190000b~X，其分布律为kkkppCkXP9000090000)1(}{，k=1,2,…,90000所求概率为kkkkppCXP90000900003050029500)1(}3050029500{要直接计算上式的结果是比较麻烦的，但我们可以利用棣莫佛—拉普拉斯定理来求它的近似值,即有)1(Xpnpnp近似服从正态分布)1,0(N,因此，))1(29500())1(30500()1(30500)1(X)1(29500P30500X29500Ppnpnppnpnppnpnppnpnppnpnp）（）（)225()225(995.0例３对于一个学生而言，来参加家长会的家长人数是一个随机变量。设一个学生无家长，1名家长，2名家长来参加会议的概率分别为0.05，0.8，0.15.若学校共有400名学生，设各学生参加会议的家长数相互独立，且服从同一分布，（1）求参加会议的家长数X超过450的概率；（2）求有1名家长来参加会议的学生数不多于340的概率。解：（1）以)400,,2,1(kXk记第k个学生来参加会议的家长数，则kX的分布律为kX012kp0.050.80.15易知1.115.028.01)(kXE19.021.14.11.115.028.01)()()(22222kkkXEXEXD)400,,2,1(k而4001kkXX。由定理4知，随机变量40019.04001.1111XXDXEXnkknkknkk近似服从正态分布)1,0(N，于是40019.04001.145040019.04001.1450XPXP.1357.0)147.1(1)40019.04001.1450(140019.04001.145040019.04001.11XP（2）以Y记有一名家长来参加会议的学生数，则)8.0,400(~bY，由定理6知643202.08.04008.0400)1(YYpnpnpY近似服从正态分布)1,0(N，于是9938.0)5.2()64320340(6432034064320340YPYP