概率论中的大数定律及中心极限定理

1概率论中的大数定律及中心极限定理唐南南摘要概率论是从数量上研究随机现象的规律的学科，概率论的特点是先提出数学模型，然后去研究它的性质，特点和规律。它在自然科学，技术科学和社会科学等科学中有广泛的应用。而大数定律和中心极限定理的内容是概率论中极限理论极为重要的一部分内容。在这篇文章中，我们从贝努力试验中的频率出发，讨论了独立随机变量和分布的极限问题。在一定条件下，这些分布弱收敛于退化分布，这就是大数定律。在另一些条件下，这些分布弱收敛于N(0,1)分布,这一类收敛于N(0,1)分布的定理统称为中心极限定理.大数定律说明了随机现象都具有稳定性而中心极限定理是研究相互独立随机变量序列ix的部分和niinxS1的分布，在适当条件下向正态分布收放的问题。在这篇文章里，我们只介绍了一些定理的提出，内容以证明以及在其他学科上的应用，而大数定律和中心极限定理还有许多更深入，更广泛的内容，限于篇幅这里就不再介绍了。掌握定理的结论是重要的，这些结论一方面使频率稳定于概率，n次观察的算术平均值稳定于数学期望都有了明确的含义和理论依据；另一方面，又将给数理统计中大样本的统计推断等提供理论依据。关键词大数定律中心极限定理随机现象随机变量引言大数定律和中心极限定理是概率论中重要的一部分内容，但对读者来说，多数人对于这部分内容感到很难掌握，这篇文章就是对这部分内容进行浅入的分析，但对其内容进行详细的说明，而且进行了归纳性的总结，指出了各定律之间的联系及其差别，希望通过本篇文章内容的介绍，能使读者对于这部分知识有一个清晰的印象，能整体地把握这部分内容。一、大数定律（一）、问题的提法（大数定律的提法）重复实验中事件的频率的稳定性，是大量随机现象的统计规律性的典型表现。人们在实践中认识到频率具有稳定性，进而由频率的稳定性预见概率的存在；由频率的性质推断概率的性质，并在实际应用中（当n2充分大时）用频率的值来估计概率的值。这些都是概率的公理化定义的实际背景。概率的概念以及在此基础上建立的理论应该与实际相符合。因此，我们需要对频率的稳定性这一实际作理论的说明。其实，在大量的随机现象中，不但事件的频率具有稳定性，而且大量随机现象的平均结果一般也具有这稳定性：单个现象的行为对大量随机现象共同产生的总平均效果几乎不发生影响，这就是说，尽管单个随机现象的具体实现不可避免地引起随机偏差，然而在大量随机现象共同作用时，由于这些随机偏差互相抵消，补偿和拉平，致使总的平均结果趋于稳定。例如，在分析天平上称量一质量为u的物品，以21,……，n表示n次重复测量的结果。经验告诉我们，当n充分大时，它们的算术平均值niinn11对u的偏差却很小，而且一般n越大，这种偏差越小。如果把一连串的观察结果21,……，n看成随机变量，则上述直观现实表明，当n充分大时，在一顶的收敛意义下，有unnii11，它就是大量随机现象的平均结果稳定性的数学表达式。频率的稳定性也可以表达成unnii11这种形式。为此令次试验中不出现若在第次试验中出现若在第iii,0,1i=1,2……，n。那么，niinAu1是n次试验中A出现的频数。频率的稳定性指的是随着n无限增大，频率APn趋于稳定概率AP附近，即在一定的收敛意义下)(1)(1APnnAuAPniinn。概率论中，一切关于大量随机现象的平均结果稳定性的定理，统称为大数定律，按收敛性的含义不同，大数定律有3弱大数定律和强大数定律之分。（二）、大数定律的内容及证明1、在证大数定理时，我们经常用到著名的切比雪夫不定式，首先我们来讲这个不定式]2[。设随机变量X有期望xE和方差xD，则对于任意0,有2xDxExP或21xDxExP证明：（1）：x是离散型随机变量的情形。22222xDxEXPXEXxxPxExPkxExkkkxExkk（KKPXxP）（2）x是连续随机变量的情形。设x的密度函数是xP，则有xExxExPdxxP积分区域如图：P(x)E(x)-E(x)E(x)+由于,,)(,xExxExxEx所以即.,xExxEx于是有222221xDdxxPxExdxxPxExdxxPxExPxExxEx切比雪夫不定式给出了在随机变量x的分布未知的情况下，对事件X4xEx（或事件xEx的概率的一种估计方法。例如在式子21xDxExP中令43、，并令uxE，则有8889.03uxP（8889.0989122）9375.04uxP式子2xDxExP给出了离差不小于的概率的上界，而式子21xDxExP给出了离差不小于的概率的下界，而且二个式子对任何具有方差的随机变量都成立。从第二个式子中又可以看到，xD越小，概率xExP就越大，说明x取值集中于其期望周围的程度越高；xD越大，概率xExP就越小，说明x取值集中于平均值附近的程度越低，这就使我们方差定义的含义有了进一步的理解。例1．对小麦品种做发芽试验，种子发芽的概率未知，问要用多少颗小麦做试验才能认为发芽的概率与P相差不超过1/10的概率达到95%？解：用Sn表示试验的n颗种子中发芽的颗数，则发芽的频率是nSn，我们要确定n，使得n满足%95101PnSPn或%510nnPSPn。因为Sn服从二项分布，所以，E(Sn)=nP,D(Sn)=nP(1-P).又因为P(1-P)=-P2+P=-(P-21)2+41故p(1-p)≤41nnpnpnnPSPn2510)1(1025说明所选的n要满足n255%，即n5002、现在再讲述一种常见的大数定律的数学定义假设1，2…，n，…是随机变量的序列，令n=nn21，如果存在这样的一种常数序列α1，α2，…，αn…，对任意的εο，恒有nlim,1nnap则称序列n（接算术平均值）服从大数定律。必须指出，更加一般地描述大数定律的形式是：对于随机变量序列n，令nfn（ξ1，ξ2，…ξn），这里n是i（,2,1i）的对称的函数。如果存在常数列序列α1，α2，…，αn…，对任意的εο，成立nlim,1nnap，则称这种随机变量的序列按函数fn服从大数定律。3、下面具体介绍几个大数定律的内容及证明。（1）切比雪夫大数定律。①、定义设X1，X2，，…，Xn，…是一个随机变量序列，若存在常数a，使得对任意0，都有nlim,1aXpn则称随机变量序列nX依概率收敛于a，记作aXpn。②、定义设X1，X2，，…，Xn，…是一个随机变量序列，数学期望,......2,1ixE存在，使得对于任意0，都有nlim,11111niiniiXEnXnp，则称随机变量序列nX服从大数定律。nX服从大数定律，实质是说01111PniiniiXnXn。③、定理若独立随机变量序列X1，X2，…，Xn，…，各有数学期望iiuXE，方差无关的常数是与icicXDi......,2,1,则对于任意0,有nlim11111niiniiunXnp。6④、证明：令niinXnX11，由于Xi相互独立，所以niinunXE11niinncncnnXD122211由式子21xDxEXP可以得到2211ncXDXEXPnnn当n时，取极限使得nlim,1nnXEXp但由于概率不可能大于1，所以nlim,1nnXEXp⑤结论：这个定理表明，在定理成立的条件下，当n充分大时，n个独立随机变量X1，X2，，…，Xn，的算术平均数这一随机变量nX的分布，对于它的数学期望niiXEn11的附近，而当n充分大时，与其期望之差依概率收敛到0。此处所谓大数的“大”是指定理中极限等式右端的“1”。⑥推论：若X1，X2，，…，Xn，，…是独立在同分布的随机变量序列，且E（Xi）=u，D（Xi）=2（i=1，2，……），则对于任意的0，都有nlim111uXnpnii这一推论使我们关于算术平均值的法则有了理论依据，经过算术平均后得到的随机变量niinXnX11，其分布随着n的增大越来越紧密地聚集在它的期望附近。切比雪夫定理为我们提供了关于用抽样算术平均数估计总体平均数（期望）的理论依据。假如在相同的条件下进行n次重复抽样，得到n个不同的值X1，X2，，…，Xn，我们可把这些结果看成独立同分布的随机变量X1，X2，，…，Xn的试验数值，且E（Xi）=u，D（Xi）=2。由这个推论可知，当n充分大时，取niinXnX11作为u的估计值，其误差一般是很小的，这就是说，对于同一随机变量X进行n7次独立观察，则所有观察值的平均数依概率收敛于X的期望值，即uXpn，因此在实际中我们用抽样算术平均数niiXn11来估计总体期望u。下面举出一些切比雪夫大数定律的一些重要的特例。（2）贝努里大数定律。X01Px11-PP①定理X1，X2，，…，Xn为随机变量序列，Xk有分布列i=1，2，…若X是n次试验中时间A发生的次数，则有PnxP，即对于任意给定的0有，nlim1pnxp②证明：Xi为第i次试验中事件A发生的次数。由于niPPXDPXEii,......2,111,又因为X1，X2，，…，Xn相互独立，且X=niiX1，再由切比雪夫定理的推论可以得到PnxP，即nlim111pXnpnii，亦即nlim1pnxp③说明：我们在叙述重复试验中事件A出现的规律时可知事件A的频率具有稳定性，贝努里大数定律对于之一事实作了理论上的说明。设时间A的概率为p，Xk为第k次独立重复试验中事件A出现的次数，则Xk有分布列Xi01i=1，2，……根据贝努里大数定律Pxi1-PP8pXnnxPnii11就是说，独立重复试验中事件A出现的频率稳定性是指依概率收敛于它的概率。由贝努里定理知道，当试验次数很大时，事件出现的频率与概率有较大的偏差的可能性很小。由实际推断原理，当试验次数很大时，便可以用频率来代替概率。例如，某工厂的产品的次品品率为p，产品中抽出n件产品，出现次品数为u，频率u/n与次品率p之间的偏差是pnu。当n很大时，概率9999.002.0pnup的实际意义是：进行N次抽样每次抽n件产品，在n次抽样中使02.0pnu成立的有M次，当n充分大时，有9999.0pNM。贝努里定理是在试验的条件不改变时来讨论频率的，而实际上进行多次试验的条件不可能是绝对不变的。例如电话打不通的概率（称为损失率）白天和晚上就不一样。虽然如此，仍然能发现频率的稳定性。我们有下述的普哇松定理。（3）普哇松定理。①定理：在一个独立试验序列中，事件A在第k次试验中出现的概率为Pk，且设u是起初n次试验中事件A出现的次数，则nlim1...21npppnupn②证明：作随机变量uk：第k