大数定理与中心极限定理1.

第五章大数定律与中心极限定理本章要解决的问题1.为何能以某事件发生的频率作为该事件的概率的估计？2.为何能以样本均值作为总体期望的估计？3.为何正态分布在概率论中占有极其重要的地位？4.大样本统计推断的理论基础是什么？ANSWER大数定律中心极限定理大数定律和中心极限定理是概率论的重要基本理论，它们揭示了随机现象的重要统计规律，在概率论与数理统计的理论研究和实际应用中都具有重要的意义。迄今为止,人们已发现很多大数定律(lawsoflargenumbers)所谓大数定律，简单地说，就是大量数目的随机变量所呈现出的规律，这种规律一般用随机变量序列的某种收敛性来刻画。本章仅介绍几个最基本的大数定律。下面，先介绍一个重要的不等式。设非负随机变量X的期望E(X)存在，则对于任意实数0,)()(XEXP马尔可夫（Markov）不等式重要不等式5.1切尔谢夫不等式设随机变量X的方差D(X)存在，则对于任意实数0,2)()|)((|XDXEXP推论2——切贝雪夫（chebyshev）不等式或2)(1)|)((|XDXEXP示意图ExEx+Exj(x)xDx/2例1设x是掷一颗骰子所出现的点数,若给定e=1,2,实际计算P(|x-Ex|e),并验证切贝谢夫不等式成立.解因P(x=k)=1/6,(k=1,2,3,4,5,6))2|27(|31483512435:2)1|27(|321235:1123512147182449691)(6916362516941,27665432122222++++++++++xxxxxxxxxPDPDEEDEE例2设有一大批种子，其中良种占1/6.试估计在任选的6000粒种子中,良种所占比例与1/6比较上下小于1%的概率.解设X表示6000粒种子中的良种数,X~B(6000,1/6)---注：二项分布01.0616000XP65000)(,1000)(XDXE)60|1000(|XP2606500017685.010883实际精确计算：1060940XP01.0616000XP1059941600060006561kkkkC959036.0用Poisson分布近似计算：1060940XP01.0616000XP937934.010599411000!1000kkke取=1000例3设电站供电网有10000盏电灯，夜晚每一盏灯开灯的概率是0.7,而假定开、关时间彼此独立，估计夜晚同时开着的灯数在6800与7200之间的概率.（p105）解设X表示夜晚同时开灯的数目X~B(10000,0.7)---注：二项分布例4设每次试验中，事件A发生的概率为0.75,试用Chebyshev不等式估计,n多大时,才能在n次独立重复试验中,事件A出现的频率在0.74~0.76之间的概率大于0.90?解设X表示n次独立重复试验中事件A发生的次数,则X~B(n,0.75)nXDnXE1875.0)(,75.0)(90.076.074.0nXP要使，求n事件A发生的概率即90.076.074.0nXnP即90.001.0|75.0|nnXP由Chebyshev不等式，=0.01n,故2)01.0(1875.0101.0|75.0|nnnnXP令90.0)01.0(1875.012nn解得18750n切比雪夫不等式说明，DX越小，则越小，越大，也就是说，随机变量X取值基本上集中在EX附近，这进一步说明了方差的意义。同时当EX和DX已知时，切比雪夫不等式给出了概率的一个上界，该上界并不涉及随机变X的具体概率分布，而只与其方差DX和ε有关，因此，切比雪夫不等式在理论和实际中都有相当广泛的应用。需要指出的是，虽然切比雪夫不等式应用广泛，但在一个具体问题中，由它给出的概率上界通常比较保守。}||{EXXP}||{EXXP}||{EXXP5.2大数定律在叙述大数定律之前，首先介绍两个基本概念。定义5.1设为一个随机变量序列，记为，若对任何n≥2，随机变量都相互独立，则称是相互独立的随机变量序列。定义5.2设为一随机变量序列，X为一随机变量或常数，若对任意ε＞0，有则称依概率收敛于X,记为或，.下面是一个带普遍性结果的大数定律。,,,,21nXXX}{nXnXXX,,,21}{nX}{nX1}{limXXPnnnXXXPn0PnXXn大数定律贝努里（Bernoulli）大数定律设nA是n次独立重复试验中事件A发生的次数,p是每次试验中A发生的概率，则0有0limpnnPAn或1limpnnPAn在概率的统计定义中，事件A发生的频率“稳定于”事件A在一次试验中发生的概率是指：nnAnnA频率与p有较大偏差pnnA是小概率事件,因而在n足够大时,可以用频率近似代替p.这种稳定称为依概率稳定.贝努里（Bernoulli）大数定律的意义：定义a是一常数，0limaYPnn(或)1limaYPnn则称随机变量序列,,,,21nYYY依概率收敛于常数a,记作aYnPn故pnnnPA,,,,21nYYY是一系列随机变量，设0有若在Bernoulli定理的证明过程中，Yn是相互独立的服从0-1分布的随机变量序列{Xk}的算术平均值,Yn依概率收敛于其数学期望p.结果同样适用于服从其它分布的独立随机变量序列Chebyshev大数定律,,,,21nXXX相互独立，设随机变量序列(指任意给定n1,相互独立)，且具有相同的数学期望和方差nXXX,,,21,2,1,)(,)(2kXDXEkk则0有01lim1nkknXnP或11lim1nkknXnP算术平均值111lim11niniiinEXnXnP定理的意义：当n足够大时，算术平均值几乎就是一个常数,可以用算术平均值近似地代替数学期望.具有相同数学期望和方差的独立随机变量序列的算术平均值依概率收敛于数学期望.即)(01111nEXnXnPniinii本结果由俄国数学家切比雪夫于1866年证明，是关于大数定律的普遍结果，许多大数定律的古典结果都是它的特例。推论1设是独立同分布的随机变量序列，且则对任意ε＞0，有.}{nX,2,1,,2iDXEXii11lim1niinXnP推论1使我们关于算术平均值的法则有了理论上的依据。如我们要测量某段距离，在相同条件下重复进行n次，得n个测量值，它们可以看成是n个相互独立的随机变量,具有相同的分布、相同的数学期望μ和方差，由推论1的大数定律知，只要n充分大，则以接近于1的概率保证这便是在n较大情况下反映出的客观规律,故称为“大数”定律。比推论1条件更宽的一个大数定律是辛钦（Khintchine）大数定律,它不需要推论1条件中“方差存在”的限制，而在其它条件不变的情况下，仍有切比雪夫式的结论。nXXX,,,212niiXn11iDX辛钦大数定律-推论2设,,,,21nXXX相互独立，服从同一分布，且具有数学期望E(Xk)=,k=1,2,…,则对任意正数001lim1nkknXnP推论2（贝努利大数定律）设事件A发生的概率为p，在n重贝努利试验中A发生的频率为，则对任意的ε＞0，有,即，.这是历史上最早的大数定律，是贝努利在1713年建立的。概率论的研究到现在约有300多年的历史，最终以事件的频率稳定值来定义其概率。作为概率这门学科的基础，其“定义”的合理性这一悬而未决的带根本性的问题,由贝努利于1713年发表的这个“大数定律”给予了解决，被称为概率论的第一篇论文,为概率论的公理化体系奠定了理论基础。之所以被成为“定律”,是这一规律表述了一种全人类多年的集体经验.因此，对尔后的类似定理统称为大数“定律”。nf1}|{|limpfPnnnpfPn,§5.3中心极限定理人们已经知道，在自然界和生产实践中遇到的大量随机变量都服从或近似服从正态分布，正因如此，正态分布占有特别重要的地位。那么，如何判断一个随机变量服从正态分布显得尤为重要。如经过长期的观测，人们已经知道，很多工程测量中产生的误差X都是服从正态分布的随机变量。分析起来，造成误差的原因有仪器偏差X1、大气折射偏差X2,温度变化偏差X3、估读误差造成的偏差X4等等，这些偏差Xi对总误差的影响都很微小，没有一个起到特别突出的影响，虽然每个Xi的分布并不知道，但却服从正态分布。类似的例子不胜枚举。设为一随机变量序列，其标准化随机变量iXXiXX}{nX在什么条件下，,这是十八世纪以来概率论研究的中心课题，因而，从二十世纪二十年代开始，习惯上把研究随机变量和的分布收敛到正态分布的这类定理称为中心极限定理（CentralLimitTheorems）。这里仅介绍独立同分布场合下的中心极限定理。)()(111niininiiinXDXEXY)(limxxYPnn§5.2中心极限定理定理1独立同分布的中心极限定理设随机变量序列,,,,21nXXX相互独立，服从同一分布，且有期望和方差：,2,1,0)(,)(2kXDXEkk则对于任意实数x,xtnkkndtexnnXP21221lim本定理的证明在20世纪20年代由林德伯格和莱维给出，因证明较复杂，在此从略。由定理5.2可知，当n充分大时，，(5-8)从而，2111211limlimd()2nnnxtiiiiiinnniiXEXXnPxPxetxnDX)1,0(~1NnnXnii近似),(~21nnNXnii近似注：则Yn为nkkX1的标准化随机变量.)(limxxYPnn即n足够大时，Yn的分布函数近似于标准正态随机变量的分布函数nnXYnkkn1记)1,0(~NYn近似nkkX1nYnn+),(2nnN近似服从定理2李雅普诺夫(Liapunov)定理设随机变量序列,,,,21nXXX相互独立，且有有限的期望和方差：,2,1,0)(,)(2kXDXEkkkk记nkknkknXDB1212)(若0)|(|1,0122++nnkkknXEB则对于任意实数x,xBXPnnkknkkn11lim)(xxtdte2221定理3德莫佛—拉普拉斯中心极限定理（DeMoivre-Laplace）设Yn~B(n,p),0p1,n=1,2,…则对任一实数x，有xtnndtexpnpnpYP2221)1(lim即对任意的ab,batnndtebpnpnpYaP2221)1(limYn~N(np,np(1-p))(近似)正态分布的概率密度的图形x+二项分布的随机变量可看作许多相互独立的0-1分布的随机变量之和,下面是当x-B(20,0.5)时,x的概率分布图00.050.10.150.205101520P普阿松分布相当于二项分布中p很小n很大的分布,因此,参数l=np当很大时也相当于n特别