大数定律与中心极限定理.ppt

概率论与数理统计是研究随机现象统计规律性的学科.随机现象的规律性只有在相同的条件下进行大量重复试验时才会呈现出来.也就是说，要从随机现象中去寻求必然的法则，应该研究大量随机现象.§3.5大数定律与中心极限定理研究大量的随机现象，常常采用极限形式，由此导致对极限定理进行研究.极限定理的内容很广泛，其中最重要的有两种:与大数定律中心极限定理下面我们先介绍大数定律测量一个工件时，测量具有误差，需要以各次的平均值来作为测量的结果。只要测量的次数足够多，总可以达到要求的精度.这里反映了什么样的客观统计规律呢？大数定律的客观背景大量的随机现象中平均结果的稳定性大量抛掷硬币正面出现频率字母使用频率生产过程中的废品率……香奈儿夫人(GabrielleChanel)：时尚会成为过去，但风格屹立不摇以统计方法来分析写作风格(literarystyle)，称为stylometry.ExampleinPractice1985年11月14日，GaryTaylor在牛津大学的图书馆找到一首可能是莎士比亚的诗。就称泰勒诗，有429字。英美学者为了这首诗争论不休，大打笔战不少专家认为泰勒诗，用字遣词与韵味风格，都异于莎士比亚其它作品。十七世纪以来，莎士比亚作品最重要的一次发现？1986年1月24日Science杂志,刊登莎士比亚的新诗—向统计学礼赞(Shakeapeare'snewpoem:anodetostatistics)，介绍Efron及Thisted，以统计的方法鉴定泰勒诗,是否为莎士比亚所作。统计学者也介入这场纷争1976年:Estimatingthenumberofunseenspecies：HowmanywordsdidShakespeareknow？研究动机：好玩有趣或有用一向是科学研究的动机Efron：Itneverpossiblyoccurredtomethatwe'dhaveachancetouseit.莎士比亚总作品中共有884,647个字,其中有31,534个相异字。有14,376个相异字只出现1次,有4,343个相异字只出现2次。…在总作品中，罕用字的使用非常普遍。Efron与Thisted估计莎士比亚尚认识11,460±150个字。1987：DidShakespearewriteanewly-discoveredpoem?若泰勒诗为莎士比亚所作，估计有6.97±2.64个新字，实际有9个。估计曾出现1次的字有4.21±2.05个，实际为7。估计曾出现2次的字有3.33±1.83个，实际为5。一直到曾出现100次的字，估计与实际值，吻合程度皆相当惊人。用统计术语来说：不能拒绝“此诗为莎士比亚所做”之假设。Efron及Thisted也对另3位与莎士比亚同时代的诗人，各取1首诗，及另取4首莎士比亚的诗，与这首泰勒诗做比较。经过3种统计检定，发现对前3首，罕用字出现次数，与莎士比亚所的频率皆不吻合。虽然挑选的4首莎士比亚的诗偶而有不吻合处，总的来说是可接受的。在大量随机现象中,不仅看到了随机事件的频率具有稳定性,而且还看到大量测量值的平均结果也具有稳定性。这种稳定性就是本章所要讨论的大数定律的客观背景。即无论个别随机现象的结果如何,或者它们在进行过程中的个别特征如何,大量随机现象的平均结果实际上与每一个别随机现象的特征无关,并且几乎不再是随机的了。频率稳定性，肯定了“概率”的客观存在性。公理化体系：用“概率空间”来严格刻画“概率”。这一理论工具和模型得到的结果与很多实际情况非常吻合这个理论模型到底能不能很好地解释“频率稳定性”这一客观规律呢？能，更进一步说明我们的理论是符合实际的不能，或者利用我们的理论推出的结论有与“频率稳定性”这一客观规律矛盾的地方，这说明我们的理论有问题，因为“实践是检验真理的唯一标准”。我们着手解决这一问题众所周知，我们是用伯努利实验来描述大量的独立重复实验的。设伯努利实验中事件发生的概率为，并用记次实验中出现的次数，则pAAnnSn“频率稳定性”就是指当实验次数增大时，频率接近于概率。np表示在这n次实验中事件A出现的频率，于是nnSn对“接近于”，一般有下面的两种提法：lim{}1nnPp（2）下式成立：{lim}1nnPp（1）对任意的，成立0随机变量序列的三种收敛性三种收敛性：i)依概率收敛：用于大数定律；ii)以概率1收敛：用于大数定律；iii)按分布收敛：用于中心极限定理.依概率收敛定义3.12(依概率收敛)PnXX或大数定律讨论的就是依概率收敛.lim0,nnPXX若对任意的0，有则称随机变量序列{Xn}依概率收敛于X,记为.limXXPnn依概率收敛的性质Theorem若,PnXaPnYb则{Xn}与{Yn}的加、减、乘、除依概率收敛到a与b的加、减、乘、除.定理:依概率收敛序列的性质,),(),(,(,,连续在点又设函数为常数）设bayxgbabYaXPnPn).,(),(bagYXgPnn则证明,),(),(连续在因为bayxg,0,0,时使得当byax,),(),(bagyxg,22bYaXnn}),(),({bagYXgnn于是}{bYaXnn}),(),({bagYXgPnn因此22bYPaXPnn,0n.1}),(),({limbagYXgPnnn故[证毕]若几乎处处收敛于即则称以概率1收敛于记为}{nX,X,,1})()(lim{XXPnn}{nX,X,..XXean以概率1收敛按分布收敛、弱收敛对分布函数列{Fn(x)}而言，点点收敛要求太高.Definition若在F(x)的连续点上都有lim()()nnFxFx则称{Fn(x)}弱收敛于F(x)，记为()()WnxFFx相应记LnXX称Xn按分布收敛于X.，或~(),anXFx三种收敛之间的关系反之不然.但当X为常数a时，后两者等价，即XXean..PLnnXaXaXXPnXXLn几个常见的大数定律定理3.9（切比雪夫大数定律）niniiinXEnXnP111}|)(11{|lim设X1,X2,…是两两不相关的随机变量序列，它们都有有限的方差，并且方差有共同的上界，即D(Xi)≤C，i=1,2,…，切比雪夫则对任意的ε0，证明切比雪夫大数定律主要的数学工具是切比雪夫不等式.设随机变量X有期望E(X)和方差，则对于任给0,222{|()|}1PXEX切比雪夫大数定律表明，独立随机变量序列{Xn}，如果方差有共同的上界，则niiXn11与其数学期望niiXEn1)(1偏差很小的概率接近于1.niiXn11随机的了，取值接近于其数学期望的概率接近于1.即当n充分大时，差不多不再是切比雪夫大数定律给出了平均值稳定性的科学描述作为切比雪夫大数定律的特殊情况，有下面的推论.1}|1{|lim1niinXnPCorollary（独立同分布下的大数定律）设X1,X2,…是独立同分布的随机变量序列，且E(Xi)=，D(Xi)=，i=1,2,…,则对任给0,2.11PnkkXn即下面给出的Bernoulli大数定律，是上推论的一种特例.设Sn是n重Bernoulli试验中事件A发生的次数，p是事件A发生的概率，则对任给的ε0，定理3.10（伯努利大数定律）1}|{|limpnSPnn或0}|{|limpnSPnn这是历史上最早的大数定律，是伯努利在1713年建立的.概率论的研究到现在约有300多年的历史，最终以事件的频率稳定值来定义其概率.作为概率这门学科的基础，其“定义”的合理性这一悬而未决的带根本性的问题,由伯努利于1713年发表的这个“大数定律”给予了解决，被称为概率论的第一篇论文,为概率论的公理化体系奠定了理论基础.之所以被成为“定律”,是这一规律表述了一种全人类多年的集体经验.因此，对尔后的类似定理统称为大数“定律”.在大数定律中，由可知，对充分大的n，有或根据实际推断原理,概率论中把这两类特别的随机事件实际上当作非随机事件来处理的,也就不能引起人们的重视.但贝努利正是通过对这种所谓“非随机事件”的研究,以严谨的极限形式,揭示了这种接近于1(或0)事件的规律,由此解决了概率论与数理统计的一系列问题.这对学习和研究者来讲是一个很大的启发.111lim11niniiinEXnXnP11111,nniiiiPXEXnn11110.nniiiiPXEXnn贝努里大数定律表明，当重复试验次数n充分大时，事件A发生的频率Sn/n与事件A的概率p有较大偏差的概率很小.贝努里大数定律提供了通过试验来确定事件概率的方法.0}|{|limpnSPnn任给ε0，蒲丰投针问题中解法的理论依据就是大数定律当投针次数n很大时，用针与线相交的频率m/n近似针与线相交的概率p，从而求得π的近似值.针长L线距a2Lnam下面给出的独立同分布下的大数定律，不要求随机变量的方差存在.设随机变量序列X1,X2,…独立同分布，具有有限的数学期E(Xi)=μ,i=1,2,…，则对任给ε0，定理3.10（辛钦大数定律）1}|1{|lim1niinXnP辛钦Kolmogorov大数定律设相互独立且服从相同分布，且数学期望存在，记则,,21,nE.1..1eankkn人们积累的大量经验告诉我们，具有很接近于1的概率的随机事件在一次试验中几乎一定要发生；同样，概率很小的事件在一次试验中可以看作是实际不可能事件。至于概率小到何种程度才能看作是实际不可能事件则要视事件的重要性来定，有百分之一可能性含有染菌的药物是应该废弃的，但含百分之一次品的纽扣则问题还不太大。大数定律的重要意义因此在实际工作及一般理论问题中，概率接近于1或0的事件具有重大意义，概率论的基本问题之一就是要建立概率接近于1或0的规律；特别是大量独立或弱相关因素累积结果所发生的规律。大数定律就是这种概率论命题中最重要的一个。观察个别现象时是连同一切个别的特性来观察的。这些个别的特性往往蒙蔽了事物的规律性。在大量观察中个别因素的影响将相互抵消而使总体稳定。例如，虽然每个气体分子的运动带有很大的随机性，但是作为气体平均特征的压力、温度等却是稳定的，大数定律说明了这种稳定性。古人用“定律”来称呼这类命题，可见其重视程度。伯努利大数定律建立了大量重复独立试验中事件出现频率的稳定性，正因为这种稳定性，概率的概念才有客观意义。同时，它还提供了通过试验来确定事件概率的方法。即用事件发生的频率作为它相应概率的估计。这类方法称为参数估计。它是统计中的重要研究课题。你总算接受了概率空间的概念，反正数学家就是常给一些自得其乐的定义，仍可能会好奇，所谓点数1出现的概率是1/6，究竟是什么意思？是每投6次，点数1恰出现1次吗？非也！有个修过概率论的数学系毕业生，好心地对你解释如下:假设投掷n次，点数1出现a次，则相对频率a/n与1/6之差的绝对值，会大于一给定的正数(不管它多小)之概率，将随着n的趋近至无限大，而趋近至0。务实的你，很可能不觉得这样的解释很实际。先提出疑问“什么是趋近至无限大？”就是一直投掷，不可停止，日出日落，春去秋来，继续投掷，即使夸父追日成功了，无限大也仍未达到，还得投掷。那位数学系毕业生，一听到问起无限大，如鱼得水，这是他在数学系四年寒窗，学到的几招独门绝活之一。你不得不停止无限大这个话题，因连夸父追日，你也觉得岂有成功时？如何