李贤平-概率论基础-Chap5

第五章极限定理第一节收敛性第二节大数定律第三节中心极限定理§5.1收敛性一、分布函数弱收敛二、连续性定理三、随机变量的收敛性例1令0,1/()1,1/nxnFxxn这是一个退化分布，它可以解释为一个单位质量全部集中在的分布。1/xn当时，我们自然认为应该收敛于一个单位质量全部集中在这一点的分布，即n{()}nFx0x0,0()1,0xFxx(0)1nF但是，，而,显然，.(0)0Flim(0)(0)nnFF因此，看来要求分布函数列在所有的点都收敛到极限分布函数是太严了。一、分布函数弱收敛定义对于分布函数列,如果存在一个非降函数使{()}nFx()Fxlim()()nnFxFx在的每一连续点上都成立，则称弱收敛于()Fx()Fx()nFx并记为()().WnFxFx这样得到的极限函数是一个有界的非降函数，我们也可以选得它是左连续的,但下例说明它不一定是一个分布函数.上例中不收敛的点是极限分布函数F(x)的不连续点，于是我们提出如下定义。0,(),1,nxnFxxn例2取显然,对一切x成立。lim()0nnFx()0Fx但不是分布函数。分布函数列的弱收敛极限不一定是分布函数.当然，当F(x)是一个分布函数时,分布函数的左连续性保证了F在不连续点上的值完全由它在连续点集CF上的值唯一确定，因此此时分布函数列的弱收敛极限是唯一的.引理.设是实变量x的非降函数序列，D是R上的稠密集.若对于D中的所有点,序列收敛于F(x),{()}nFx则对F(x)的一切连续点x有lim()().nnFxFx以下我们研究一个分布函数序列弱收敛到一个分布函数的充要条件，为此先建立一些重要的分析结果。{()}nFx下面是海莱(Helly)得到的两个重要定理。定理5.2.1（海莱第一定理）{()}nFx()Fx任一一致有界的非降函数列中必有一子序列弱收敛于某一有界的非降函数.{()}knFx注：证明用对角线法。定理5.2.2（海莱第二定理）设f(x)是[a,b]上的连续函数，又是在[a,b]上弱收敛于函数F(x)的一致有界非降函数序列，且a和b是F(x)的连续点，则{()}nFxlim()d()()d()bbnaanfxFxfxFx设在上有界连续，又是上弱收敛于函数的一致有界非降函数序列，且()fx(,)(,){()}nFx()Fxlim()(),lim()()nnnnFFFF则lim()d()()d()nnfxFxfxFx定理5.2.3（推广的海莱第二定理）下面我们将导出一个分布函数列弱收敛到一个极限分布的充要条件。这个结果同时说明了存在于分布函数和特征函数之间的对应是连续的，这个性质对于特征函数成为研究极限定理的主要工具有基本的重要性。二、连续性定理(Levy-Cramer)定理5.2.4（正极限定理）设分布函数列弱收敛于某一分布函数F(x)，则相应的特征函数列收敛于特征函数f(t)，且在t的任一有限区间内收敛是一致的。{()}nFx{()}nft定理2（逆极限定理）设特征函数列收敛于某一函数f(t)，且f(t)在t=0连续，则相应的分布函数列弱收敛于某一分布函数F(x)，而f(t)是F(x)的特征函数。{()}nft{()}nFx连续性定理(Levy-Cramer)分布函数列Fn(x)弱收敛到某一个分布函数F(x)，当且仅当Fn(x)对应的特征函数列fn(t)在任意有限区间内一致收敛到某个函数f(t)。通常把正逆极限定理合称为连续性定理。三、随机变量的收敛性定义1.(依分布收敛)()()dn设随机变量的分布函数分别为及如果(),()n()nFx()Fx()()WnFxFx{()}n()则称依分布收敛于，记为()()Ln或定义2(依概率收敛)lim{|()()|}0nnP如果对任意，有下式成立：0则称依概率收敛于，并记为{()}n()()()Pnlim||0rnnE设对随机变量及有，n||,||rrnEE其中为常数，如果0r则称{n}r阶（矩）收敛于，并记为rn定义3(r阶矩收敛)在r阶收敛中，最重要的是r=2的情况，称为均方收敛。{lim()()}1nnP如果..()().asn则称以概率1收敛于，又称几乎处处收敛于，记为(){()}n(){()}n定义4(几乎处处收敛)()()()().PLnn定理1证明:因为，对,有xx{}{,}{,}nnxxxxx{}{,}nnxxx所以，我们有()(){,}nnFxFxPxx因为依概率收敛于，则{}n{,}{||}0nnPxxPxx因而有()lim()nnFxFx()lim()nnFxFx同理，对,xxlim()()nnFxFx所以对，有xxx()lim()lim()()nnnxFxFxFxFx如果是的连续点，则令趋于可得x()Fxx,xx定理证毕。{}{,}{,}nnxxxxx{,}{}nnxxx类似可得:(2)例3若样本空间，定义12121{,},()()2PP随机变量如下：则的分布列为()12()1,()1,()111/21/2()()Ln若对一切,令,显然的分布列也是，因此。n()()n()n(2)但是,对任意的，因02{|()()|}()1nPP因此，不依概率收敛于。{()}n()定理1逆命题不成立.但是在特殊场合却有下面的结果。定理2设是常数，则C()().PLnnCC证明：由前面的定理可知只须证明由依分布收敛于常数可推出依概率收敛于常数。事实上，对任意0,{||}{}{}nnnPCPCPC1()()1()()1100.nnnFCFCFCFC||{||}rnnrEPr阶收敛与依概率收敛的关系。定理3.rPnn证明:先证对于任意，成立0这个不等式是Chebyshev不等式的推广，称作Markov不等式。||{||}rrECPC事实上,若以记的分布函数，则有()Fxn||||||{||}d()d()rnrxxxPFxFxrr||||1||d()rrnxExFx定理3逆命题不成立.下例说明：由依概率收敛或几乎处处收敛不能推出以r阶收敛。0n显然对一切，又对于任意的,()()n0,1{|()()|}{:01/}nPPnn因此()().Pn但是1/1|()()|()1.rrrnEnn1/,01/()0,1/1rnnnn例4取Ω=(0,1],F为(0,1]中博雷尔点集全体所构成的σ域,P为勒贝格测度。定义及()0•证明:见（p329~334，第4节“强大数定律”）.()()()().asPnn定理4下例说明：由依概率收敛或矩收敛不能推出几乎处处收敛.反例:依概率收敛不能导致几乎处处收敛∀k∈N，把(0,1]k等分，定义k个随机变量：11,,(),1,2,,.0,otherwisekiiiikkk10,(|()|),1,2,,.(*)kiPikk取P为勒贝格测度，则将依次记为如图:1121223132331ki,n23456即.2)1(,)()(kkinkin.0)|)((|lim)|)((|limkiknnPP由（*）式，,0从而，.0)(Pn同时，,]1,0(,1ki总有无数个所以n处处不收敛.以及无数个,0ki可见，矩收敛也不能蕴涵几乎处处收敛.上述满足,n1||||0,,rrnkiEEasnk.0)(rn即小结：r.v.的收敛性一、大数定律的客观背景事件发生的频率稳定于某一常数大量随机试验中测量值的算术平均值具有稳定性大量抛掷硬币正面出现频率生产过程中的废品率文章中字母使用频率§5.2大数定律(Thelawoflargenumbers)二、Bernoulli大数定律:概率的频率定义的理论基础定理(伯努利大数定律)设μn是n重Bernoulli试验中事件A发生的次数，p是事件A发生的概率，则对任给的ε0，1}|{|limpnPnn或0}|{|limpnPnnBernoulli定理(切比雪夫大数定律)设是两两不相关的随机变量序列，它们都有有限的方差，并且方差有共同的上界，即D(i)≤C，i=1,2,…，则对任意的，皆有切比雪夫12,,,,n01111lim1nnkknkkPEnn三、Chebyshev大数定律:1121111()(),11()()nniiiinniiiiEEnnCDDnnn因明：为证1221111Chebysherv1()110()11lim()0ninniiiiinniiniiDCnPEnnnPEnn由不等式，对于任意的正实数有所以作为切比雪夫大数定律的特殊情况，有下面的推论.1}|1{|lim1niinnP推论1(独立同分布下的大数定律）设1,2,…是独立同分布的随机变量序列，且Ei=,Di=,i=1,2,…,则对任给0,2如果在一个独立试验序列中，事件在第次试验中出现的概率等于，以记在前n次试验中事件A出现的次数，则对任意，都有Akkpn012lim{}1nnnpppPnn证明：定义为第k次试验中事件A出现的次数，则k1,(1),4kkkkkEpDpp再利用切比雪夫大数定律立刻推出结论。推论2(泊松大数定律）1=nnkk，明显，当泊松大数定律即为伯努利大数定律.,kpp马尔可夫注意到在切比雪夫的论证中，只要2110nkkDn则大数定律就能成立，通常称这个条件为马尔可夫条件，这样我们也就得到了下面的马尔可夫大数定律。1111lim{}1nnkknkkPEnn则对任意的，皆有0定理(马尔可夫大数定律)2110nkkDn切比雪夫大数定律显然可由马尔可夫大数定律推出;更重要的是马尔可夫大数定律已经没有任何关于独立性的假定。对于随机变量列如果成立12,,,,,n四、Khintchin大数定律我们前面已经通过切比雪夫不等式建立起多种大数定律，在那里都假定了方差的存在性，但是在独立同分布场合，并不需要有这个要求，这就是有名的辛钦大数定律告诉我们的。12,,,,n定理(辛钦大数定律)设是相互独立的随机变量序列,它们服从相同的分布,且具有有限的数学期望，则对任意的，有naE011lim1.niniPan即.11anniPi证明：由于具有相同分布，故有相同的特征函数，设为f(t)，因为数学期望存在，故f(t)可展开成：12,,,,n()(0)(0