第六章第一节和第二节大数定理和中心极限定理

1第六章大数定律和中心极限定理研究随机变量序列的各种极限(或收敛性)的理论.我们知道,概率论是研究随机现象统计规律的学科,然而随机现象统计规律性只有在相同条件下进行大量重复的试验或观察才能显现出来,这就要用到极限去刻划.随机现象在大量重复试验中呈现明显的规律性,这只是一个信念,其确切含义和理论根据是什么？现在就来解决这些问题.极限定理是概率论中最重要的理论.它在概率论与数理统计的理论研究与应用中起着十分重要的作用.第一节契比雪夫不等式这里介绍一个重要的不等式--契比雪夫不等式,它是大数定律和中心极限定理的理论基础.2定理设随机变量X存在数学期望EX和方差DX,则对任意正数,成立此式称为契比雪夫不等式.或等价地21}|{|1}|{|DXEXXPEXXP.证明(1)当X为离散型随机变量,分布律为iipxXP}{,,2,1i则有}|{|EXXP}{||EXxiixXP}{)(||22EXxiiixXPEXx}{)(22iiixXPEXx此项大于1322()EXEX;☆【附注：若X是离散型随机变量,分布律为iipxXP}{,,2,1i则iiipEXxEXXEDX212)()(;第五章第二节】(2)当X为连续型随机变量,概率密度为)(xf,则有}|{|EXXP||)(EXxdxxf||22)()(EXxdxxfEXxdxxfEXx)()(12222()EXEX.☆【附注：若X是连续型随机变量,4概率密度为)(xf,则dxxfEXxEXXEDX)()()(22；第五章第二节】从上述证明方法中,还可以看出(类似可证),成立kkXEXP||}|{|,(0,0)k;kkEXXEEXXP)|(|}|{|,(0,0)k;等形式的不等式.(车贝谢夫,车贝晓夫,切比雪夫)例1、设随机变量X存在数学期望EX和方差DX，且0DX，则对任意0a，成立}|{|DXaEXXP221)(aDXaDX,)0(a。5例2、设随机序列}{nX和随机变量X，如果2lim||0nnEXX，则对任意0,有0}|{|limXXPnn。证明因为对任意0，成立22||{||}nnEXXPXX，利用条件2lim||0nnEXX，即得成立0}|{|limXXPnn。定理设随机变量X的数学期望EX和方差DX均存在,且0DX,则有1}{EXXP.证明由车比谢夫不等式2}|{|DXEXXP,得0)1(}1|{|02nDXnEXXP,,2,1n,证明过程要掌握么？60}1|{|nEXXP,,2,1n,又}1|{|}0|{|1nnEXXEXX,})1|{|(}0|{|01nnEXXPEXXP0}1|{|1nnEXXP,于是1}0|{|EXXP,即1}{EXXP.()()()()(212121AAPAPAPAAP)()(21APAP,)(321AAAP)()()(321APAPAP,)()(11iiiiAPAP).第二节大数定律在第一章中我们指出,随机事件的频率nnAfAn)(,当n时,7nnAfAn)(具有某种稳定性和统计概率的定义5.它们的真正含义,在当时无法说清楚,现在就来说清楚这个问题.对于这一点,大数定理将给于理论上的依据.下面只介绍大数定理的最基本情形.定理一(契比雪夫大数定律)设,,,,21nXXX是相互独立的随机变量序列,每一个iX都有有限的方差,且有公共的上界,即CXDi)(,,,,2,1ni则对任意0,成立1}|11{|lim11niiniinEXnXnP,0}|11{|lim11niiniinEXnXnP.证明令niinXnY118由数学期望的性质,有)1(1niinXnEEYniiEXn11,因,,,,21nXXX相互独立,由方差的性质,得到)1(1niinXnDDYniiDXn121,nCCnni121,利用契比雪夫不等式,可得}|11{|111niiniiEXnXnP2211}|{|nCDYEYYPnnn,在上式中,令n,即得1}|11{|lim11niiniinEXnXnP.定义依次序列出的随机变量：,,,,21nXXX简记为}{nX,简称9随机(变量)序列}{nX.定义对于随机(变量)序列}{nX和随机变量X(或常数a),若对任意0,有1}|{|limXXPnn(或1}|{|limaXPnn)则称随机(变量)序列}{nX依概率收敛于X(或常数a).(等价于0}|{|limXXPnn)简记为)(,nXXPn(或)(,naXPn)推论(辛钦大数定律)若随机变量序列,,,,21nXXX独立同分布,且存在有限的数学期望和方差2,iiDXEX,),2,1(i则对任意0,有1}|{|limXPn,10其中niiXnX11.证明由数学期望和方差的性质及条件,有)1(1niiXnEXEniniinEXn1111,)1(1niiXnDXDnnDXnninii21221211,对任意0,有}|{|1XP}|{|XEXP22211nXD,于是成立1}|{|limXPn,11即}{X依概率收敛于常数.这个结论将在第八章中用到,是用样本均值作为总体均值的点估计的理论依据.定理二(贝努里大数定律)设An是n次独立重复试验中事件A发生的次数,p是事件A在每次试验中发生的概率,则对任意0,成立1}|{|limpnnPAn.证明引人随机变量不发生次试验中第发生次试验中第AiAiXi,0,1,则n次试验中事件A发生的次数nAXXXn21,12由于是独立试验,所以nXXX,,,21相互独立,且都服从相同的(0—1)分布,即nipXPpXPii,,2,1,1}0{,}1{于是pEXi,41)21(41)1(22pppppDXi，利用契比雪夫大数定律的推论,得}|{|limpnnPAn1}|{|limpXPn。贝努里大数定律表明:事件A发生的频率nnA依概率收敛于事件A发生的概率.这正是用频率作为概率的估计值的理论依据.在实际应用中,通常做多次试验,获得某事件发生的频率,作为该事件发生的概率13的估计值，()AnPAn。定理设随机(变量)序列}{nX依概率收敛于X，设随机(变量)序列{}nY依概率收敛于Y，则有{}nnXY依概率收敛于XY。证明对任意0，由{|()()|}nnXYXY{||||}nnXXYY{||}{||}22nnXXYY，得0{|()()|}nnPXYXY{||}{||}0,()22nnPXXPYYn，即得{}nnXY依概率收敛于XY。辛钦大数定律定理(辛钦大数定律)设随机变量序列,,,,21nXXX独立同分布,且14存在有限的数学期望iEX,),2,1(i则对任意0,有1}|{|limXPn,其中niiXnX11.这个定理的证明要用到特征函数列的收敛性质，在此证明略去。