第五章：随机变量的收敛性

1第五章：随机变量的收敛性随机样本：IID样本，统计量：对随机样本的概括Y为随机变量，Y的分布称为统计量的采样分布如：样本均值、样本方差、样本中值…收敛性：当样本数量n趋向无穷大时，统计量的变化大样本理论、极限定理、渐近理论对统计推断很重要12(,...,)nYTXXX=12,...,nXXX~iXF2收敛性主要讨论两种收敛性依概率收敛大数定律：样本均值依概率收敛于分布的期望依分布收敛中心极限定理：样本均值依分布收敛于正态分布3例1：依概率收敛概率的频率解释：随着观测次数n的增加，频率将会逐渐稳定到概率设在一次观测中事件A发生的概率为如果观测了n次，事件A发生了次，则当n充分大时，A在次观测中发生的频率逐渐稳定到概率p。那么不对，若则对于，总存在,当时，有成立但若取,由于即无论N多大,在N以后,总可能存在n,使所以不可能在通常意义下收敛于p。pAPAnnAfAnn00NnNnfAplim?nnfAplimnnfApp010nnfApP0nfAnfA4例2：依分布收敛考虑随机序列，其中直观：集中在0处，收敛到0但20nnXXVP~0,1nXNnnX（Chebyshev不等式）210nnX12,...,nXXX5两种收敛的定义5.1定义：令为随机变量序列，X为另一随机变量，用Fn表示Xn的CDF，用F表示X的CDF1、如果对每个，当时，则Xn依概率收敛于X，记为。2、如果对所有F的连续点t，有则Xn依分布收敛于X，记为。12,...,nXXX0en()0nXXe-?PPnXX揪?nXX»()()limnnFtFt=同教材上6两种收敛的定义当极限分布为点分布时，表示为依概率收敛：依分布收敛：1,,PPnnXcandXXthenXcP1,,nnXcandXXthenXcP7其他收敛还有一种收敛：均方收敛（L2收敛，convergetoXinquadraticmean）对证明概率收敛很有用当极限分布为点分布时，记为对应还有：L1收敛（convergetoXinL1）20,,qmnnifXXasthenXXEqmnXc10,,LnnifXXasthenXXE2lim0nnXXElim0nnXXE8依概率收敛随机变量序列，当对任意，则称随机变量序列几乎处处依概率收敛到X（convergealmostsurelytoX），记为：几乎处处收敛：比依概率收敛更强其他收敛0lim0nnXXP..asnXX12,...,nXXX:lim0nnXXP或12,...,,...nXXXlim0nnXXPlim:0nnXXP或9各种收敛之间的关系点分布，c为实数L1almostsurely(L2)1XcP反过来不成立！QuadraticmeanprobabilitydistributionPoint-massdistribution10例：伯努利大数定律设在一次观测中事件A发生的概率为，如果观测了n次，事件A发生了次，则当n充分大时，A在次观测中发生的频率逐渐稳定到概率p。即对于，表示当n充分大时，事件发生的频率与其概率p存在较大偏差的可能性小。0lim0AnnpnPpAPAnnAfAnnAnn证明：()()()()~,,,1AAAnBinomialnpnnpnnpp==-EV，所以()1,AAppnnpnnn骣骣-鼢珑==鼢珑鼢珑桫桫EV，对0，根据Chebyshev不等式，有2210AAnppnnpnnnVP。11例：5.3令直观：集中在0处，收敛到0依概率收敛：20nnXXVP~0,1nXNnnX（Chebyshev不等式）21nnXlim00nnXP12例：续依分布收敛：令F表示0处的点分布函数，Z表示标准正态分布的随机变量~0,1n~0,1nnXNnXN0,nnnFtXtnXntZntasnPPP0,fort1,nnnFtXtnXntZntasnPPP0,fort,00nnFtFtforalltX0tF但是不是的连续点10,0012nfortFF0010tFtt13收敛的性质()()()()()()5.5,,,.....nnPPPnnnnqmqmqmnnnnnnnnPPPnnnnnnnnPnXXYYgaXXYYXYXYbXXYYXYXYcXXYcXYXcdXXYYXYXYeXXYcXYcXfXXg揪井+揪?揪井+揪?换+?揪井揪?换?揪?定理：是机量，是函如果，那么如果，那么如果，那么如果，那么如果，那么如果，那么设随变连续数，，，，，()()()()()..PnnnXgXgXXgXgX揪?换如果，那么14弱大数定律（WLLN）独立同分布（IID）的随机变量序列，方差，则样本均值依概率收敛于期望，即对任意称为的一致估计（一致性）在定理条件下，当样本数目n无限增加时，随机样本均值将几乎变成一个常量对样本方差呢？依概率收敛于方差iXEniinXnX11lim0nnXP0nX2iXV12,...,nXXX2220,nnXXasnVP证明：根据Cheyshev不等式215()2222221111111111nnnnnnniiiiiinnSXXXnXXXnnnnn===骣骣鼢珑=-=-=-鼢珑鼢珑鼢----桫桫邋?根据大数定律，()2211nPiiiXXn=揪?åE又1,1nasnn-所以()22111nPiiinXXnn=骣÷ç揪?÷ç÷ç÷-桫åE（如果,PPnnXXYY揪井，则PnnXYXY揪?）同样，根据大数定律，PnXm揪?，由于()2gyy=为连续函数，所以22PnXm揪?，221PnnXnm揪?-所以()2222PniSXms=揪?=E样本方差依概率收敛于分布的方差16强大数定律（SLLN）独立同分布（IID）的随机变量序列，方差，则样本均值几乎处处收敛于期望，即对任意iXEniinXnX11lim0nnXP2iXV12,...,nXXX017例：大数定律考虑抛硬币的问题，其中正面向上的概率为p，令表示单次抛掷的输出（0或1）。因此若共抛掷n次，正面向上的比率为。根据大数定律，但这并不意味着在数值上等于p而是表示当n很大时，的分布紧围绕p令，若要求，则n至少为多少？解：iX1iipXXPEnXPnXpnXnX12p0.40.60.7nXP0.40.60.1nnXXPP212,114nnXpXnppnnEV212,1iiXpXppEV212510.1110.740.1nXnnP1250.784nn18中心极限定理(CentralLimitTheorem,CLT)独立同分布（IID）的随机变量序列,，则样本均值近似服从期望为方差为的正态分布，即其中Z为标准正态分布或也记为无论随机变量X为何种类型的分布，只要满足定理条件，其样本均值就近似服从正态分布。正态分布很重要但近似的程度与原分布有关大样本统计推理的理论基础221lim2zxnnPZzzedx2nnnnXZZ2,nXNnniinXnX112,iiXXEV12,...,nXXX19中心极限定理中心极限定理试验例：中心极限定理每个计算机程序的错误的数目为X，现有125个程序，用表示各个程序中的错误的数目，求的近似值解：~,5XPoisson12125,...,XXX5.5nXP5.55.5nnnXnXPP2115,5XXEV2.50.9938ZP1255.555ZP21中心极限定理的应用之一—二项概率的近似计算设是n重贝努里试验中事件A发生的次数，则，对任意，有当n很大时，直接计算很困难。这时如果不大（即p0.1，np5）或不大，则可用Poisson分布来近似计算n~,nBinomialnpab1nkkknnakbabCppPnp1np1!xnkkknCppex,nPoissonnp22中心极限定理的应用之一—二项概率的近似计算（续）当p不太接近于0或1时，可根据CLT，用正态分布来近似计算根据CLT，111nnnpanpnnpabnppnppnppPP11bnpanpnppnpp11~,,,1nnnniiiXBernoullipXXXpXppnnEV1nnniiXnX,1,,1nnXNpppnNnpnpp德莫弗—拉普拉斯定理23中心极限定理的应用之一—二项概率的近似计算（续）例：已知红黄两种番茄杂交的第二代结红果的植株与结黄果的植株的比率为3:1，现种植杂交种400株，求结黄果植株介于83到117之间的概率。由题意：任意一株杂交种或结红果或结黄果，只有两种可能性，且结黄果的概率种植杂交种400株，相当于做了400次贝努里试验，记为400株杂交种结黄果的株数，则当n=400较大时，根据CLT，40014p4001174001483400148311740014344001434P400~400,14Binomial1.961.9621.96120.97510.9524中心极限定理的应用之一—二项概率的近似计算（续）例：某单位内部有260架电话分机，每个分机有4%的时间要用外线通话。可以认为各个电话分机用不同外线是相互独立的。问：总机需备多少条外线才能以95%的把握保证各个分机在使用外线时不必等候？一个分机使用外线的概率260个分机中同时使用外线的分机数设总机确定的最少外线条数为x,则根据CLT，0.04p2602600.040.952600.040.961xnpxxnppP260~260,0.04Binomial16x25中心极限定理标准差通常不知道，可用样本标准差代替，中心极限定理仍成立，即其中()22111nnniiSXXn==--ånnnXZSs26中心极限定理无论随机变量X为何种类型的分布，只要满足定理条件，其样本均值就近似服从正态分布但近似的程度与原分布有关正态近似的程度：Berry-Esseen定理若，则还有中心极限定理得多变量版本31X?E()()31333sup4nzXZzznms-?F