2-参数估计

SchoolofSoftwareEngineering第二章参数估计数理统计研究生1Ch2参数估计§2.1参数估计(pointestimation)参数估计是数理统计的基本内容之一,几乎在有统计问题的地方都要用到参数估计,实际的需要刺激了人们去研究参数估计的理论与方法,因此参数估计内容是丰富多彩的,本章介绍其基本部分.我们知道任何一个仅依赖样本的函数即统计量均可作为参数的估计量,换句话说,一个参数的估计是可以随便给的,所以根据统计思想建立各种点估计方法和评价点估计的好坏标准便是估计问题的研究中心.这里先介绍两个常用的标准:无偏性和一致性.SchoolofSoftwareEngineering第二章参数估计数理统计研究生2定义2.1.1设是θ的一个估计量,若则称是θ的无偏估计.),,,(21nXXX)(E),,,(21nXXX估计的无偏性是指在大量重复使用下,其平均偏差这就是产生无偏性要求的统计思想.但是在样本的一次观察值下,估计值与θ之间的偏差还是有的,有时可能很大。0)(ESchoolofSoftwareEngineering第二章参数估计数理统计研究生例1设X1,…,Xn是来自总体X的样本．无论X服从何种分布，都有下列结论:(1)若总体均值E(X)=μ存在，则样本均值是总体均值μ的无偏估计量.X(2)若总体方差D(X)=σ2存在，则样本方差S2是总体方差σ2的无偏估计量．(3)若总体k阶矩E(Xk)=αk(k≥1)存在，则样本k阶矩Ak是总体k阶矩αk的无偏估计量.3SchoolofSoftwareEngineering第二章参数估计数理统计研究生例2设总体X服从参数1/μ的指数分布,其概率密度为其中μ0为未知，X1,X2,…,Xn是取自总体的一个样本,Z=min(X1,X2,…,Xn),试证都是参数μ的无偏估计量.0,00,1)(xxexfx＝nZX,证:因为E(X)=μ由上例知是μ的无偏估计.X4SchoolofSoftwareEngineering第二章参数估计数理统计研究生0,00,1)(xxexFxX()1[1()]nZXFzFz因X1，X2，…，Xn独立同分布，则Z的分布函数为X的分布函数为1,00,0nzezzZ的概率密度为0,00,)(zzenzfznZ参数为n/μ的指数分布5SchoolofSoftwareEngineering第二章参数估计数理统计研究生故即nZ也是参数μ的无偏估计量.nZE)()(nZE则6SchoolofSoftwareEngineering第二章参数估计数理统计研究生例3设总体X的均值E(X)=μ与方差D(X)=σ2都存在，且σ2＞0，X1,…,Xn是X的样本。试证明(1)是μ2的渐近无偏估计量；(2)B2是σ2的渐近无偏估计量。证:(1)因为偏差为2222nXEXDXE)]([)()(nXE222)(0n2X故是μ2的有偏估计量；2X所以是μ2的渐近无偏估计量。2X7SchoolofSoftwareEngineering第二章参数估计数理统计研究生22211nnSEnnBE)()((2)因为221SnnB故所以B2是σ2的渐近无偏估计量．2221nBE)(偏差为0n8SchoolofSoftwareEngineering第二章参数估计数理统计研究生)(~)(11222nSn例4设(X1,…,Xn)是正态总体N(μ,σ2)的样本，试求σ的无偏估计量。解:由定理5.7知，于是有01221212121dxexnxxnn)/)(()(SnE1122101222dxexnxnn)/()/)(()/(2122nn(1)21,2(2)ΓnnESσΓn所以是σ的无偏估计量。(1)212(2)ΓnnSΓn则9SchoolofSoftwareEngineering第二章参数估计数理统计研究生10定义2.1.2设是g(θ)的一个估计量,若对任意的ε0,有则称是g(θ)的一致估计或相合估计；),,,(21nXXXT),,,(21nXXXT0))(),,,((lim21gXXXTPnn估计的一致性是对大样本提出的一种要求,只要样本容量充分大,与g(θ)将在概率意义下越来越靠近.),,,(21nXXXT前面提到过，一个未知参数的估计原则上是可以随意给出的，但是一个好的估计却是按照一定的统计思想产生的估计方法有矩法，极大似然法，最小二乘法，贝叶斯方法等，这里先介绍前两种方法其他方法将逐步介绍.SchoolofSoftwareEngineering第二章参数估计数理统计研究生评价标准意义:样本容量n越大，对未知参数的估计就越精确，这是估计的一个基本要求。本质:依概率P收敛判别:应用切比雪夫不等式或大数定律11SchoolofSoftwareEngineering第二章参数估计数理统计研究生两个性质性质一:样本k阶距Ak是总体k阶距μk的相合估计。性质二:当分别是的相合估计时，若为连续函数，则是的相合估计。12,,...,k12,,...,k12(,,...,)kg12(,,...,)kg12(,,...,)kg112SchoolofSoftwareEngineering第二章参数估计数理统计研究生例5若总体X存在2k阶矩，设X1,…,Xn是该总体的样本，则样本k阶原点矩Ak作为总体k阶原点矩αk的估计量，是一致估计。证:易知，Ak是αk的一致估计。kknikikXEXEnAE)()()(11)()()(knikikXDnXDnAD1112因X存在2k阶矩，故D(Xk)存在，并且于是所以Ak是αk的一致估计。22()()lim()(())lim0kkkkkknnDADXPAPAEAn(切比雪夫不等式)13SchoolofSoftwareEngineering第二章参数估计数理统计研究生例6若总体X的四阶矩存在，则样本方差S2和样本二阶中心矩B2都是总体方差σ2的相合估计，S和都是总体标准差σ的一致估计。2B证:易证S2是σ2的一致估计，B2是σ2的一致估计（例5），又因为g(t)=在t＞0是连续的，所以t2B由性质(2)，S和都是σ的相合估计。14SchoolofSoftwareEngineering第二章参数估计数理统计研究生及样本修正样本方差量的相合估计是总体均值样本均值试证11)2(;(1):122*niinXXnSX证(1)由大数定律知,,0,11lim1niinXnP有例7.12122估计量的相合都是总体方差方差niinXXnS15SchoolofSoftwareEngineering第二章参数估计数理统计研究生niinXXnS122)(1)2(又niiiXXXXn122)2(1niiXXn1221,22XA)(2是样本二阶原点矩A由大数定律知,,)(12122XEXnAnii依概率收敛于,)(11XEXnXnii依概率收敛于16SchoolofSoftwareEngineering第二章参数估计数理统计研究生222XASn故)]([)(22XEXE依概率收敛于,2.22的相合估计量是所以nS,11limnnn又.1222*的相合估计量也是所以nnSnnS通过此例题,我们看到,要证明一个估计量具有相合性,必须证明它依概率收敛,这有时很麻烦.因此,我们下面我们不加证明的给出一个相合性的判定定理.17SchoolofSoftwareEngineering第二章参数估计数理统计研究生ˆ2.1.1,ˆˆlim(),lim()0ˆ().nnnnnnED定理设是的一个估计量若且则是的相合估计或一致估计18SchoolofSoftwareEngineering第二章参数估计数理统计研究生习题2.1（1）设总体X服从],0[上的均匀分布,试证的矩估计量X2ˆ1是的无偏估计量,的最大似然估计量)(2ˆnX是渐进无偏估计量.证1ˆ()(2)2()2()22EEXEXEX所以是的无偏估计量.X2ˆ1X的概率密度与分布函数分别为:1,0()0,elsexfxxxxxxF0,1,/0,0)(19SchoolofSoftwareEngineering第二章参数估计数理统计研究生所以的概率密度为)(nX11(),0()[()]()0,elsennnnnxxfxnFxfx1)()ˆ(01)(2nndxnxxXEEnnn所以有但是有)ˆ(lim2En所以)(2ˆnX是的渐进无偏估计注：若令)(31ˆnXnn,则它是的无偏估计量.200SchoolofSoftwareEngineering第二章参数估计数理统计研究生习题2.1（2）设总体的二阶矩存在,是总体的样本,试证XnXXX,,21,,2,1nniiniXnn1)1(2ˆX是总体均值的相合估计。证明：)()1(2))1(2()ˆ(11niiniinXiEnniXnnEE2)1()1(2)1(21nnnninnni211SchoolofSoftwareEngineering第二章参数估计数理统计研究生)())1(2())1(2()ˆ(1221niiniinXDinniXnnDD)()1(41222niiXDinn)(6)12)(1()1(422XDnnnnn0)1(3)12(2nnDXn)(n所以是的相合估计nˆ222SchoolofSoftwareEngineering第二章参数估计数理统计研究生23一、矩法(MethodsofMoments)矩法是一种古老的估计方法,它是K.Pearson在十九世纪末提出的.它是基于一种简单的“替换”思想建立起来的一种估计方法.格里纹科定理是1933年才提出的.但格里纹科定理把K.Pearson的矩法思想提高到一个新的高度,之所以能达到这种高度,是由于K.Pearson的原始想法中包含着很合理的核心.定理2.1.1(格里纹科定理)对任意给定的自然数n,设是取自总体分布函数F(x)的一个样本观察值,为其经验分布函数,记,则有.nxxx,,,21)(xFn1)0lim(nnDP)()(supxFxFDnxnSchoolofSoftwareEngineering第二章参数估计数理统计研究生24格里纹科定理是产生矩法的思想基础.既然经验分布函数与总体分布函数随n增大愈来愈靠近,那么它们的各种参数特征,如各阶矩也应随着n增大愈来愈靠近.而经验分布函数的各阶矩就是样本各阶矩的观察值.因此,,就可以用样本各阶矩去估计总体各阶矩.按这种统计思想去获得未知参数估计量的方法称为矩法,所得的估计量称为矩估计量.譬如:总体k阶矩的矩估计量是样本k阶矩.)(kkXEnikikXnA11SchoolofSoftwareEngineering第二章参数估计数理统计研究生例7设总体X~U(a,b),a,b未知,求参数a,b的矩法估计量.解:均匀分布有12)()(,2)(2abXDbaXE)()()(22XEXDXE令22212)(baabXAba12ˆˆniiXnAbaab122221212ˆˆ)ˆˆ(解得而)(ˆ223XAXa