概率论与数理统计6-2估计量的评价标准

第二节估计量的评价标准一、问题的提出二、无偏性三、有效性四、相合性第六章一、问题的提出从前一节可以看到,对于同一个参数,用不同的估计方法求出的估计量可能不同.然而,原则上任何统计量都可以作为未知参数的估计量.问题(1)对于同一个参数究竟采用哪一个估计量好?(2)评价估计量优劣的标准是什么?下面介绍几个常用标准.下面介绍几个常用标准：1）无偏性；2）有效性；3）最小方差无偏估计4）相合性.二、无偏性的一个样本，为总体若XXXXn,,,21,的分布中的待估参数是包含在总体X)(的取值范围是定义6.2的估计量，是参数设),,,(ˆˆ21nXXX,)ˆ(E若的是则称ˆ.)(量无偏估计,)ˆ(limˆnnnE的一列估计量，且是若的是则称nˆ.)(量渐近无偏估计.1,,,,,)1()(121的无偏估计阶总体矩是阶样本矩总体服从什么分布论的一个样本，试证明不是又设存在阶矩的设总体knikiknkkkXnAkXXXXkXEkX证同分布，与因为XXXXn,,,21)()(kkiXEXE故有.,,2,1,niknikikXEnAE1)(1)(即.k例1.的无偏估计阶总体矩是阶样本矩故kkkAk特别地,.)(1估计量的无偏的数学期望总是总体XEXX不论总体X服从什么分布,只要它的数学期望存在,.)()(1221222的无偏估计量是的渐近无偏估计量；是证明：nniinSXDXXnS证niinXXnS12221)()1()(2122XEXnESEniin)()(22XEXE])()([])()([22XEXDEXXD])()(1[])()([22EXXDnEXXD例2)(1XDnn)(2nSE21nn22)(limnnSE的渐近无偏估计量是)(22XDSn)(1)1()(222nnnSEnnSnnESE又.22*的无偏估计量是nS.1122nnnn分析例3设总体X的方差D(X)存在，且D(X)0,(X1,X2,···,Xn)为来自总体X的样本，试选择适当的常数C，使得1121)(niiiXXC为D(X)的无偏估计.)(])([1121XDXXCEniii需选择C，使])([1121niiiXXCE1121)(niiiXXEC}])([)({21111niiiiiXXEXXDC而X1,X2,···,Xn相互独立，且与X同分布)()(),()(XDXDXEXEii),,2,1(ni)(2)()()(11XDXDXDXXDiiii0)()()(11iiiiXEXEXXE解),,2,1(ni)(2)()()(11XDXDXDXXDiiii0)()()(11iiiiXEXEXXE])([1121niiiXXCE}])([)({21111niiiiiXXEXXDC11)(2niXDC)()1(2XDnC依题意，要求：)(])([1121XDXXCEniii)()()1(2XDXDnC即0)(XD.)1(21nC注一般地，一个参数的无偏估计量不唯一.如：设样本(X1,X2,···,Xn)来自总体X，E(X)=,此外，的无偏估计是则.X)1(11niiiniiCXC也均是的无偏估计.问题：对于同一个参数的多个无偏估计量，如何评价它们的优劣？三、有效性.ˆˆ,ˆˆ,,ˆˆ212121理想较则认为的附近密集在真值更的观察值较相同的情况下在样本容量如果和的两个无偏估计量比较参数n换句话说，关于的无偏估计量对参数ˆ的波动越小，即方差2)]ˆ(ˆ[)ˆ(EED))ˆ((E2)ˆ(E越小越好.定义6.3),,,(ˆˆ),,,(ˆˆ21222111nnXXXXXX，设的无偏估计量，若均是),ˆ()ˆ(21DD.ˆˆ21有效比则称例4是存在，设),(0)(,)(212XXXDXE来自总体X的样本，问：下列三个对的无偏估计量哪一个最有效？,4143ˆ211XX,2121ˆ212XX.3132ˆ213XX解,85)161169()ˆ(221D,21)ˆ(22D,95)ˆ(23D)ˆ()ˆ()ˆ(132DDD.ˆ2最有效注)1(11niiiniiCXC一般地，在的无偏估计量.最有效中，X可用求条件极值的拉格朗日乘数法证明的无偏估计；均是然估计量和修正的最大似的矩估计量试证明：样本，是来自总体参数设总体)(21211ˆ2ˆ)1(),,,(0,],[0,~nnXnnXXXXXUX(1)证)(2)2()ˆ(1XEXEE)(2XE,22.2的无偏估计量是X例5哪一个更有效？和问：21ˆˆ)2(],0[~UX其它,0],0[,1)(xxpxttpxFd)()(xxxx,10,0,0}{)()()(xXPxFnXn)(xFn)()()()(xFxpnnXX)()(1xpxnFn其它,00,1xnxnn的概率密度为),,,max(21)(nnXXXX?)(2)(1)ˆ(nXEnnExxxpXEnXnd)()()()(.1ˆ)(2的无偏估计量也是即nXnn其它,00,)(1)(xnxxpnnXnxnxxnnd01,1nn,1)(nXnnE解)(4)ˆ(1XDD由于,3)(42nXDn)1()ˆ()(2nXnnDD),()1()(2nXDnn,)()(nnXEn1又因为哪一个更有效？和问：)(211ˆ2ˆ)2(nXnnXxxnnnd10,22nn2)(2)()()]([)()(nnnXEXEXD,)2()1(22nnn,)2(12nn),ˆ()ˆ(,212DDn所以又.ˆˆ12有效较)1()ˆ()(2nXnnDD)()1()(2nXDnnxxpxnXd)()(2)()(2nXEnD3)ˆ(21背景随机抄n个自行车的号码，由这n个号码来估计某市市区的自行车总数N..2ˆ1ˆ1)(2Nxxnnn更接近比如：样本值100,1000,10000,100000,1000000.可算得：5555502ˆ1x120000056ˆ)(2nx.ˆˆ,12更合理比来估计用来估计NN四、最小方差无偏估计量定义.),(ˆ)ˆ()ˆ(,ˆ,ˆ000MVUEDD缩写为量的最小方差无偏估计是则称都有估计量的任一方差存在的无偏若对于的一个无偏估计量是设注最小方差无偏估计是一种最优估计.问题：无偏估计的方差是否可以任意小?如果不能任意小,那么它的下界是什么?五、相合性的为则称概率收敛于依时当若对于任意的估计量为参数若nnnnnnXXXnXXXˆ,),,,(ˆ,,,),,,(ˆˆ2121例如,)()1(,的相合估计量阶矩的总体阶矩是样本由第五章第一节知kkXEkXkk定义6.6相合估计量(或一致估计量).及样本修正样本方差量的相合估计是总体均值样本均值试证11)2(;(1):122*niinXXnSX证(1)由大数定律知,,0,11lim1niinXnP有.11的相合估计量是所以niiXnX例6.12122估计量的相合都是总体方差方差niinXXnSniinXXnS122)(1)2(又niiiXXXXn122)2(1niiXXn1221,22XA)(2是样本二阶原点矩A由大数定律知,,)(12122XEXnAnii依概率收敛于,)(11XEXnXnii依概率收敛于222XASn故)]([)(22XEXE依概率收敛于,2.22的相合估计量是所以nS,11limnnn又.1222*的相合估计量也是所以nnSnnS通过此例题,我们看到,要证明一个估计量具有相合性,必须证明它依概率收敛,这有时很麻烦.因此,我们下面我们不加证明的给出一个相合性的判定定理.).(ˆ0)ˆ(lim,)ˆ(lim,ˆ2.6或一致估计的相合估计是则且若的一个估计量是设定理nnnnnnDE例6.19若总体的和存在,则样本均值是总体均值的相合估计.X)(XE)(XDX解：)()(XEXE0)(lim)(limnXDXDnn一般地,样本的阶原点矩是总体的阶原点矩的相合估计.由此可见,矩估计往往是相合估计.knikikXnA11Xk)(kXE例6.20设总体的二阶矩存在,是总体的样本,试证XnXXX,,21,,2,1nniiniXnn1)1(2ˆX是总体均值的相合估计.证明：)()1(2))1(2()ˆ(11niiniinXiEnniXnnEE2)1()1(2)1(21nnnninnni)())1(2())1(2()ˆ(1221niiniinXDinniXnnDD)()1(41222niiXDinn)(6)12)(1()1(422XDnnnnn0)1(3)12(2nnDXn)(n所以是的相合估计nˆ六、小结估计量的评选的四个标准，但要求一下三个标准无偏性有效性相合性相合性是对估计量的一个基本要求,不具备相合性的估计量是不予以考虑的.由最大似然估计法得到的估计量,在一定条件下也具有相合性.估计量的相合性只有当样本容量相当大时,才能显示出优越性,这在实际中往往难以做到,因此,在工程中往往使用无偏性和有效性这两个标准.本节结束！.)],,,[min(,,,0,,,00,1);(,21)1(21的无偏估计都是和的样本，试证是来自总体又设其中参数其它度概率密的指数分布服从参数为设总体nnxXXXnnXXXXXXxexpX证)(XE因为,)(XE.的无偏估计量是所以X例5,的指数分布服从参数为而nXXXXn),,,min()(211其它概率密度,,);(min00xenxpnx,)()(nXE1故知,)()(1nXE.的无偏估计量也是所以)(1nX由以上两例可知,一个参数可以有不同的无偏估计量..X,有效较的无偏估计量时试证当)(11nXn证明,)(2XD由于,)(2nXD故有,)()(221nXD又因为,)()(21nXD故有,1时当n),()()(XDnXD1.X有效较的无偏估计量故)(1nX例6(续例5)