6-2点估计的评价标准概率论与数理统计习题和课件(历史上最好的概率论与数理统计)

§6.2点估计的评价标准对于同一个未知参数,不同的方法得到的估计量可能不同,于是提出问题应该选用哪一种估计量?用什么标准来评价一个估计量的好坏?常用标准(1)相合性(3)有效性(2)无偏性估计量。若对于任意的，当n时,定义设是总体参数的则称ˆ是总体参数的相合估计量。ˆ依概率收敛于,即,0相合估计量仅在样本容量n足够大，才显示其优越性。相合性),,,(ˆˆ21nXXXL=0))ˆ(lim=-Pn关于相合性的常用结论样本k阶矩是总体k阶矩的相合估计。由大数定律证明矩法得到的估计量一般为相合估计量在一定条件下,极大似然估计具有相合性定理1设12(,,...,)nnnXXX=为的一个估计量。如果则12(,,...,)nnnXXX=为的相合估计。,0)ˆvar(lim,)ˆ(lim==nnnnE例1=-00,01);(~xxexfXx0为常数则是的相合估计。X证明：经过简单计算可得2,().EXVarXn==于是=)(limXDn0lim2=nn所以是的相合估计量，证毕。X.111,:2122122估计量的相合都是总体方差中心矩及样本的二阶样本方差量的相合估计是总体均值样本均值试证==-=--=niiniiXXnBXXnSX证明由大数定律知,,0,11lim1=-=niinXnP有.11的相合估计量是所以==niiXnX例2=-=niiXXnB122)(1又=-=niiiXXXXn122)2(1=-=niiXXn1221,22XA-=)(2是样本二阶原点矩A由大数定律知,,)(12122XEXnAnii依概率收敛于==,)(11XEXnXnii依概率收敛于==222XAB-=故)]([)(22XEXE-依概率收敛于,2=.22的相合估计量是所以B,11lim=-nnn又.1222的相合估计量也是所以BnnS-=例4设是来自均匀总体U（0，θ）的样本，证明θ的极大似然估计是相合估计。nxxxL,,21证明在前面我们已经给出θ的极大似然估计是x（n）。由次序统计量的分布，我们知道的分布密度为。)(0)2()1()1(2)ˆVar(2/ˆ1/ˆ222202120=-=====nnnnnnnnnndynyEnndynyEnnnn故有)(ˆnx==-ynyypnn,/)(1由定理1可知x（n）是θ的相合估计。定理2若分别是的相合估计，是连续函数，则有是的相合估计。,,,,ˆ,,ˆ,ˆ2121knknnLL)ˆ,ˆ,ˆ(ˆ21nknnngL=kkgLL,,),,(2121=又由的相合性，对给定的，对任意的存在正整数N，使得时证明由函数的连续性，对任意给定的，存在一个，当|),,g(-)ˆ,ˆ,ˆ(|2121kkgLLg00,,1,|ˆ|kjjjL=-nknnˆ,,ˆ,ˆ21L0Nn,,1,/)|ˆ(|kjkpjjL=-时有，从而有-=-----=-===1/1)|ˆ(|1})|ˆ{|(1})|ˆ{|(111kkpppjnjkjjnjkjjnjkj}ˆ{}ˆ{1--=njnjkj--1)|ˆ(|np由的任意性，定理得证。根据上述的式子，故有例5设一个试验有三种可能结果，其发生概率分别是，现做了n次试验，观测到三种结果发生的次数分别为n1，n2，n3，可以采用频率替换方法估计θ。由于可以有三个不同的θ的表达式：从而可以给出θ的三种不同的频率替换估计，分别是。分别是p1，p2，p3相合估计。23221)1(),1(2,-=-==ppp2/,1,2131pppp=-==nnnnnnn/)2/(ˆ,/1ˆ,/ˆ2133211=-==321ˆ,ˆ,ˆ=)ˆ(E定义设是总体X的样本),,,(21nXXXL是总体参数的估计量),,,(ˆ21nXXXL=则称ˆ是的无偏估计量，否则称为有偏估计。存在,)ˆ(EΘ都有且对于任意无偏性证明:不论X服从什么分布,==nikikXnA11是k的无偏估计量。证====nikinikikXEnXnEAE11)(1)1()(),,,(21nXXXL是总体X的样本,例1设总体X的k阶矩)(kkXE=存在因而niXEkki,,2,1)(L==由于kknn==1特别地,样本二阶原点矩==niiXnA1221是总体二阶的无偏估计量。)(22XE=原点矩是总体期望E(X)的无偏估计量X样本均值例2设总体X的期望E(X)与方差D(X)存在,),,,(21nXXXL是X的一个样本,n1，(1)不是D(X)的无偏估计量;=-=niinXXnS122)(1(2)是D(X)的无偏估计量。=--=niiXXnS122)(11证212121)(1XXnXXnniinii-=-==前已证证明：2)()(,)()(====XDXDXEXEiinXDXEXE2)(,)()(===)()(1)(121212XEXEnXXnEniinii-=-==因而)()(2222-=n221-=nn212)(11=--=niiXXnE故证毕。例3设总体X的密度函数为=-00,01);(xxexfx0为常数),,,(21nXXXL为X的一个样本。证明X与},,,min{21nXXXnL都是的无偏估计量，证=)(1~XEEX==)()(XEXE故是的无偏估计量。X},,,min{21nXXXZL=令),,,(1)(21zXzXzXPzFnZ-=L=-000)(zenzzfnzZ即nZEnEZ=)(~-=-0100zeznz=)(nZE故nZ是的无偏估计量。)()()(121zXPzXPzXPn-=L=--=niizXP1))(1(1.),,,max(12,,,0,,][0,2121的无偏估计都是和的样本，试证明是来自总体参数上服从均匀分布在设总体nnXXXnnXXXXXXLL证)(2)2(XEXE=因为)(2XE=,22==.2的无偏估计量是所以X的概率密度为因为),,,max(21nhXXXXL==-其他,0,0,)(1xnxxfnn例4xnxxXEnnhd)(01-=所以,1=nn,1=hXnnE故有.),,,max(121的无偏估计量也是故nXXXnnL),,,(ˆ2111nXXXL=都是总体参数的无偏估计量,12ˆˆ()()VarVar则称1ˆ2ˆ比更有效。定义设),,,(ˆ2122nXXXL=有效性且至少有一个使得上述不等号严格成立,所以,X比},,,min{21nXXXnL更有效。是的无偏估计量,问哪个估计量更有效？由前面例子可知,都X与},,,min{21nXXXnL=-00,01);(xxexfx0为常数例1设密度函数为),,,(21nXXXL为X的一个样本,221}),,,min{(=nXXXnDLnXD2)(=解例2设总体期望为E(X)=,方差D(X)=2),,,(21nXXXL为总体X的一个样本。(1)设常数.11==niic.,,2,11ninciL=证明iniiXc==11ˆ是的无偏估计量(2)证明X=ˆ比iniiXc==11ˆ更有效(2)====niiiniicXc122121)(var)ˆvar(结论算术均值比加权均值更有效.证:(1)=====niiiniicXEcE111)()ˆ()ˆ()ˆvar(21Varn=利用柯西不等式211212===niiiniiniibabancccniiniininii111112211212=====有例如X~N(,2),(X1,X2)是一样本。2132122112121ˆ4341ˆ3132ˆXXXXXX===都是的无偏估计量由例2(2)知3ˆ最有效。证明)(4)ˆ(1XDD=由于,3)(42nXDn===hXnnDD1)ˆ(2,12hXDnn=,1)(nnXEh=又因为例4.ˆˆ,2,},,,max{1ˆ2ˆ122121有效较时现证当计量的无偏估都是和中已证明在无偏性的例4==nXXXnnXnLxxnXEnnhd)(102=,22=nn22)]([)()(hhhXEXEXD-=,)2()1(22=nnn,)2(1)ˆ(22=nnD故),ˆ()ˆ(,212DDn所以又.ˆˆ12有效较罗—克拉美（Rao–Cramer）不等式若ˆ是参数的无偏估计量,则)(),(ln1)ˆ(02DXpnED=其中p(x,)是总体X的概率分布或密度函数，称为方差的下界。)(0D当时,称为达到方差下界的无偏估计量,此时称为最有效的估计量,简称有效估计量。)()ˆ(0DD=ˆˆ均方误差对于两个无偏估计，我们可以通过比较它们的方差来比较哪个更好，但对有偏估计来讲，比较方差意义不大，我们关心的是估计值围绕真值波动的大小，因而引入均方误差准则。设是的估计量.称为的均方误差.注意到：ˆ2)ˆ()ˆ(-=EMSEˆ定义1)因此，均方误差由点估计的方差与偏差的平方两部分组成。如果估计是无偏估计，则此时用均方误差评价点估计与用方差是完全一样的，这也说明了用方差考察无偏估计有效性是合理的。当估计不是无偏估计时，就要看其均方误差，即不仅要看其方差大小，还要看偏差大小。2222)ˆ()ˆ()]ˆ)(ˆˆ[(2)ˆ()ˆˆ()]ˆ()ˆˆ([)ˆ(-=----=--=EVarEEEEEEEEEMSE例1设总体,为样本.则作为方差的估计量,的均方误差为的均方误差为.则的均方误差比的小.=-=niXXnm122)(1而的均方误差是证：易知由本例可知，从无偏性角度考察，用估计方差是好的，但从均方意义上讲用估计方差更好。它们从不同侧面去考察估计量的好坏，至于具体采用什么估计则需要根据实际问题来定。的均方误差是例2前面我们已经指出对均匀总体，由θ的最大似然估计得到的无偏估计是，它的均方误差。)2(/)ˆ()ˆ(2==nnVarMSE22222)(22)()())1/(()2()1/())1/(()()()()ˆ(-=-=-=nnnnnnnxVarExxVarMSEnnn)(ˆnx=现在我们考虑θ的形如的估计，其均方误差为nxnn/)1(ˆ)(=),0(U用求导的方法不难求得当上述均方误差达到最小,且这表明虽是θ的有偏估计，但其均方误差)1/()2(0=nn)(022)(12ˆ,)1()12(nnxnnnxnnMSE==)ˆ()2()1()ˆ(2220MSEnnnMSE==有偏估计优与无偏估计。ˆˆ0所以在均方误差的标准下，