7.3统计

7.3最小方差无偏估计均方误差无偏估计不一定比有偏估计更优。评价一个点估计的好坏一般可以用：点估计值与参数真值的距离平方的期望，这就是下式给出的均方误差均方误差是评价点估计的最一般的标准。我们希望估计的均方误差越小越好。ˆ2()()MSEE注意到，因此(1)若是的无偏估计，则，这说明用方差考察无偏估计有效性是合理的。(2)当不是的无偏估计时，就要看其均方误差。下面的例子说明：在均方误差的含义下有些有偏估计优于无偏估计。2()Var()()MSEEˆˆˆ()MSE()Var()MSE例对均匀总体U(0,)，由的极大似然估计得到的无偏估计是，它的均方误差现我们考虑θ的形如的估计，其均方差为用求导的方法不难求出当时上述均方误差达到最小，且其均方误差所以在均方误差的标准下，有偏估计优于无偏估计。()ˆ(1)/nnxn2ˆˆ()Var()(2)MSEnn()ˆnx22222ˆ()1(1)(2)1nnMSEnnn0(2)/(1)nn2202()()(1)(2)MSEMSEnnnˆ0ˆRao-Blackwell定理以下定理说明：好的无偏估计都是充分统计量的函数。定理设总体概率函数是p(x,)，x1,x2,…,xn是其样本，T=T(x1,x2,…,xn)是的充分统计量，则对的任一无偏估计，令，则也是的无偏估计，且1ˆˆ(,,)nxxˆ(|)ETˆVar()Var()最小方差无偏估计定理说明：如果无偏估计不是充分统计量的函数，则将之对充分统计量求条件期望可以得到一个新的无偏估计，该估计的方差比原来的估计的方差要小，从而降低了无偏估计的方差。换言之，考虑的估计问题只需要在基于充分统计量的函数中进行即可，该说法对所有的统计推断问题都是正确的，这便是所谓的充分性原则。例1设x1,x2,…,xn是来自b(1,p)的样本，则是p的充分统计量。为估计=p2，可令由于，所以是的无偏估计。这个只使用了两个观测值的估计并不好.下面我们用Rao-Blackwell定理对之加以改进：求关于充分统计量的条件期望，得Tnx12111,1ˆ0xx，，其它112ˆ()(1,1)EPxxpp1ˆ1ˆ1niiTx12(1)(|)/2(1)nnttETtttnn故为θ的无偏估计，且(1)(1)TTnn=1()()VarVar定义对参数估计问题，设是的一个无偏估计，如果对另外任意一个的无偏估计，在参数空间Θ上都有则称是的一致最小方差无偏估计，简记为UMVUE。如果UMVUE存在，则它一定是充分统计量的函数。ˆˆVar()Var()ˆ最小方差无偏估计定理设x=(x1,x2,…,xn)是来自某总体的一个样本，是的一个无偏估计，如果对任意一个满足E((x))=0的(x)，都有则是的UMVUE。ˆ()xˆˆVar().ˆCov(,)0,关于UMVUE，有如下一个判断准则。例2设x1,x2,…,xn是来自指数分布Exp(1/)的样本，则T=x1+…+xn是的充分统计量，而是的无偏估计。设=(x1,x2,…,xn)是0的任一无偏估计，则两端对求导得这说明，从而，由定理，它是的UMVUE。/xTn()/1100(,,)dd0inxxnnxxexx()/11200(,,)dd0inxxnnnxxxexx()0ExCov(,)()()()0xExExE定义设总体的概率函数P(x,),∈Θ满足下列条件：(1)参数空间Θ是直线上的一个开区间；(2)支撑S={x:P(x,)0}与无关；(3)导数对一切∈Θ都存在；(4)对P(x,)，积分与微分运算可交换次序；(5)期望存在；则称为总体分布的费希尔(Fisher)信息量。(;)px2ln(;)Epx2()ln(;)IEpxCramer-Rao不等式正则条件费希尔信息量是数理统计学中一个基本概念，很多的统计结果都与费希尔信息量有关。如极大似然估计的渐近方差，无偏估计的方差的下界等都与费希尔信息量I()有关。I()的种种性质显示，“I()越大”可被解释为总体分布中包含未知参数的信息越多。I()的另一表达式为2222ln(;)(;)()(),(pxpxIE存在,满足正则条件)例3设总体为泊松分布P()分布，则于是ln(;)lnln(!)pxxxln(;)1xpx21()XIE例4设总体为指数分布，其密度函数为可以验证定义的条件满足，且于是1(;)exp,0,0xpxx221ln(;)xxpx2242Var()1()xxIE注：常见分布的信息量I()公式两点分布X~b(1,p)1()(1),0,1xxPXxppx1()(1)Ippp泊松分布~(),0.XP~(),XExp指数分布~(,1),XN正态分布2~(,),XN1()I2()I()1I2~(0,),XN241()2I22410102(,)I定理（Cramer-Rao不等式）设定义的条件满足，x1,x2,…,xn是来自该总体的样本，T=T(x1,x2,…,xn)是g()的任一个无偏估计，存在，且对∈Θ中一切，微分可在积分号下进行，则有()'()gg2Var()['()]()TgnI上式称为克拉美-罗（C-R）不等式;[g’(θ)]2/(nI())称为g()的无偏估计的方差的C-R下界，简称g()的C-R下界。特别，对的无偏估计,有;ˆ1ˆVar()(())nI如果等号成立，则称T=T(x1,…,xn)是g()的有效估计，有效估计一定是UMVUE。有效估计定义:ˆ,设是的任一无偏估计量称1()ˆ().ˆ()defnIeVar为估计量效率的ˆ0()1e:显然的任一无偏估计量的效率满足注定义:()1,.e如果的无偏估计量的效率则为的有效估计称ˆˆlim()1.ne如果则称为的渐近有效估计注:ˆ,.,.如果是的有效估计则它也是一致最小方差无偏估计反之却不一定成立例5.设总体X~Exp(1/θ),密度函数为10,(;)00xexpxx),,,(21nxxx为X的一个样本值.求的最大似然估计量,并判断它是否为达到方差下界的无偏估计,即有效估计.0为参数解:由似然函数niixneL11)(niixnL1ln)(ln21)(lnddniixnL0令11ˆniixxn经检验知的最大似然估计为11ˆniixxn所以它是的无偏估计量,且2ˆ()Varn而ln(,)ln,xpx故是达到方差下界的无偏估计.x2221ln(,)dxpxd2221()ln(,)XIEpXE2121()nIn()VarxˆE12~(,),,,,,1ˆ:.nXbNpxxxXpxpN设总体为总体的一个样本试证是例的有效估计6{}(1)(;)defxxNxNXPXxCppPxp总体的分证布:为明ln(;)lnln()ln(1)xNPxpCxpNxp22ln(;),()[][]1dPXpXNXIpEEdppp所以222221()[](1)(1)VarXEXNppppp22(1)(1)(1)NppNpppp11ˆ()()()EpEXEXNN又1()NpEXpNN211ˆ()()()VarpVarxVarxNN21()(1)VarXppnNnN所以1ˆ()()VarpnIp1ˆppxN即是的有效估计.C-R下界为1(1)()ppnIpnN12(,,,)()(0),:nxxxPx是例7的一个样本证明是的有效估计,,,.(():)xExEXxUEVarXVarxnn因为证明是样本均值故是的:{}(;)!xXPXxepxx总体的分布律为ln(;)lnln!pxxx2222ln(;)()1()[][1]dpXXEXIEEd1,()nIn故1,(),()VarxnI可见.,x所以是的有效估计例8.设x1,….xn为取自总体为正态分布N(μ,σ2)的样本,验证因此,是μ的有效估计.x解：易证为U.E,下求μ的C-R下界,由于2221,2,22xlnpxln22221(,)2xpxe2224211XX21nn2ˆVarXVarVarxnnx而μ的C-R下界为是μ的有效估计因此2,dlnpxxdx2212222(,)2xpxe22221()(,)(2)22xlnpxln22224(,)1()22lnpxx2224622(,)()1()2lnpxx22464641()11()222XVarX4212()nn因此:解:由于所以σ2的C-R下界为:例9.(接前例)设x1,….xn取自正态分布总体N(μ,σ2),若μ未知，讨论σ2的无偏估计是否为有效估计.22211ˆ1niiSxxn2211()1niiSxxn由于2221~(1)nSn其期望为n-1,方差为2(n-1）所以22ˆS即不是σ2的有效估计，但为σ2的渐近有效估计.4212nn224222111VarSnnn,而σ2的C-R下界为注1:由P331第四题知其方差大于C-R下界,即有时C-R下界过小.22ˆS是σ2的UMVUE.2:若μ已知,2422121()12~(),.niniiixnVarxnn211niixn此时为σ2的有效估计.对于的C-R下界为:22()g222242[()][1/(2)]/22gnnn当已知μ=0时,易证σ的无偏估计为21(/2)1ˆ2((1)/2)niinnxnn可证,这是σ的UMVUE,其方差大于C-R下界.因此所有σ的无偏估计的方差都大于其C-R下界,即C-R下界过小注3