最小方差无偏估计UMVUE

第六章第三节最小方差无偏估计一、Rao-Blackwell定理二、最小方差无偏估计三、Cramer-Rao不等式优良的无偏估计都是充分统计量的函数.将之应用在参数估计中可得:(),(())()EYVarYVarX其中等号成立的充要条件为X与(Y)几乎处处相等.定理1:设X和Y是两个r.v.,EX=μ,VarX0,令()(|)yEXYy则有1(,,)nTTxx1ˆˆ(,,),|),nxxET令(则是样本,是θ的充分统计量,1,,nxx定理2:设总体的概率函数为p(x;θ),ˆVarVar也是的无偏估计,且对θ的任一无偏估计一、Rao-Blackwell定理注:定理2表明:若无偏估计不是充分统计量的函数,则将之对充分统计量求条件期望可得一个新的无偏估计,且它为充分统计量的函数且方差会减小.即,考虑点估计只需在充分统计量的函数中进行,这就是—充分性原则.11ˆ(|),niitETttx()=其中令θ=p2,则1211,11,ˆ0,xxelse为θ的无偏估计.因为是充分统计量,由定理2,从而可令1niiTx可得(1)()(1)tttnn=故为θ的无偏估计.且1()()VarVar例1.设1(,,)nxx为来自b(1,p)的样本,求p2的U.E()xTnx或为p的充分统计量解：前已求过:进一步改进：1(|)(),ETT=(1)(1)TTnn=二、最小方差无偏估计定义:ˆ,,ˆ()(),ˆ,.VarVarUMVUE设是的一个无偏估计量若对于的任一方差存在的无偏估计量都有则称是的一致最小方差无偏估计记为注：一致最小方差无偏估计是一种最优估计.由定理2,只要它存在.它一定是充分统计量的函数.一般地,若依赖于充分统计量的无偏估计只有一个,它一定是UMVUE.Problem：无偏估计的方差是否可以任意小?如果不能任意小,那么它的下界是什么?(,)0,Cov1ˆ(,,)nxx是总体X的样本,1,,nxx定理3:(UMVUE准则)设如果对任一个满足Var是θ的任一无偏估计,11(,,)0(,,),nnExxxx的都有ˆ.UMVUE则是的例2:设1,,nxx为来自Exp(1/θ)的样本,则1niiTx为θ的充分统计量,证明:为θ的UMVUE.Txn反之亦成立.2ln(;)(4)()xpE存在1、Fisher信息量的定义.(2){|(;)0};Sxpx支撑与无关(;)(3)(;)(;)pxpxpxdxdx存在且对中一切有三、罗-克拉美（Cramer–Rao）不等式(1)是实数轴上的一个开区间;设总体X的概率函数为p(x;),,且满足条件:2ln(;)()()defpxIEFi则称sh为总体er分布的信息量.正则条件(1)I(θ)越大,总体分布中包含未知参数的信息越多。(;),0,1,2.....!xpxexx例3:设总体为Poisson分布，即1().I则注：1(;)exp{},0,0.xpxx例4:设总体为指数分布Exp(1/θ)，即21().I则(2)I()的另一表达式为2222ln(;)(;)()(),(pxpxIE存在,满足正则条件)注：常见分布的信息量I()公式两点分布X~b(1,p)1()(1),0,1xxPXxppx1()(1)Ippp泊松分布~(),0.XP~(),XExp指数分布~(,1),XN正态分布2~(,),XN1()I2()I()1I2~(0,),XN241()2I22410102(,)I设总体X的概率函数为p(x;),,满足上面定义中的条件；x1,….,xn是来自总体X的一个样本,T(x1,….,xn)是g()的一个无偏估计.且对中一切有()()gg存在,2、定理4(Cramer-Rao不等式):1211()(,,,)(;)nninigTxxxpxdxdx的微分可在积分号下进行，即121111211((;))[ln((;))]()(,,,)(,,,)(;)nnniinniiniingTxxxdxdxpTxxxdxdxpxxpx则有特别地对θ的无偏估计有2[()]()()gVarTnI1()()VarTnI上述不等式的右端称为C-R下界,I()为Fisher信息量.注:(1)定理对离散型总体也适用.只需改积分号为求和号。(2)在定理4条件下,若g()的无偏估计量T的方差VarT达到下界,则T必为g()的最小方差无偏估计.但是它不一定存在,也就是说,C-R不等式有时给出的下界过小.(3)当等号成立时,T为达到方差下界的无偏估计,此时称T为g(θ)的有效估计。有效估计一定是UMVUE.（反之不真）3.有效估计定义:ˆ,设是的任一无偏估计量称1()ˆ().ˆ()defnIeVar为估计量效率的ˆ0()1e:显然的任一无偏估计量的效率满足注定义:()1,.e如果的无偏估计量的效率则为的有效估计称ˆˆlim()1.ne如果则称为的渐近有效估计注:ˆ,.,.如果是的有效估计则它也是一致最小方差无偏估计反之却不一定成立(1)),()();TETg验证是g(的无偏估计即(2);VarT计算2(3)();()::(;)ln(;);ln(;):;ln(;):()[]();IIIXpxpxpxIIpxIIIIEI计算而计算又可分为下面几个步骤对总体的密度函数或分布列函数求对数求利用或其等价公式计算2[()](4):;()gnI求方差下界综上,求证T是g()的有效估计的步骤为:2[()]()gVarTnI比较与例5.设总体X~Exp(1/θ),密度函数为10,(;)00xexpxx),,,(21nxxx为X的一个样本值.求的最大似然估计量,并判断它是否为达到方差下界的无偏估计,即有效估计.0为参数解:由似然函数niixneL11)(niixnL1ln)(ln21)(lnddniixnL0令11ˆniixxn经检验知的最大似然估计为11ˆniixxn所以它是的无偏估计量,且2ˆ()Varn而ln(,)ln,xpx故是达到方差下界的无偏估计.x2221ln(,)dxpxd2221()ln(,)XIEpXE2121()nIn()VarxˆE12~(,),,,,,1ˆ:.nXbNpxxxXpxpN设总体为总体的一个样本试证是例的有效估计6{}(1)(;)defxxNxNXPXxCppPxp总体的分证布:为明ln(;)lnln()ln(1)xNPxpCxpNxp22ln(;),()[][]1dPXpXNXIpEEdppp所以222221()[](1)(1)VarXEXNppppp22(1)(1)(1)NppNpppp11ˆ()()()EpEXEXNN又1()NpEXpNN211ˆ()()()VarpVarxVarxNN21()(1)VarXppnNnN所以1ˆ()()VarpnIp1ˆppxN即是的有效估计.C-R下界为1(1)()ppnIpnN12(,,,)()(0),:nxxxPx是例7的一个样本证明是的有效估计,,,.(():)xExEXxUEVarXVarxnn因为证明是样本均值故是的:{}(;)!xXPXxepxx总体的分布律为ln(;)lnln!pxxx2222ln(;)()1()[][1]dpXXEXIEEd1,()nIn故1,(),()VarxnI可见.,x所以是的有效估计例8.设x1,….xn为取自总体为正态分布N(μ,σ2)的样本,验证因此,是μ的有效估计.x解：已证过为U.E,下求μ的C-R下界,由于2221,2,22xlnpxln22221(,)2xpxe2224211XX21nn2ˆVarXVarVarxnnx而μ的C-R下界为是μ的有效估计因此2,dlnpxxdx2212222(,)2xpxe22221()(,)(2)22xlnpxln22224(,)1()22lnpxx2224622(,)()1()2lnpxx22464641()11()222XVarX4212()nn因此:解:由于所以σ2的C-R下界为:例9.(接前例)设x1,….xn取自正态分布总体N(μ,σ2),若μ未知，讨论σ2的无偏估计是否为有效估计.22211ˆ1niiSxxn2211()1niiSxxn由于2221~(1)nSn其期望为n-1,方差为2(n-1）所以22ˆS即不是σ2的有效估计，但为σ2的渐近有效估计.4212nn224222111VarSnnn,而σ2的C-R下界为注1:由P308第四题知其方差大于C-R下界,即有时C-R下界过小.22ˆS是σ2的UMVUE.2:若μ已知,2422121()12~(),.niniiixnVarxnn211niixn此时为σ2的有效估计.注3对于的C-R下界为:22()g222242[()][1/(2)]/22gnnn当已知μ=0时,易证σ的无偏估计为21(/2)1ˆ2((1)/2)niinnxnn可证,这是σ的UMVUE,其方差大于C-R下界.因此所有σ的无偏估计的方差都大于其C-R下界,即C-R下界过小.(P307)4.最大似然估计的渐近正态性ˆn1ˆ~(,)()nNnI定理(略)在总体的分布满足一定条件(P307)的情况下,存在具有相合性和渐近正态性的最大似然估计,且即,最大似然估计通常是渐近正态的,且其渐近方差有一个统一的形式并主要依赖于Fisher信息量.例10:设x1,….xn为取自总体为正态分布N(μ,σ2),(1)在σ2已知时,求μ的MLE的近似分布.(2)若μ已知，讨论σ2的MLE的渐近分布.211niixnx