7.3估计量的评选标准

第1页§7.3点估计的评价标准对于同一个未知参数,不同的方法得到的估计量可能不同,于是提出问题应该选用哪一种估计量?用什么标准来评价一个估计量的好坏?常用标准(3)相合性(2)有效性(1)无偏性第2页)ˆ(E定义设是总体X的样本),,,(21nXXX是总体参数的估计量),,,(ˆ21nXXX则称ˆ是的无偏估计量，否则称为有偏估计。存在,)ˆ(EΘ都有且对于任意1、无偏性),,,(21nXXX是总体X的样本,例1设总体X的k阶矩)(kkXE存在证明:不论X服从什么分布,nikikXnA11是k的无偏估计量。无偏性的实际意义是指没有系统性的偏差.第3页证nikinikikXEnXnEAE11)(1)1()(因而niXEkki,,2,1)(由于kknn1特别地,样本均值X是总体期望E(X)的无偏估计量样本二阶原点矩niiXnA1221是总体二阶原点矩)(22XE的无偏估计量。第4页例2设总体X的期望E(X)与方差D(X)存在,),,,(21nXXX是X的一个样本,n1，(1)不是D(X)的无偏估计量;niiXXnS122*)(1(2)是D(X)的无偏估计量。niiXXnS122)(11证212121)(1XXnXXnniinii证明：2)()(,)()(XDXDXEXEiinXDXEXE2)(,)()()()(1)(121212XEXEnXXnEniinii)()(2222n221nn故证毕。212)(11niiXXnE第5页例3设总体X的密度函数为00,01);(xxexfx0为常数),,,(21nXXX为X的一个样本。证明X与},,,min{21nXXXn都是的无偏估计量，证)(,1~XEEX)()(XEXE故是的无偏估计量。X令},,,min{21nXXXZ),,,(1)(21zXzXzXPzFnZ第6页000)(zenzzfnzZ即nZEnEZ)(~0100zeznz)(nZE故nZ是的无偏估计量。)()()(121zXPzXPzXPnniizXP1))(1(1第7页.),,,max(12,,,0,,][0,2121的无偏估计都是和的样本，试证明是来自总体参数上服从均匀分布在设总体nnXXXnnXXXXXX证)(2)2(XEXE因为)(2XE,22.2的无偏估计量是所以X的概率密度为因为),,,max(21nhXXXX其他,0,0,)(1xnxxfnn例4第8页xnxxXEnnhd)(01所以,1nn,1hXnnE故有.),,,max(121的无偏估计量也是故nXXXnn第9页),,,(ˆ2111nXXX都是总体参数的无偏估计量,12ˆˆ()()VarVar则称1ˆ2ˆ比更有效。定义设),,,(ˆ2122nXXX2、有效性且至少有一个使得上述不等号严格成立,第10页例5设x1,x2,…,xn是取自某总体的样本，记总体均值为，总体方差为2，则,,都是的无偏估计，但显然，只要n1，比有效。这表明用全部数据的平均估计总体均值要比只使用部分数据更有效。11ˆx2ˆx2212ˆˆVar(),Var()/n2ˆ1ˆ第11页所以,X比},,,min{21nXXXn更有效。是的无偏估计量,问哪个估计量更有效？由前面例子可知,都X与},,,min{21nXXXn00,01);(xxexfx0为常数例6设密度函数为),,,(21nXXX为X的一个样本,221}),,,min{(nXXXnD,)(2nXD解第12页例7设总体期望为E(X)=,方差D(X)=2),,,(21nXXX为总体X的一个样本。(1)设常数.11niic.,,2,11ninci证明iniiXc11ˆ是的无偏估计量(2)证明Xˆ比iniiXc11ˆ更有效第13页(2)niiiniicXc122121)(var)ˆvar(结论算术均值比其他加权均值更有效.证:(1)niiiniicXEcE111)()ˆ()ˆ()ˆvar(21Varn利用柯西不等式211212niiiniiniibabancccniiniininii111112211212有第14页例如X~N(,2),(X1,X2)是一样本。2132122112121ˆ4341ˆ3132ˆXXXXXX都是的无偏估计量由例7(2)知3ˆ最有效。第15页估计量。若对于任意的，当n时,定义设是总体参数的则称ˆ是总体参数的相合估计量。ˆ依概率收敛于,即,0相合估计量仅在样本容量n足够大，才显示其优越性。3、相合性),,,(ˆˆ21nXXX0)ˆ(limPn第16页关于相合性的常用结论样本k阶矩是总体k阶矩的相合估计。由大数定律证明矩法得到的估计量一般为相合估计量在一定条件下,极大似然估计具有相合性第17页附录•1、相合性的相关定理。•2、估计的评选标准---均方误差。•3、其他举例。第18页1相合性我们知道，点估计是一个统计量，因此它是一个随机变量，在样本量一定的条件下，我们不可能要求它完全等同于参数的真实取值。但如果我们有足够的观测值，根据格里纹科定理，随着样本量的不断增大，经验分布函数逼近真实分布函数，因此完全可以要求估计量随着样本量的不断增大而逼近参数真值，这就是相合性，严格定义如下。定义设∈Θ为未知参数，是的一个估计量，n是样本容量，若对任何一个ε0，有(1)则称为参数的相合估计。1ˆˆ(,,)nnnxxˆlim(||)0nnPˆn第19页若把依赖于样本量n的估计量看作一个随机变量序列,相合性就是依概率收敛于,所以证明估计的相合性可应用依概率收敛的性质及各种大数定律。ˆnˆn相合性被认为是对估计的一个最基本要求,如果一个估计量,在样本量不断增大时，它都不能把被估参数估计到任意指定的精度,那么这个估计是很值得怀疑的。通常,不满足相合性要求的估计一般不予考虑。证明估计的相合性一般可应用大数定律或直接由定义来证.第20页在判断估计的相合性时下述两个定理是很有用的。定理1设是的一个估计量，若则是的相合估计，1ˆˆ(,,)nnnxxˆˆlim(),lim()0nnnnEVarˆn1ˆˆ,,nnk1ˆˆˆ(,,)nnnkg定理2若分别是1,…,k的相合估计，=g(1,…,k)是1,…,k的连续函数，则是的相合估计。第21页例100,01);(~xxexfXx0为常数则是的相合估计。X证明：经过简单计算可得2,().EXVarXn于是)(limXDn0lim2nn所以是的相合估计量，证毕。X第22页.111,:2122122估计量的相合都是总体方差中心矩及样本的二阶样本方差量的相合估计是总体均值样本均值试证niiniiXXnBXXnSX证明由大数定律知,,0,11lim1niinXnP有.11的相合估计量是所以niiXnX例2第23页niiXXnB122)(1又niiiXXXXn122)2(1niiXXn1221,22XA)(2是样本二阶原点矩A由大数定律知,,)(12122XEXnAnii依概率收敛于,)(11XEXnXnii依概率收敛于第24页222XAB故)]([)(22XEXE依概率收敛于,2.22的相合估计量是所以B,11limnnn又.1222的相合估计量也是所以BnnS第25页例3设是来自均匀总体U（0，θ）的样本，证明θ的极大似然估计是相合估计。nxxx,,21证明在前面我们已经给出θ的极大似然估计是x（n）。由次序统计量的分布，我们知道的分布密度为。)(0)2()1()1(2)ˆVar(2/ˆ1/ˆ222202120nnnnnnnnnndynyEnndynyEnnnn故有)(ˆnxynyypnn,/)(1由定理1可知x（n）是θ的相合估计。第26页定理2若分别是的相合估计，是连续函数，则有是的相合估计。,,,,ˆ,,ˆ,ˆ2121knknn)ˆ,ˆ,ˆ(ˆ21nknnngkkg,,),,(2121由大数定律及定理2，我们可以看到：矩估计一般都具有相合性。比如：样本均值是总体均值的相合估计；样本标准差是总体标准差的相合估计；样本变异系数是总体变异系数的相合估计。第27页又由的相合性，对给定的，对任意的存在正整数N，使得时证明由函数的连续性，对任意给定的，存在一个，当|),,g(-)ˆ,ˆ,ˆ(|2121kkgg00,,1,|ˆ|kjjjnknnˆ,,ˆ,ˆ210Nn,,1,/)|ˆ(|kjkpjj时有，第28页从而有1/1)|ˆ(|1})|ˆ{|(1})|ˆ{|(111kkpppjnjkjjnjkjjnjkj}ˆ{}ˆ{1njnjkj1)|ˆ(|np由的任意性，定理得证。根据上述的式子，故有第29页例4设一个试验有三种可能结果，其发生概率分别是，现做了n次试验，观测到三种结果发生的次数分别为n1，n2，n3，可以采用频率替换方法估计θ。由于可以有三个不同的θ的表达式：从而可以给出θ的三种不同的频率替换估计，分别是。分别是p1，p2，p3相合估计。23221)1(),1(2,ppp2/,1,2131ppppnnnnnnn/)2/(ˆ,/1ˆ,/ˆ2133211321ˆ,ˆ,ˆ第30页2、估计的评选标准---均方误差对于两个无偏估计，我们可以通过比较它们的方差来比较哪个更好，但对有偏估计来讲，比较方差意义不大，我们关心的是估计值围绕真值波动的大小，因而引入均方误差准则。设是的估计量.称为的均方误差.注意到：ˆ2)ˆ()ˆ(EMSEˆ定义第31页无偏估计不一定比有偏估计更优。评价一个点估计的好坏一般可以用：点估计值与参数真值的距离平方的期望，这就是下式给出的均方误差均方误差是评价点估计的最一般的标准。我们希望估计的均方误差越小越好。ˆ2()()MSEE第32页注意到，因此(1)若是的无偏估计，则，这说明用方差考察无偏估计有效性是合理的。(2)当不是的无偏估计时，就要看其均方误差。下面的例子说明：在均方误差的含义下有些有偏估计优于无偏估计。2()Var()()MSEEˆˆˆ()MSE()Var()MSE第33页例1对均匀总体U(0,)，由的极大似然估计得到的无偏估计是，它的均方误差现我们考虑θ的形如的估计，其均方差为用求导的方法不难求出当时上述均方误差达到最小，且其均方误差所以在均方误差的标准下，有偏估计优于无偏估计。()ˆ(1)/nnxn2ˆˆ()Var()