第6章 参数估计

第六章参数估计第1页第六章参数估计§6.1点估计的概念与无偏性§6.2矩估计及相合性§6.3最大似然估计与EM算法§6.4最小方差无偏估计§6.5贝叶斯估计§6.6区间估计第六章参数估计第2页三类未知参数:•分布中所含的未知参数的函数.•分布的各种特征数也都未知参数.如均值E(X),方差Var(X),分布中位数等.•分布中所含的未知参数.如二项分布b(n,p)中的概率p,正态分布N(,2)中的和2.第六章参数估计第3页•一般常用表示参数，参数所有可能取值组成的集合称为参数空间，常用表示。参数估计问题就是根据样本对上述各种未知参数作出估计。•参数估计的形式有两种：点估计与区间估计。第六章参数估计第4页§6.1点估计的概念与无偏性6.1.1点估计及无偏性定义6.1.1设x1,x2,…,xn是来自总体X的一个样本，我们用一个统计量的取值作为的估计值，称为的点估计(量)，简称估计。1ˆˆ(,,)nxx第六章参数估计第5页在这里如何构造统计量并没有明确的规定，只要它满足一定的合理性即可。这就涉及到两个问题：1ˆˆ(,,)nxx其一是如何给出估计，即估计的方法问题；其二是如何对不同的估计进行评价，即估计的好坏判断标准。第六章参数估计第6页定义6.1.2设是的一个估计，的参数空间为Θ，若对任意的∈Θ，有则称是的无偏估计，否则称为有偏估计。1ˆˆ(,,)nxxˆ()Eˆ对统计量最常见的合理性要求就是所谓的无偏性.第六章参数估计第7页例6.1.1对任一总体而言，样本均值是总体均值的无偏估计。当总体k阶矩存在时，样本k阶原点矩ak是总体k阶原点矩k的无偏估计。但对中心矩则不一样，譬如，由于，样本方差sn2不是总体方差2的无偏估计，对此，有如下两点说明：221()nnEsn第六章参数估计第8页对此，有如下两点说明：(1)当样本量趋于无穷时，有E(sn2)2，我们称sn2为2的渐近无偏估计。(2)若对sn2作如下修正：，则s2是总体方差的无偏估计。22211()11nniinssxxnn第六章参数估计第9页无偏性不具有不变性.即若称是的无偏估计,一般而言,其函数不是g()的无偏估计.除非g()是的线性函数.例如,s2是2的无偏估计,但从下面例子可看出,s并不是的无偏估计.ˆˆ()g第六章参数估计第10页例6.1.2设总体为N(,2)，x1,x2,…,xn是样本，则s2是2的无偏估计，且可求出这说明s不是的无偏估计.2(/2)1((1)/2)nnEsnnc第六章参数估计第11页利用修正技术可得cns是的无偏估计，其中是修偏系数.可以证明，当n时,有cn1.这说明s是的渐近无偏估计。2(/2)1((1)/2)nnEsnnc1((1)/2)2(/2)nnncn第六章参数估计第12页例6.1.3(刀切法)设T(x)是基于样本x1,x2,…,xn的关于参数g()的估计量，且满足ET(x)=g()+O(1/n).如以x(-i)表示从样本中删去xi后的向量,则T(x)的刀切统计量定义为可以证明:ETJ(x)=g()+O(1/n2),并且方差不会增大.缩小偏差的方法:()11()()()nJiinTxnTxTxn第六章参数估计第13页并不是所有的参数都存在无偏估计,当参数存在无偏估计时,我们称该参数是可估的,否则称为不可估的.例6.1.4设总体为二点分布b(1,p),0p1,x1,x2,…,xn是样本，参数=1/p是不可估的.证明：首先T＝x1+x2+…+xn是是的充分统计量，且T~b(n,p).若有一个是的无偏估计，则有ˆˆ()t＝ˆ()E＝第六章参数估计第14页即1ˆ[()]ETp＝T~b(n,p)从而01ˆ()(1)niininiiCppp＝或10ˆ()(1)10,01.niininiiCppp＝这是p的n+1次多项式，最多有n+1个实根，要使它对(0,1)中所有的p都成立是不可能的，故参数＝1/p是不可估的。第六章参数估计第15页6.1.2有效性定义6.1.3设是的两个无偏估计，如果对任意的∈Θ,有且至少有一个∈Θ使得上述不等号严格成立，则称比有效。12ˆˆ,12ˆˆVar()Var(),1ˆ2ˆ2ˆˆVar()E()注：当是的无偏估计时，ˆ第六章参数估计第16页例6.1.5设x1,x2,…,xn是取自某总体的样本，记总体均值为,总体方差为2，则都是的无偏估计，但显然，只要n1，比有效。11ˆ,x2ˆx2212ˆˆVar(),Var()/n2ˆ1ˆ这表明用全部数据的平均估计总体均值要比只使用部分数据更有效。第六章参数估计第17页例6.1.6均匀总体U(0,)中的最大似然估计是x(n),由于,所以x(n)不是的无偏估计，而是的渐近无偏估计。经过修偏后可以得到的一个无偏估计：且()1nnExn1()1ˆnnxn22221()211ˆVar()Var()(1)(2)(2)nnnnxnnnnnn第六章参数估计第18页另一方面，由矩法我们可以得到的另一个无偏估计，且由此，当n1时,比有效。2ˆ2x22244ˆVar()4Var()Var()123xXnnn1ˆ2ˆ22221()211ˆVar()Var()(1)(2)(2)nnnnxnnnnnn第六章参数估计第19页§6.2矩估计及相合性6.2.1替换原理和矩法估计一、矩法估计替换原理是指用样本矩及其函数去替换相应的总体矩及其函数，譬如：•用样本均值估计总体均值E(X)，即；•用样本方差估计总体方差Var(X)，即•用样本的p分位数估计总体的p分位数，•用样本中位数估计总体中位数。ˆ()EXx2ˆVar()nXs第六章参数估计第20页例6.2.1对某型号的20辆汽车记录其每加仑汽油的行驶里程(km)，观测数据如下：29.827.628.327.930.128.729.928.027.928.728.427.229.528.528.030.029.129.829.626.9经计算有由此给出总体均值、方差和中位数的估计分别为:28.695,0.9185和28.6。矩法估计的实质是用经验分布函数去替换总体分布，其理论基础是格里纹科定理。20.528.695,0.9185,28.6nxsm第六章参数估计第21页6.2.2概率函数P(x,θ)已知时未知参数的矩估计设总体具有已知的概率函数P(x,1,…,k)，x1,…,xn是样本，假定总体的k阶原点矩k存在，若1,…,k能够表示成1,…,k的函数j=j(1,…,k)，则可给出诸j的矩法估计为其中1ˆ(,,),1,,,jjkaajk11njjiiaxn第六章参数估计第22页6.2.2概率函数P(x,θ)已知时未知参数的矩估计若进一步,如果我们要估计1,…,k的函数η=g(1,…,k),则可以直接得到η的矩估计当k=1时,可以由样本均值出发对未知参数进行估计;如果k=2,可以由一、二阶原点矩(或二阶中心矩)出发估计未知参数.1ˆˆˆ(,,),kg第六章参数估计第23页例6.2.2设总体服从指数分布，由于EX=1/，即=1/EX，故的矩法估计为ˆ1/x1ˆ1/s1/Var()X另外，由于Var(X)=1/2，其反函数为因此，从替换原理来看，的矩法估计也可取为其中s为样本标准差。这说明矩估计可能是不唯一的，这是矩法估计的一个缺点，此时通常应该尽量采用低阶矩给出未知参数的估计。第六章参数估计第24页例6.2.3x1,x2,…,xn是来自(a,b)上的均匀分布U(a,b)的样本，a与b均是未知参数,这里k=2，由于不难推出由此即可得到a,b的矩估计：2(),Var(),212abbaEXX3Var(),3Var(),aEXXbEXXˆˆ3,3axsbxs第六章参数估计第25页6.2.3相合性我们知道，点估计是一个统计量，因此它是一个随机变量，在样本量一定的条件下，我们不可能要求它完全等同于参数的真实取值。但如果我们有足够的观测值，根据格里纹科定理，随着样本量的不断增大，经验分布函数逼近真实分布函数，因此完全可以要求估计量随着样本量的不断增大而逼近参数真值，这就是相合性，严格定义如下:第六章参数估计第26页定义6.2.1设∈Θ为未知参数，是的一个估计量，n是样本容量，若对任何一个ε0，有则称为参数的相合估计。1ˆˆ(,,)nnnxxˆlim(||)0nnPˆn注:相合性就是要求ˆ.Pn第六章参数估计第27页相合性被认为是对估计的一个最基本要求,如果一个估计量,在样本量不断增大时,它都不能把被估参数估计到任意指定的精度,那么这个估计是很值得怀疑的.通常,不满足相合性要求的估计一般不予考虑。第六章参数估计第28页若把依赖于样本量n的估计量看作一个随机变量序列,相合性就是依概率收敛于,所以证明估计的相合性可应用依概率收敛的性质及各种大数定律。ˆnˆn第六章参数估计第29页在判断估计的相合性时下述两个定理是很有用的。定理6.2.1设是的一个估计量，若则是的相合估计.1ˆˆ(,,)nnnxxˆˆlim(),lim()0nnnnEVarˆn第六章参数估计第30页1ˆˆ,,nnk1ˆˆˆ(,,)nnnkg定理6.2.2若分别是1,…,k的相合估计，=g(1,…,k)是1,…,k的连续函数，则是的相合估计。第六章参数估计第31页证明：由次序统计量的分布，我们知道x(n)的分布密度函数为p(y)=nyn-1/n,y,故有由定理6.2.1可知，x(n)是的相合估计。021202222ˆd/1ˆd/2ˆVar()0,21(1)(2)nnnnnEnyynnEnyynnnnnnnn例6.2.5设x1,x2,…,xn是来自均匀总体U(0,)的样本，证明x(n)是的相合估计。第六章参数估计第32页由大数定律及定理6.2.2，我们可以看到：矩估计一般都具有相合性。比如：样本均值是总体均值的相合估计；样本标准差是总体标准差的相合估计；样本变异系数是总体变异系数的相合估计。第六章参数估计第33页它首先是由德国数学家高斯在1821年提出的,GaussFisher然而，这个方法常归功于英国统计学家费歇(Fisher).费歇在1922年重新发现了这一方法，并首先研究了这种方法的一些性质.是在总体分布类型已知的条件下使用的一种参数估计方法.6.3最(极)大似然估计第六章参数估计第34页先看一个简单例子：某位同学与一位猎人一起外出打猎，一只野兔从前方窜过，只听一声枪响，野兔应声倒下。最大似然法的基本思想：是谁打中的呢？如果要我们推测，为什么呢?我们想，只发一枪便打中,猎人命中的概率一般大于这位同学命中的概率.这一枪应是猎人射中的.第六章参数估计第35页最大似然估计法是建立在最大似然原理基础上的一个统计方法，目前被认为是点估计中最重要的方法.它利用总体X的分布函数的表达式F(x;)及样本所提供的信息,建立未知参数的估计量.第六章参数估计第36页引例某人向一目标射击，命中率p可能是0.8或0.2。现在为了估计其命中率，连续进行了5次射击，结果前4次中了，第5次未中，试估计p的值。12345{11110}PXXXXX，，，，4(1),pp若p=0.8，0.0819上式若p=0.2，0.00128上式√第六章参数估计第37页若预先不知道p的值有0.8和0