概率论与数理统计教程第二版茆诗松课件PPT第六章

第六章参数估计17March2021第1页第六章参数估计§6.1点估计的几种方法§6.2点估计的评价标准§6.3最小方差无偏估计§6.4贝叶斯估计§6.5区间估计第六章参数估计17March2021第2页一般常用表示参数，参数所有可能取值组成的集合称为参数空间，常用表示。参数估计问题就是根据样本对上述各种未知参数作出估计。参数估计的形式有两种：点估计与区间估计。第六章参数估计17March2021第3页设x1,x2,…,xn是来自总体X的一个样本，我们用一个统计量的取值作为的估计值，称为的点估计（量），简称估计。在这里如何构造统计量并没有明确的规定，只要它满足一定的合理性即可。这就涉及到两个问题：1ˆˆ(,,)nxxˆˆ其一是如何给出估计，即估计的方法问题；其二是如何对不同的估计进行评价，即估计的好坏判断标准。第六章参数估计17March2021第4页§6.1点估计的几种方法6.1.1替换原理和矩法估计一、矩法估计替换原理是指用样本矩及其函数去替换相应的总体矩及其函数，譬如：•用样本均值估计总体均值E(X)，即；•用样本方差估计总体方差Var(X)，即•用样本的p分位数估计总体的p分位数，•用样本中位数估计总体中位数。ˆ()EXx2ˆVar()nXs第六章参数估计17March2021第5页例6.1.1对某型号的20辆汽车记录其每加仑汽油的行驶里程(km)，观测数据如下：29.827.628.327.930.128.729.928.027.928.728.427.229.528.528.030.029.129.829.626.9经计算有由此给出总体均值、方差和中位数的估计分别为:28.695,0.9185和28.6。矩法估计的实质是用经验分布函数去替换总体分布，其理论基础是格里纹科定理。20.528.695,0.9185,28.6nxsm第六章参数估计17March2021第6页二、概率函数P(x,θ)已知时未知参数的矩法估计设总体具有已知的概率函数P(x,1,…,k)，x1,x2,…,xn是样本，假定总体的k阶原点矩k存在，若1,…,k能够表示成1,…,k的函数j=j(1,…,k)，则可给出诸j的矩法估计为其中1ˆ(,,),1,,,jjkaajk11njjiiaxn第六章参数估计17March2021第7页例6.1.2设总体服从指数分布，由于EX=1/，即=1/EX，故的矩法估计为另外，由于Var(X)=1/2，其反函数为因此，从替换原理来看，的矩法估计也可取为s为样本标准差。这说明矩估计可能是不唯一的，这是矩法估计的一个缺点，此时通常应该尽量采用低阶矩给出未知参数的估计。ˆ1/x1/Var()X1ˆ1/s第六章参数估计17March2021第8页例6.1.3x1,x2,…,xn是来自(a,b)上的均匀分布U(a,b)的样本，a与b均是未知参数，这里k=2，由于不难推出由此即可得到a,b的矩估计：2(),Var(),212abbaEXX3Var(),3Var(),aEXXbEXXˆˆ3,3axsbxs第六章参数估计17March2021第9页属离散型总体X)1(似然函数的定义,属离散型若总体X设分布列),;(}{xpxXP,的形式为已知为待,估参数.可能的取值范围是nXXX,,,21设,的样本是来自总体X的联合分布则nXXX,,,21.);(1niixp律为6.1.2极(最)大似然估计属离散型总体X)1(第六章参数估计17March2021第10页nXXX,,,21则样本的取到观察值nxxx,,,21发生的概率为即},,,{2211nnxXxXxX)(L,);(1niixp);,,,(21nxxxL.)(称为样本的似然函数L，概率为相应于样本又设nxxx,,,21.,,,21的一个样本值nXXX第六章参数估计17March2021第11页最大似然估计法)(,,,,21Lxxxn选取使似然函数时得到样本值,ˆ的估计值作为未知参数取得最大值的).;,,,(max)ˆ;,,,(2121nnxxxLxxxL即)(可能的取值范围是其中),,,,(ˆ,,,,ˆ2121nnxxxxxx记为有关与样本值这样得到的),,,(ˆ21nXXX,的最大似然估计值参数.的最大似然估计量参数第六章参数估计17March2021第12页似然函数的定义,);(xp设概率密度为,,为待估参数.可能的取值范围是的样本，是来自设XXXXn,,,21则.);(,,,121niinxpXXX的联合密度为nnXXXxxx,,,,,,2121为相应于样本设.的一个样本值落在点则随机点),,,(21nXXX属连续型总体X)2(第六章参数估计17March2021第13页nnxxxxxxd,,d,d(),,,(2121边长分别为的邻域概率近似地为内的维立方体的)n)(L);,,,(21nxxxL,);(1niixp.)(称为样本的似然函数L).;,,,(max)ˆ;,,,(2121nnxxxLxxxL若),,,(ˆ21nxxx),,,(ˆ21nXXX,的最大似然估计值参数.的最大似然估计量参数,d);(1iniixxp第六章参数估计17March2021第14页求最大似然估计的步骤:);();,,,()(121niinxpxxxLL);(ln)(ln1niixpL;);(ln)(ln1niixfL;);();,,,()(121niinxfxxxLL或取对数二)(或写出似然函数一)(第六章参数估计17March2021第15页.ˆ,0d)(lnd,d)(lnd)(的最大似然估计值解方程即得未知参数并令求导对三LL最大似然估计法也适用于分布中含有多个未知.,,2,1,0lnkiLi,个方程组成的方程组解出由k对数似然方程组对数似然方程此时只需令参数的情况..ˆ),,2,1(iiki的最大似然估计值数即可得各未知参第六章参数估计17March2021第16页例6.1.6设一个试验有三种可能结果，其发生概率分别为现做了n次试验，观测到三种结果发生的次数分别为n1,n2,n3(n1+n2+n3=n)，则似然函数为其对数似然函数为22123,2(1),(1)ppp123212322222()()[2(1)][(1)]2(1)nnnnnnnnL12322ln()(2)ln(2)ln(1)ln2Lnnnnn第六章参数估计17March2021第17页将之关于求导，并令其为0得到似然方程解之，得由于所以是极大值点。ˆ12322201nnnn121212322ˆ2()2nnnnnnnn21232222ln()220(1)Lnnnn第六章参数估计17March2021第18页例6.1.7对正态总体N(,2)，θ=(,2)是二维参数，设有样本x1,x2,…,xn，则似然函数及其对数分别为22212/222122221()1(,)exp221(2)exp()21ln(,)()lnln(2)222niinniiniixLxnnLx第六章参数估计17March2021第19页将lnL(,2)分别关于两个分量求偏导并令其为0,即得到似然方程组(6.1.9)(6.1.10)221ln(,)1()0niiLx222421ln(,)1()022niiLnx第六章参数估计17March2021第20页解此方程组，由(6.1.9)可得的极大似然估计为将之代入(6.1.10)，得出2的极大似然估计利用二阶导函数矩阵的非正定性可以说明上述估计使得似然函数取极大值。11ˆniixxn2221*1ˆ()niixxsn第六章参数估计17March2021第21页虽然求导函数是求极大似然估计最常用的方法，但并不是在所有场合求导都是有效的。例6.1.8设x1,x2,…,xn是来自均匀总体U(0,)的样本，试求的极大似然估计。第六章参数估计17March2021第22页解似然函数要使L()达到最大，首先一点是示性函数取值应该为1，其次是1/n尽可能大。由于1/n是的单调减函数，所以的取值应尽可能小，但示性函数为1决定了不能小于x(n)，由此给出的极大似然估计。(){0}{}111()innxxnniLII()ˆnx第六章参数估计17March2021第23页极大似然估计有一个简单而有用的性质：如果是的极大似然估计，则对任一函数g()，其极大似然估计为。该性质称为极大似然估计的不变性，从而使一些复杂结构的参数的极大似然估计的获得变得容易了。ˆˆ()g第六章参数估计17March2021第24页例6.1.9设x1,x2,…,xn是来自正态总体N(,2)的样本，则和2的极大似然估计为，于是由不变性可得如下参数的极大似然估计，它们是:22*,xs*ˆs标准差的MLE是；第六章参数估计17March2021第25页概率的MLE是；0.90*xsu3(3)PX*3xs总体0.90分位数x0.90=+u0.90的MLE是，其中u0.90为标准正态分布的0.90分位数。第六章参数估计17March2021第26页§6.2点估计的评价标准6.2.1相合性我们知道，点估计是一个统计量，因此它是一个随机变量，在样本量一定的条件下，我们不可能要求它完全等同于参数的真实取值。但如果我们有足够的观测值，根据格里纹科定理，随着样本量的不断增大，经验分布函数逼近真实分布函数，因此完全可以要求估计量随着样本量的不断增大而逼近参数真值，这就是相合性，严格定义如下。第六章参数估计17March2021第27页定义6.2.1设∈Θ为未知参数，是的一个估计量，n是样本容量，若对任何一个ε0，有(6.2.1)则称为参数的相合估计。1ˆˆ(,,)nnnxxˆlim(||)0nnPˆn第六章参数估计17March2021第28页相合性被认为是对估计的一个最基本要求,如果一个估计量,在样本量不断增大时，它都不能把被估参数估计到任意指定的精度,那么这个估计是很值得怀疑的。通常,不满足相合性要求的估计一般不予考虑。证明估计的相合性一般可应用大数定律或直接由定义来证.第六章参数估计17March2021第29页若把依赖于样本量n的估计量看作一个随机变量序列,相合性就是依概率收敛于,所以证明估计的相合性可应用依概率收敛的性质及各种大数定律。ˆnˆn第六章参数估计17March2021第30页定理6.2.2若分别是1,…,k的相合估计，=g(1,…,k)是1,…,k的连续函数，则是的相合估计。在判断估计的相合性时下述两个定理是很有用的。定理6.2.1设是的一个估计量，若则是的相合估计.1ˆˆ(,,)nnnxxˆn1ˆˆ,,nnk1ˆˆˆ(,,)nnnkg第六章参数估计17March2021第31页例6.2.2设x1,x2,…,xn是来自均匀总体U(0,)的样本，证明的极大似然估计是相合估计。证明：在例6.3.5中我们已经给出的极大似然估计是x(n)。由次序统计量的分布，我们知道x(n)的分布密度函数为p(y)=nyn-1/n,y,故有由定理6.2.1可知，