第7章-参数估计概率论课件

第七章参数估计现在我们来介绍一类重要的统计推断问题:参数估计问题是利用从总体抽样得到的信息来估计总体的某些参数或者参数的某些函数.参数估计估计废品率估计湖中鱼数估计平均降雨量参数估计点估计区间估计在参数估计问题中，假定总体分布形式已知，未知的仅仅是一个或几个参数.第一节点估计一、点估计问题的提法二、估计量的求法三、估计量的评选标准设总体X的分布函数形式已知,是待估参数,是X的一个样本，是相应的一个样本值.一、点估计问题的提法(;)Fx12,,,nxxx12,,,nXXX.),,,(ˆ),,,,(ˆ2121来估计未知参数用它的观察值一个适当的统计量点估计问题就是要构造nnxxxXXX.),,,(ˆ21的估计量称为nXXX.),,,(ˆ21的估计值称为nxxx.ˆ,简记为通称估计15011293260456543210knkk次的纱锭数断头断头次数.,,的估计值作为参数把的观察值再计算出先确定一个统计量xxXX解.133.1x.133.1的估计值为.,,150,,0,试估计参数数据如下内断头的次数只纱锭在某一时间段现检查了为未知参数为参数的泊松分布假设它服从以随机变量是一个断头次数在某纺织厂细纱机上的X例1二、估计量的求法由于估计量是样本的函数,是随机变量,故对不同的样本值,得到的参数值往往不同,求估计量的问题是关键问题.估计量的求法:(两种)矩估计法和最大似然估计法.1.矩估计法它是基于一种简单的“替换”思想建立起来的一种估计方法.是英国统计学家K.皮尔逊最早提出的.其基本思想是用样本矩估计总体矩.理论依据:大数定律其中为未知参数，现在从总体X中抽取样本.由辛钦大数定律设总体X的分布函数为11lim0.nkkiniPXEXn可以推广为，.lim,011nkknXnP有则对于任意正数.lim,011nkknXnP有则对于任意正数11lim0.niniPXEXn12,,,r12(,,,)nXXX12(;,,,)rFx设X1,X2,…,Xn来自总体X的样本记总体k阶矩为)(kkXE样本k阶矩为11nkkiiAXn用样本矩来估计总体矩,用样本矩的连续函数来估计总体矩的连续函数,从而得出参数估计，这种估计法称为矩估计法.记总体k阶中心矩为kkXEXE)]([样本k阶中心矩为11()nkkiiBXXn矩估计法的具体步骤:11(2),;1,2,,nlllliiAAXlkn令.,,,21的方程组个未知参数这是一个包含kk12(1)()(,,,)1,2,llkEXlk求出12(3),,,,k解出其中12ˆˆˆ,,,k.用表示(4)用方程组的解分别作为的估计量，这种估计量称为矩估计量.矩估计量的观察值称为矩估计值.12ˆˆˆ,,,k12,,,k.,,),,,(,,,],[21的矩估计量求的样本是来自总体未知其中上服从均匀分布在设总体baXXXXbabaXn解)(XE1,2ba)(22XE,41222baba2)]([)(XEXD,1211niiXnAba令2224)(12)(Ababa,112niiXn例2)(1222121AAabAba即解方程组得到a,b的矩估计量分别为)(3ˆ2121AAAa,)(312niiXXnX)(3ˆ2121AAAb,)(312niiXXnX.,,,,,,0,221222的矩估计量和求一个样本是又设均为未知和但且有都存在和方差的均值设总体nXXXX解)(XE1,2221AA令解方程组得到矩估计量分别为,ˆ1XA2122ˆAAniiXXn1221.)(112niiXXn例3,222)]([)(XEXD)(22XE上例表明:总体均值与方差的矩估计量的表达式，不因不同的总体分布而异.的矩估计量即得未知例222,,,),,(~NX,ˆX2ˆ.)(112niiXXn矩法的优点是简单易行.缺点是，当总体类型已知时，没有充分利用分布提供的信息.一般场合下,矩估计量不具有唯一性.2.最大（极大）似然估计法最大似然法是在总体类型已知条件下使用的一种参数估计方法.它首先是由德国数学家高斯在1821年提出的.然而，这个方法常归功于英国统计学家费歇.费歇在1922年重新发现了这一方法，并首先研究了这种方法的一些性质.GaussFisherFisher最大似然估计法，是建立在最大似然原理的基础上的求点估计量的方法。最大似然原理的直观想法是：在试验中概率最大的事件最有可能出现。例如，一个试验如有若干个可能的结果，若在一次试验中，结果A出现，则一般认为A出现的概率最大。,,,ABC若总体X属离散型,其分布律为{}(;),PXxpx1(;)niipx,当给定样本值12(,,,)nxxx分布律为似然函数形式已知,θ为待估参数,12(,,,)nXXX是总体X的一个样本，则样本12,,,nXXX的它是的函数,称()L为样本的似然函数.的概率为1()(;),niiLpx后,则样本取到观察值12,,,nXXX12,,,nxxx若总体X属连续型,其概率密度函数为(;),fx12,,,nxxx形式已知,θ为待估参数,12(,,,)nXXX是总体X的一个样本，则12,,,nXXX的联合1(;)d,niiifxx1(;)niifx,设密度为是相应于样本的一个样本值,则12,,,nXXX12(,,,)nXXX的邻域内的概率近似为12(,,,)nxxx落在点因不随而变，故只需考虑1dniix1(;)niifx若1212ˆ(,,,;)max(,,,;)nnLxxxLxxx则称12ˆ(,,,)nxxx为的最大似然估计值.替换成样为参数的最大似然估计量.若将上式中样本值12(,,,)nxxx12(,,,)nXXX,则得12ˆˆ(,,,)nXXX本称称为似然方程dln()0dL为最大似然估计的必要条件为因此，ˆ由于与在同一处达到最大值，()Lln()L求最大似然估计量的一般步骤为：（1）求似然函数()L（2）一般地，求出ln()L及似然方程（3）解似然方程得到最大似然估计值12ˆˆ(,,,)nxxx（4）最后得到最大似然估计量12ˆˆ(,,,)nXXXdln()0dL.,,,,),,1(~21的最大似然估计量求个样本的一是来自设pXXXXpBXn,,,,,,,2121一个样本值的为相应于样本设nnXXXxxx解1,0,)1(}{1xppxXPXxx的分布律为似然函数iixnixpppL11)1()(,)1(11niiniixnxpp例4),1ln(ln)(ln11pxnpxpLniinii,01)(lndd11pxnpxpLpniinii令的最大似然估计值解得p.1ˆ1xxnpnii的最大似然估计量为p.1ˆ1XXnpnii这一估计量与矩估计量是相同的..,,,,,,),,(~22122的最大似然估计量和求的一个样本值是来自为未知参数设总体XxxxNXn解的概率密度为X,),;()(222221xexpπX的似然函数为,π21),(222)(12ixnieL例5,)(21ln2)π2ln(2),(ln12222niixnnL0),(ln0),(ln222LL令,0112niinx,0)()(21212222niixn解得由0112niinx,1ˆ1xxnnii解得由0)()(21212222niixn,)(1ˆ212xxnnii为的最大似然估计量分别和故2,ˆX.)(1ˆ212XXnnii它们与相应的矩估计量相同..,,,,,,,,],[21的最大似然估计量求的一个样本值是来自总体未知其中上服从均匀分布在设总体baXxxxbabaXn解),,,,min()(nxxxx211记),,,,max()(nnxxxx21的概率密度为X其它,,),;(01bxaabbaxp例6,,,,,)()(bxxabxxxann121等价于因为的函数的似然函数为作为ba,其它,,,)(),()()(011nnxbxaabbaL有的任意于是对于满足条件baxbxan,,)()(1,)()(),()()(nnnxxabbaL111,nnnxxxbxabaL)(,),()()()()(11取到最大值时在即似然函数的最大似然估计值ba,,minˆ)(inixxa11,maxˆ)(ininxxb1的最大似然估计量ba,,minˆ1iniXa.maxˆ1iniXb说明：用求导方法求参数的最大似然估计有时行不通，这时要用极大似然原则来求.小结两种求点估计的方法:矩估计法最大似然估计法在统计问题中往往先使用最大似然估计法,在最大似然估计法使用不方便时,再用矩估计法.);();,,,()(niinxpxxxLL121似然函数第三节估计量的评价标准一、问题的提出二、无偏估计三、最小方差无偏估计四、相合估计一、问题的提出从前一节可以看到,对于同一个参数,用不同的估计方法求出的估计量可能不相同,那么那一个估计量好？好坏的标准是什么?下面介绍几个常用标准.二、无偏估计的一个样本，为总体若XXXXn,,,21,的分布中的待估参数是包含在总体X)(的取值范围是无偏估计的实际意义:无系统误差.无偏性是对估计量的一个常见而重要的要求..,)(的无偏估计量是则称有且对于任意存在的数学期望若估计量定义ˆ,)ˆ()ˆ(,,,ˆ.EEXXXn2126.,)(的无偏估计量是则称有且对于任意存在的数学期望若估计量定义ˆ,)ˆ()ˆ(,,,ˆ.EEXXXn2126.1,,,,,)1()(121的无偏估计阶总体矩是阶样本矩总体服从什么分布论的一个样本，试证明不是又设存在阶矩的设总体knikiknkkkXnAkXXXXkXEkX证同分布，与因为XXXXn,,,21)()(kkiXEXE故有.,,2,1,niknikikXEnAE1)(1)(即.k例1.的无偏估计阶总体矩是阶样本矩故kkkAk特别地:.)(1估计量的无偏的数学期望总是总体XEXX不论总体X服从什么分布,只要它的数学期望存在,.0,,,1/的无偏估计都是和的样本，试证是来自总体又设其中参数其它度概率密的指数分布服从参数为设总体)],,,[min(,,,,00,1);(21)1(21nnxXXXnnXXXXXXxexpX证)(XE因为,)(XE.的无偏估计量是所以X例2min,0(;)0,nxnexpx其它(1)(),EXn故知(1)(),EnX.的无偏估计量也是所以)(1nX由以上两例可知,同一个参数可以有不同的无偏估计量.(1)12min(,,,)nXXXX而具有概率密度无偏性虽然是评价估计量的一个重要标准，而且在许多场合是合理的、必要的。然而，有时一个参数的无偏估计可能不存在或者不合理。于是，人们