您好,欢迎访问三七文档
当前位置:首页 > 临时分类 > 极大似然估计的原理和方法
概率论与数理统计极大似然估计法的原理和方法一问题引入问题Ⅰ:一只野兔从前方窜过.请问是谁打中的?一位老猎人与某位学生一起外出打猎.应该如何判断呢?只听两声枪响,野兔应声倒下(被一发子弹打中).问题Ⅱ:有一个箱子,装有形状相同的黑色球和白色球100个,现从箱中任取一球,结果所取得的球是黑色球。问:箱中黑球和白球的个数?其中一种颜色90个,另一种颜色球10个.答极有可能黑色球90个.我们引入参数估计的又一种方法---极大似然估计法(MethodofMaximumLikelihoodEstimation--MLE)概率最大的事件最可能发生.一次试验就出现的事件(应该)有较大的概率.极大似然估计法的依据就是:极大似然估计法最早由高斯(C.F.Gauss)提出。后来为费歇在1912年的文章中重新提出,并且证明了这个方法的一些性质。极大似然估计这一名称也是费歇(R.A.Fisher)给的。这是一种目前仍然得到广泛应用的方法。它是建立在极大似然原理的基础上的一个统计方法。二极大似然原理(一)极大似然估计法简史(C.F.Gauss)(R.A.Fisher)(二)极大似然原理及数学表述1,,,nAA若事件Ai发生了,则认为事件Ai在这n个可能结果中出现的概率最大。极大似然估计就是在一次抽样中,若得到观测值1,,nxx则选取1ˆ(,,)nxx若一试验有n个可能结果现做一试验,作为θ的估计值。1ˆ(,,)nxx使得当时,样本出现的概率最大。一次试验就出现的事件(应该)有较大的概率(三)极大似然估计法(MethodofMaximumLikelihoodEstimation--MLE)Ⅰ.若总体X为离散型,,),;(}{为待估参数设分布律xpkXP12nL()L(x,x,,x;)1niip(x;),,()L称为样本的似然函数12,,,nxxx12,,,XXX若为相应于的样本值,,,,,21的样本是来自总体XXXXn).;,,,(max)ˆ;,,,(2121nnxxxLxxxL若),,,(ˆ21nxxx,参数的极大似然估计值.,,),;(为待估参数设概率密度为xf,,,,21的样本是来自总体XXXXnⅡ.设总体X为连续型12,,,nxxx12,,,nXXX若为相应于的样本值,121niniL(x,x,,x;L()f(x;),).)(称为样本的似然函数L).;,,,(max)ˆ;,,,(2121nnxxxLxxxL若),,,(ˆ21nxxx,参数的极大似然估计值.极大似然法求估计值的步骤:(一般情况下):)()1L构造似然函数1()(;)(,niiLpx离散型)1()(;)niiLfx);(ln)2L取对数:;0ln)3dLd令说明:若似然方程(组)无解,或似然函数不可导,此法失效,改用其它方法.(连续性);ˆ.4)解似然方程得到的极大似然估计值解的分布律为因为X),,2,1,0(,e!}{nxxxXPx1()e!ixniiLx11e,!niixnniix的似然函数为所以例1设X服从参数(0)的泊松分布,12,,,nxxx是来自于X的一个样本值,求的极大似然估计值.,!ln)(ln11niiniixxnL,0)(lndd1niixnL令11ˆ,niixxn这一估计值与矩估计值是相同的.解得的极大似然估计值为解的概率密度为X22()221(;,)e,2πxfx似然函数为22()2211(,)e,2πixniL2,例2设总体22~(,),,XN为未知参数,12,,,nxxx是来自X的一个样本值,求的极大似然估计值.,)(21ln2)π2ln(2),(ln12222niixnnL,0),(ln,0),(ln222LL令21.....(1)10,niixn222211().....02.(2))2(niinxˆ,nii11xxnˆ(),n22ii11xxn2故和的极大似然估计值为这一估计值与矩估计值是相同的.解1(2)max(,,,),nhxxxx的概率密度为X1,0,(;)0,.xfx其他例3设总体X服从[0,]上的均匀分布,0未知,12,.,nxxx是来自于总体X的样本值,求出的极大似然估计值.记()1,,()0,hnLx其他.所以似然函数为因为,.,120nxxx等价于,hx()1,,()0,hnxL其他.()11)(,()nnhLx对于满足hx的任意有似然函数为即似然函数()L在=hx时取得极大值,()1ˆmax,hiinxx的极大似然估计值为这一估计值与矩估计值是不相同的.矩法估计法极大似然估计法依据大数定律极大似然思想运算较简单(可能会有信息量损失)较复杂精度一般较低一般较高三课堂小结1)矩法估计值与极大似然估计值不一定相同;2)不是所有极大似然估计法都需要建立似然方程求解.3、矩法估计值与极大似然估计值的比较2、求解未知参数极大似然估计的一般步骤.1、极大似然估计的思想;注意:再见!
本文标题:极大似然估计的原理和方法
链接地址:https://www.777doc.com/doc-8350610 .html