极大似然估计法

1《概率论与数理统计》典型教案教学内容：极大似然估计法教学目的：通过本节内容的教学，使学生：1、明确极大似然估计法是在总体分布类型已知的情况下的一种常用的参数估计方法；2、理解极大似然思想；3、掌握求极大似然估计值的一般步骤，会求常见分布参数的极大似然估计值．教学重点：1、对极大似然思想阐述；2、极大似然估计值的求解．教学难点：对不能通过求导方法获得极大似然估计的值的确定．教学时数：２学时．教学过程：引例：某位同学与一位猎人一起外出打猎，一只野兔从前方窜过．只听一声枪响，野兔应声到下，如果要你推测，这一发命中的子弹是谁打的？你就会想，只发一枪便打中，由于猎人命中的概率一般大于这位同学命中的概率，看来这一枪是猎人射中的．这个例子所作的推断就体现了极大似然法的基本思想．一、极大似然思想一般地说，事件A与参数有关，取值不同，则)(AP也不同．若A发生了，则认为此时的值就是的估计值．这就是极大似然思想．看一例子：例１、设袋中装有许多黑、白球，不同颜色球的数量比为3:1，试设计一种方法，估计任取一球为黑球的概率P．分析：易知P的值无非是1/4或3/4．为估计P的值，现从袋中有放回地任取3只球，用X表示其中的黑球数，则),3(~PbX．按极大似然估计思想，对P的取值进行估计．解：对P的不同取值，X取3,2,1,0k的概率可列表如下:2X０１２３41P6427642764964143P64164964276427故根据极大似然思想即知：3,2,431,0,41ˆkkP．在上面的例子中，P是分布中的参数，它只能取两个值：1/4或3/4，需要通过抽样来决定分布中参数究竟是1/4还是3/4．在给定了样本观测值后去计算该样本出现的概率，这一概率依赖于P的值，为此需要用1/4、3/4分别去计算此概率，在相对比较之下，哪个概率大，则P就最象那个．二、似然函数与极大似然估计1、离散分布场合：设总体X是离散型随机变量，其概率函数为);(xp，其中是未知参数．设nXXX,,,21为取自总体X的样本．nXXX,,,21的联合概率函数为niiXp1);(，这里，是常量，nXXX,,,21是变量．若我们已知样本取的值是nxxx,,,21，则事件},,,{2211nnxXxXxX发生的概率为niixp1);(．这一概率随的值而变化．从直观上来看，既然样本值nxxx,,,21出现了，它们出现的概率相对来说应比较大，应使niixp1);(取比较大的值．换句话说，应使样本值nxxx,,,21的出现具有最大的概率．将上式看作的函数，并用)(L表示，就有：3niinxpxxxLL121);();,,,()(（１）称)(L为似然函数．极大似然估计法就是在参数的可能取值范围内，选取使)(L达到最大的参数值ˆ，作为参数的估计值．即取，使);,,,(max)ˆ;,,,()(2121nnxxxLxxxLL（２）因此，求总体参数的极大似然估计值的问题就是求似然函数)(L的最大值问题．这可通过解下面的方程0)(ddL（３）来解决．因为Lln是L的增函数，所以Lln与L在的同一值处取得最大值．我们称)(ln)(Ll为对数似然函数．因此，常将方程（３）写成：0)(lndLd（４）方程（４）称为似然方程．解方程（３）或（４）得到的ˆ就是参数的极大似然估计值．如果方程（４）有唯一解，又能验证它是一个极大值点，则它必是所求的极大似然估计值．有时，直接用（４）式行不通，这时必须回到原始定义（２）进行求解．２、连续分布场合：设总体X是连续离散型随机变量，其概率密度函数为);(xf，若取得样本观察值为nxxx,,,21，则因为随机点),,,(21nXXX取值为),,,(21nxxx时联合密度函数值为niixf1);(．所以，按极大似然法，应选择的值使此概率达到最大．我们取似然函数为niixfL1);()(，再按前述方法求参数的极大似然估计值．三、求极大似然估计的方法41、可通过求导获得极大似然估计：当函数关于参数可导时，常可通过求导方法来获得似然函数极大值对应的参数值．例２、设某工序生产的产品的不合格率为p，抽n个产品作检验，发现有T个不合格，试求p的极大似然估计．分析：设X是抽查一个产品时的不合格品个数，则X服从参数为p的二点分布),1(pb．抽查n个产品，则得样本nXXX,,,21，其观察值为nxxx,,,21，假如样本有T个不合格，即表示nxxx,,,21中有T个取值为１，Tn个取值为０．按离散分布场合方法，求p的极大似然估计．解：（１）写出似然函数：nixxiiPppL11)1()(（２）对)(pL取对数，得对数似然函数)(pl：niiniiippxpnpxpxpl11)]1ln([ln)1ln()]1ln()1(ln[)(（３）由于)(pl对p的导数存在，故将)(pl对p求导，令其为０，得似然方程：0)1(11)111(1)(11niiniixpppnppxpndppdl（４）解似然方程得：xxnpnii11ˆ（５）经验证，在xpˆ时，0)(22dppld，这表明xpˆ可使似然函数达到最大（６）上述过程对任一样本观测值都成立，故用样本代替观察值便5得p的极大似然估计为：Xpˆ将观察值代入，可得p的极大似然估计值为：nTxpˆ，其中niixT1．若总体X的分布中含有多个未知参数k,,,21时，似然函数L是这些参数的多元函数),,(1kL．代替方程（３），我们有方程组),,2,1(0)(lnkiLi，由这个方程组解得kˆ,,ˆ,ˆ21分别是参数k,,,21的极大似然估计值．例３、设某机床加工的轴的直径与图纸规定的中心尺寸的偏差服从),(2N，其中2,未知．为估计2,，从中随机抽取100n根轴，测得其偏差为10021,,,xxx．试求2,的极大似然估计．分析：显然，该问题是求解含有多个（两个）未知参数的极大似然估计问题．通过建立关于未知参数2,的似然方程组，从而进行求解．解：（１）写出似然函数：212222)(2212)(2)2(21),(niiixnnixeeL（２）写出对数似然函数：21222)(21)2ln(2),(niixnl（３）将),(2l分别对2、求偏导，并令它们都为０，得似然方6程组为：0)(212),(0)(1),(1242221222niiniixnlxl（４）解似然方程组得：xˆ，niixxn122)(1ˆ（５）经验证2ˆ,ˆ使),(2l达到极大，（６）上述过程对一切样本观察值成立，故用样本代替观察值，便得2,的极大似然估计分别为：Xˆ，2122)(1ˆnniiSXXn．２、不可通过求导方法获得极大似然估计：当似然函数的非零区域与未知参数有关时，通常无法通过解似然方程来获得参数的极大似然估计，这时可从定义（２）出发直接求)(L的极大值点．例4、设总体X服从均匀分布),0(U，从中获得容量为n的样本nXXX,,,21，其观测值为nxxx,,,21，试求的极大似然估计．分析：当写出其似然函数)(L时，我们会发现)(L的非零区域与有关，因而无法用求导方法来获得的极大似然估计，从而转向定义（２）直接求)(L的极大值．解：写出似然函数：其它场合,00,)()()1(nnxxL为使)(L达到极大，就必须使尽可能小，但是不能小于)(nx，因7而取)(nx时使)(L达到极大，故的极大似然估计为：)(ˆnX．进一步，可讨论估计ˆ的无偏性：由于总体),0(~UX，其密度函数与分布函数分别为：其它,00,1)(xxp，xxxxxF,10,0,0)(，从而)(ˆnX的概率密度函数为：ynyypyFnpnnn0,)()]([11ˆ1)()()ˆ(00ˆ)(nndynydyyypXEEnnn这说明的极大似然估计)(ˆnX不是的无偏估计，但对ˆ作一修正可得的无偏估计为：)(11ˆnXnn．通过修正获得未知参数的无偏估计，这是一种常用的方法．在二次世界大战中，从战场上缴获的纳粹德国的枪支上都有一个编号，对最大编号作一修正便获得了德国生产能力的无偏估计．综上，可得求极大似然估计值的一般步骤．四、求极大似然估计的一般步骤1、由总体分布导出样本的联合概率函数（或联合密度）；2、把样本联合概率函数（或联合密度）中自变量看成已知常数，而把参数看作自变量，得到似然函数)(L；3、求似然函数)(L的最大值点（常转化为求对数似然函数)(l的最大值点）；4、在最大值点的表达式中，用样本值代入就得参数的极大似然估计值．8五、极大似然估计的不变性求未知参数的某种函数)(g的极大似然估计可用极大似然估计的不变原则，证明从略．定理（不变原则）设ˆ是的极大似然估计，)(g是的连续函数，则)(g的极大似然估计为)ˆ(g．例5、设某元件失效时间服从参数为的指数分布，其密度函数为0,);(xexfx，未知．现从中抽取了n个元件测得其失效时间为nxxx,,,21，试求及平均寿命的极大似然估计．分析：可先求的极大似然估计，由于元件的平均寿命即为X的期望值，在指数分布场合，有1)(XE，它是的函数，故可用极大似然估计的不变原则，求其极大似然估计．解：（１）写出似然函数：niiixnnixeeL11)(（２）取对数得对数似然函数：niixnl1ln)(（３）将)(l对求导得似然方程为：0)(1niixnddl（４）解似然方程得：xxnnii1ˆ1经验证，ˆ能使)(l达到最大，由于上述过程对一切样本观察值成立，故的极大似然估计为：X1ˆ；根据极大似然估计的不变原则，元件的平均寿命的极大似然估计为：9XXEˆ1)(．五、小结1、极大似然估计的思想；2、求解未知参数极大似然估计的一般步骤；3、极大似然估计的不变原则．五、作业见参考文献1的第278页第4，5，6页．参考文献：1、苏均和主编：概率论与数理统计，上海财经大学出版社．1999年1版．2、茆诗松等编著：概率论与数理统计，中国统计出版社．1999年1版．3、魏振军编：概率论与数理统计三十三讲，中国统计出版社．2000年1版．4、唐生强主编：概率论与数理统计复习指导，科学出版社．1999年1版．