71续极大似然估计

几个常用统计量二、估计量的评选标准一、参数的点估计第七章参数估计三、参数的区间估计思考题问题：现有一名射击运动员，他的命中率可用其击中的概率表示，假定其命中率要么是0.8，要么是0.2,现试射击一次，结果命中，命中率是0.8还是0.2？问题：如果射击5次，仅前三次命中，p有又该取多少呢？合理的答案是:0.8如果没有命中率可选项,取多少合理呢?合理的答案是:p=1分析32()(1)PApp小概率事件在一次试验中应该不发生概率试验中某事件发生了，我们就有理由认为，该事件发生的概率应该是大的.常理：根据这一思路进行参数估计的方法称为极大似然估计极大似然估计法(1).{}(;),XPXxpx若总体属离散型，其分布律11,,,,nnxxXX又设是的一个样本值；11,,,,nnXXxx易知样本取的概率，亦即事件的形式为已知，为待估参数，是可能取值的范围。11{,,}nnXxXx发生的概率为：11()(,,;)(;),.(1.1)nniiLLxxpx11()(,,;)(;),.(1.1)nniiLLxxpx()L它是的函数。称为样本的似然函数。11,,;ˆ(,,;)ˆnnxxLxx：固定挑选使概率达到最大值的参数，作为的估计值，即取极大似然估计法使得：11ˆ(,,;)max(,,;)(1.2)nnLxxLxx11ˆˆ,,(,,);nnxxxx与有关，记为称其为参数的极大似然估计值。1ˆ(,,)nXX称为参数的极大似然估计量。(2).(;),;Xfx若总体属连续型，其概率密度的形式已知，为待估参数11111,,,,(,,)(,,),,nnnnnxxXXXXxxdxdxn设是相应的一个样本值，则随机点落在的邻域（边长分别为的维立方体）内的概率近似为：1(;)(1.3)niiifxdxˆ(1.3)我们取的估计值，使概率取到最大值。iidx但不随而变，故只需考虑：11()(,,;)(;),(1.4)nniiLLxxfx()L的最大值，这里称为样本的似然函数。11ˆ(,,;)max(,,;)nnLxxLxx若1ˆ(,,)nxx则称为的极大似然估计值。1ˆ(,,)nXX称为的极大似然估计量。11()(,,;)(;),nniiLLxxfx11ˆ(,,;)max(,,;)nnLxxLxx若1ˆ(,,)nxx则称为的极大似然估计值。1ˆ(,,)nXX称为的极大似然估计量。(;),(;)()0.pxfxdLd一般，关于可微，故可由下式求得：11()(,,;)(;),nniiLLxxpx似然函数定义归纳()ln()ln()0.(1.5)LLdLd又因与在同一处取到极值，因此的极大似然估计也可从下述方程解得：若母体的分布中包含多个参数，ln0,1,,.0,1,,.iiLLikik即可令或1,,kk解个方程组求得的极大似然估计值。问题分析设X的分布律xY123θθ1-2θθ0今有样本1，1，1，3，2，1，3，2，2，12，2，3，1，1，2求θ的矩估计和最大似然估计解：()12(12)333E128(1+1+1+3+2+1+3+2+2+1+2+2+3+1+1+2)=1616X28()3316EXX令即－＝2048＝问题分析（续）161()()iILPXx133(12)(12)(12)123131213(12).3.(12)(2)dLd11300232dLd令得到＝或者＝或者＝1332显然仅有＝适合题意11.~(1,);,,nXBpXXX例设是来自的一个样本，试求参数p的极大似然估计量。概率分布的表示方法XP011-PP1{}(1),0,1;xxPXxppx11.~(1,);,,nXBpXXX例设是来自的一个样本，试求参数p的极大似然估计量。1,,nxxX解：设是一个样本值。的分布律为：1{}(1),0,1;xxPXxppx故似然函数为1111()(1)(1),nniiiiiinxnxxxiLppppp［（］11ln()()ln()ln(1).nniiiiLpxpnxp而11ln()0.1nniiiixnxdLpdppp令11ˆpnniipxx解得的极大似然估计值11ˆpnniipXX的极大似然估计量为-------它与矩估计量是相同的。2212.~(,);,,,nXNxxX例设为未知参数，是来自的一个样本值，2,求：的极大似然估计量。X解：的概率密度为：22211(;,)exp{()}22fxx似然函数为：222111(,)exp{()}22niiLx［］22211lnln(2)ln()()222niinnLx212222211ln[]00n1ln-()002(2)niiniiLxnLx令即：12211ˆ1ˆ()niiniixxnXXn解得：休息片刻)0(,00,1);(:elsexexfXx今取得一组样本数据如下，问如何估计θ？162950681001301402702803404104505206201902108001100某厂生产的电子管的使用寿命X（小时)服从指数分布例4指数分布的点估计分析可用两种方法：矩法估计和极大似然估计.1）矩法估计θeθ1)(0θdxxXExˆXθθθX.令则可得的矩法估计量为：θ代入具体数值可得的估计值为：1115723318().18niixn小时2）极大似然估计1.构造似然函数当xi0,（i=1,2,…,n)时，似然函数为111(,...,;)inxniLxxe（）niixnL11lnln2.取对数3.建立似然方程.01ln12niixndLd11niixne5.得M.L.E量：,1ˆ1XXnnii代入具体数值可得的估计值为：4.求解得M.L.E值,1ˆ1xxnnii).(318572318111小时niixn求极大似然估计的一般步骤：1.写出似然函数12121(,,...,;)(;,,...,)nnimiLxxxfx121lnln(;,,...,)nimiLfx2.对似然函数取对数)m,...,,j(,Llnj2103.对j(j=1,…,m)分别求偏导,建立似然方程(组)mˆ,...,ˆ1解得m,...,1易出错点：似然函数的构造过程中，连乘号的运用分别作为的极大估计值.13.~[,];,,,nXUababxx例设未知，是一个样本值，,ab求：的极大似然估计量。(1)1()1min(,,),max(,,),nnnxxxxxx解：设X的概率密度为：1,;(;,)0,axbfxabba其它1(1)(),,,,,nnaxxbaxxb因为等价于(1)()1,,;()(,)0,nnaxbxbaLab其它(1)(),,naxbxab对于满足的任意有()(1)11(,)()()nnnLabbaxx(1)()()(1)(,),()nnnLabaxbxxx即：在时，取最大值,ab故的极大似然估计值为：(1)()ˆˆmin,max,iniaxxbxx,ab故的极大似然估计量为：ˆˆmin,max,iiaXbX例5矩估计与似然估计不等的例子设总体概率密度为.,0;10,)1(),(其他xxxf求参数θ的极大似然估计,并用矩法估计θ.解1)极大似然估计法1.构造似然函数θ11(θ1),01;(,...,;θ)0,nniiinxxLxx其它niixnL1ln)1ln(ln2.取对数：当0xi1,(i=1,2,…,n)时3.建立似然方程,0ln1ln1niixndLd4.求解得M.L.E.值为,1lnˆ1niixn5.M.L.E.量为.1lnˆ1niiXn211001()(1)(1),22xEXxxdx2)矩估计法θ1X,θθ2令可得的矩法估计量为121ˆθ2.11XXX(),ˆˆˆ()()uuuuu性质：设的函数具有单值反函数，是的极大似然估计；则是的极大似然估计。22211()niiXXn例：是的极大似然估计2222(),(0)uuuu有单值反函数2211ˆˆ()niiXXn故是的极大似然估计返回主目录由得例8X~B（N，p），例题9()X1,(;;)0,,xexfx设随机变量的密度函数其他求的极大似然估计量1()/:L(;,)niixnxe解1,2,xxxn当取定时的值在(1)12ˆ=min(,)nxxxx,L=maxL(,)时例题续,,代入似然函数并取对数得到(1)11ln(,)ln()niiLnxx(1)21ln1,()0niiLnxx求偏导数并令(1)ˆ=xx解得(1)(1)ˆ=Xˆ=X-X的极大似然估计量为的极大似然估计量为例题10||X1(),-2(,),xfxex设随机变量的密度函数是未知参数求的极大似然估计量||11:L(,)2inxixe解1||12niixne1lnL(,)ln2||niixnx1||,ni12nixx,x,x要使达到最小将从小到大排列(1)(2)()xxxn续(1)121,||nkiinkxx当时使最小(1)Xk为的极大似然估计量()(1)12,[,]||kkniinkxxx当时上的任何值使最小(1),Xk所以为的极大似然估计