§5.2最大似然估计

西南财经大学天府学院§5.2最大似然估计西南财经大学天府学院一、最（极）大似然估计的基本思想最（极）大似然原理的直观想法是：一个随机试验如有若干个可能的结果A,B,C,…。若在一次试验中,结果A出现,则一般认为A出现的概率最大,也即试验条件对A出现有利。或者说在试验的很多可能条件中，认为应该是使事件A发生的概率为最大的那种条件存在.西南财经大学天府学院kkkppCkXP33)1()(X0123p=1/4时P{X=k}27/6427/649/641/64p=3/4时P{X=k}1/649/6427/6427/64例1：假若一个盒子里有许多白球和红球,而且已知它们的数目之比是3:1,但不知是白球多还是红球多.设随机地在盒子中取一球为白球的概率是p.如果有放回地从盒子里取3个球,那么取到白球的数目X服从二项分布西南财经大学天府学院如果样本中白球数为0,则应估计p=1/4,而不估计p=3/4.因为具有X=0的样本来自p=1/4的总体的可能性比来自p=3/4的总体的可能性要大.一般当X=0,1时,应估计p=1/4;而当X=2,3时,应估计p=3/4.西南财经大学天府学院定义:设总体X的分布类型已知,但含有未知参数θ.(1)设离散型总体X的概率分布律为);(xp，则样本nXXX,,,21的联合分布律niinxpxpxpxp121);();();();(称为似然函数，记为niinxpxxxLL121);();,,,()(.(2)设连续型总体X的概率密度函数为);(xf，则样本nXXX,,,21的联合概率密度函数niinxfxfxfxf121);();();();(仍称为似然函数，记为niinxfxxxLL121);();,,,()(.西南财经大学天府学院定义:设总体的分布类型已知,但含有未知参数θ.(1)设nxxx,,,21为总体X的一个样本观察值，若似然函数)(L在),,,(ˆˆ21nxxx处取到最大值，则称),,,(ˆ21nxxx为θ的最（极）大似然估计值.(2)设nXXX,,,21为总体X的一个样本,若),,,(ˆ21nxxx为θ的极大似然估计值,则称),,,(ˆ21nXXX为参数θ的最（极）大似然估计量.西南财经大学天府学院设总体的分布类型已知,但含有未知参数θ.设nxxx,,,21为总体X的一个样本观察值，若似然函数)(L关于θ可导.0)(Ldd令解此方程得θ的最大似然估计值),,,(ˆ21nxxx,从而得到θ的最大似然估计量),,,(ˆ21nXXX.因为)(L与)(lnL具有相同的最大值点,解方程0)(lnLdd也可得θ的最大似然估计值),,,(ˆ21nxxx和θ的最大似然估计量),,,(ˆ21nXXX.西南财经大学天府学院设总体的分布类型已知,但含有多个未知参数k,,,21，这时总体的概率函数为),,,;(21kxf.设nxxx,,,21为总体X的一个样本观察值,若似然函数nikikkkxfxxxLL121212121),,,;(),,,;,,,(),,,(将其取对数,然后对k,,,21求偏导数,得0),,,(ln0),,,(ln21121kkkLL该方程组的解kixxxnii,,2,1),,,,(ˆˆ21,即为i的极大似然估计值.西南财经大学天府学院求最大似然估计的一般步骤归纳如下：（1）求似然函数)(L；（2）求出)(lnL及方程0)(lnLdd；（3）解上述方程得到极大似然估计值),,,(ˆˆ21nxxx.（4）解上述方程得到极大似然估计量),,,(ˆˆ21nXXX.西南财经大学天府学院的一个样本，是来自设XXXpBXn,,);,1(~1试求参数p的最大似然估计量。解：;1,0,)1(}{1xppxXPxx故似然函数为nixxiipppL11)1()()(lnpL而例2,)1(11niiniixnxpp).1ln()(ln)(11pxnpxniinii的分布律为：是一个样本值。设Xxxn,,1西南财经大学天府学院的极大似然估计值解得p的极大似然估计量为p即令,0)(lnpLdpdxxnpnii11ˆXXnpnii11ˆ)1ln()(ln)()(ln11pxnpxpLniinii.0111pxnpxniinii例2（续）西南财经大学天府学院的一个样本值，是来自为未知参数，已知，设XxxNXn,,);,(~122:似然函数为222211(2)exp2nniix例3.2的极大似然估计量求解：222111()exp{()}22niiLxLln)ln(22nniix122)(21)2ln(2n})(21exp{21);(222xxf的概率密度为：X西南财经大学天府学院，解此方程，得niixn1221ˆ．的极大似然估计量为因此niiXn12221ˆ，令：0ln2dLd得似然方程例3（续）02121242niixnniixndLd12422212lnLln)ln(22nniix122)(21)2ln(2n西南财经大学天府学院的一个样本值，是来自为未知参数，设XxxNXn,,,);,(~122.,2的极大似然估计量求解：})(21exp{21),;(222xxf似然函数为：niixL1222})(21exp{21),(Lln例4)ln(22nniix122)(21)2ln(2n2122)(22)2(niixne的概率密度为：X西南财经大学天府学院0ln0ln2LL令,1ˆ1xxnnii解得：:,2的极大似然估计量为故)2ln(2lnnL)ln(22nniix122)(21即：.)(1ˆ1ˆ1221niiniiXXnXXn0)(112niix0)(212-2142niixnniixxn122)(1ˆ例4（续）西南财经大学天府学院似然函数为的密度函数为设总体X解：,11niinxLniixnL1ln1lnln.,0,10,1其它xxxf的极大似然估计．的一个样本．试求是从该总体抽取，，，未知，其中nXX11例5西南财经大学天府学院得似然方程为dLdln，令：0lndLd,0ln1niixn解得,lnˆ1niixn的极大似然估计量为因此.lnˆ1niiXn例5（续）niixnL1ln1lnlnniixn1ln西南财经大学天府学院是一个样本值，未知，设nxxbabaUX,,,];,[~1的极大似然估计量。求：ba,X的概率密度为：其它,0;,1),;(bxaabbaxfnabbaL)(1,),ln(,lnabnbaLnibxai，，，，21;0,lnabnbaLa例6分析：似然函数为,0,lnabnbaLb但这不能说明不存在极大似然估计量，只是不能由似然方程组求解。显然，似然方程组无解，西南财经大学天府学院其它,0;,)(1),()()1(bxxaabbaLnn解：有的任意对于满足babxxan,)()1(nnnxxabbaL)(1)(1),()1()(例6（续）按从小到大顺序排列成将nxx,,1,)()2()1(nxxx则西南财经大学天府学院时，在即：)()1(,),(nxbxabaL的极大似然估计值为：故ba,},,,,min{ˆ21)1(nxxxxa的极大似然估计量为：故ba,()(1)()nnxx取最大值例6（续）},,,,max{ˆ21)(nnxxxxb},,,,min{ˆ21nXXXa},,,,max{ˆ21nXXXb西南财经大学天府学院设罐中装有a只黑球b只白球，则.baR.,,1.0,1niiiXi次摸到白球，第次摸到黑球；第设,),1(~,,1的样本是总体则pbXXXn}1{iXPp其中例7一个罐子里装有黑球和白球，有放回地抽取n个球，发现有k个黑球。试求罐子里黑球数与白球数之比R的极大似然估计量。baa.1RR解：西南财经大学天府学院niixpRL1)()(似然函数nixxiiRRRR11)11()1(,)11()1(11niiniixnxRRRR)11(ln)()1(lnln11RxnRRxLniinii则RRp1nixxiipp11)1(则令,0lndRLd011)()111(11RxnRRxniiniiniiniixnxR11ˆ解出.knk)]1ln([ln1RRxnii)]1ln()(1Rxnnii西南财经大学天府学院的极大似然估计；是具有单值反函数，的函数设ˆ),(uu,)(1ˆ2122的极大似然估计是例：niiXXn)0(,)(2222uuuu有单值反函数.)(1ˆˆ122的极大似然估计是故niiXXn极大似然估计性质：的极大似然估计。是则)()ˆ(ˆuuu西南财经大学天府学院.05.0}{,),,(~22的极大似然估计量的点未知，求使设AAXPNX}{AXP,645.1A查表有.645.1A所以为的极大似然估计量分别和由前面知2的极大似然估计量为所以A例805.0)(1Aˆ645.1ˆˆA.)(1645.112niiXXnXniiXXnX122)(1ˆ,ˆ解：西南财经大学天府学院二、小结理解最大似然估计法的基本思想会使用最大似然估计法进行参数估计西南财经大学天府学院三、作业P.170：7、10、11