概率论与数理统计课件第七章最大似然估计

1它首先是由德国数学家高斯在1821年提出的,GaussFisher然而，这个方法常归功于英国统计学家费歇(Fisher).费歇在1922年重新发现了这一方法，并首先研究了这种方法的一些性质.§7.2最大似然估计2思想方法一次试验就出现的事件有较大的概率7-173最大似然法的基本思想先看一个简单例子：一只野兔从前方窜过.是谁打中的呢？某位同学与一位猎人一起外出打猎.如果要你推测，你会如何想呢?只听一声枪响，野兔应声倒下.4因为只发一枪便打中,猎人命中的概率一般大于这位同学命中的概率.看来这一枪是猎人射中的.其数学模型为令X为打一枪的中弹数，则X~B(1,p),p未知.设想事先知道p只有两种可能:p=0.9或p=0.1两人中有一人打枪,估计这一枪是谁打的，即估计总体X的参数p的值5当兔子不中弹，即{X=0}发生了现有样本观测值x=1,什么样的参数使该样本值出现的可能性最大呢？若p=0.9，则P{X=1}=0.9若p=0.1，则P{X=1}=0.1若p=0.9，则P{X=0}=0.1若p=0.1，则P{X=0}=0.9当兔子中弹，即{X=1}发生了6引例设总体X服从0-1分布，且P(X=1)=p,用极大似然法求p的估计值。解X的概率分布可以写成1()(1),0,1xxPXxppx设X1,X2,…,Xn为总体X的样本,设x1,x2,…,xn为总体X的样本值,则1122(,,,)nnPXxXxXx11(1)()nniiiixnxppLp0,1,1,2,,ixin7对于不同的p,L(p)不同，见右下图现经过一次试验，0.20.40.60.81p0.0020.0040.0060.0080.01Lp1122(,,,)nnXxXxXx发生了，事件则p的取值应使这个事件发生的概率最大。pˆ8在容许的范围内选择p，使L(p)最大注意到，lnL(p)是L的单调增函数，故若某个p使lnL(p)最大，则这个p必使L(p)最大。7-2011dln0d1nniiiixnxLppp令11ˆniipxxn211222dln0d(1)nniiiixnxLppp所以xpˆ为所求p的估计值.9最大似然估计法的基本思想：根据样本观测值，选择参数p的估计，使得样本在该样本值附近出现的可能性最大ˆp10一离散型随机变量的情况()(;),XPXxpx设若总体属离散型，其分布律的形式为已知，为待估参数，是可能取值的范围。11,,,,nnXXXXX设是来自的样本,则的联合分布律1(;)niipx最大似然估计的求法11的一个样本值；是又设nnXXxx,,,,11发生的概率为：事件的概率，亦即取易知样本},,{,,,,1111nnnnxXxXxxXX11()(;,,)(;),.nniiLLxxpx11,,(),,nnxxLxx注意()是已经观测到的数据，因此是的函数,称之为基于数据()的似然函数，简称为似然函数.121,ˆ()ˆ,nxxL根据最大似然估计的思想：，挑选使似然函数达到最大的参数作为的估固定计值，即取使得：11ˆ(;,,)max(;,,)nnLxxLxx13定义2.1设离散型随机变量X1,X2,...,Xn有联合分布121122(,,,;)(,,,)nnnpxxxPXxXxXx其中是未知参数，给定观测数据x1，x2，...，xn后，称的函数12()(,,,;)nLpxxx为基于x1，x2，...，xn的似然函数(likelihoodfunction)，称的最大值点为的最大似然估计(maximumlikelihoodestimator缩写为MLE)()Lˆ其中也可以是向量12(,,,).m14二连续型随机变量的情况(;),;Xfx若总体属连续型，其概率密度的形式已知，为待估参数的联合密度：则nXX,,11(;)niifx11111,,,,(,,)(,,),,nnnnnxxXXXXxxdxdxn设是相应的一个样本值，则随机点落在的邻域（边长分别为的维立方体）内的概率近似为：1(;)niiifxdx15iidx但不随而变，故只需考虑：11()(;,,)(;),nniiLLxxfx()L称为样本的最大值，这里的似然函数.若11ˆ(;,,)max(;,,)nnLxxLxxˆ取的估计值，使上式概率取到最大值。ˆ.则称为的最大似然估计16定义2.2设随机向量X=(X1,X2,...,Xn)有联合密度12(,,,;)nfxxx其中是未知参数，给定X的观测值x=(x1，x2，...，xn)后，称的函数12()(,,,;)nLfxxx为基于x=(x1，x2，...，xn)的似然函数(likelihoodfunction)，称的最大值点为参数的最大似然估计(MLE)()Lˆ其中也可以是向量12(,,,).m17ln()0.dLd于是的最大似然估计也可从下述方程解得：0,1,,.iLik即可令1,,kk解个方程组求得的最大似然估计值。()ln(()ln()())lLLlL由于与似然函数有相同的最为对大值点，因此称数似然函数。若总体中包含多个未知参数ln0,1,,.iLik或18(4)在最大值点的表达式中,用样本值代入就得参数的极大似然估计值.求最大似然估计(MLE)的一般步骤是：(1)由总体分布导出样本的联合分布列(或联合密度);(2)把样本联合分布列(或联合密度)中自变量看成已知常数,而把参数看作自变量,得到似然函数L();(3)求似然函数的最大值点(常转化为求对数似然函数的最大值点)即的MLE;()Lln()L19未知参数的函数的最大似然估计设总体X的分布类型已知,其概率密度(或概率函数)为f(x;1,…,k),未知参数的已知函数为g(1,…,k).若1ˆˆ,,k分别为1,…,k的最大似然估计,则1kˆˆ(,,)g为g(1,…,k)的最大似然估计.2012112212()(,,,)!!!nnnxxxnLPXxXxXxeeexxx解：X的分布列为例1设X1,X2,…,Xn独立同分布，都服从Poisson分布，给定观测数据x1,x2,…,xn，试求参数的最大似然估计.()P因此似然函数为(),0,1,!xPXxexx21令1()1niidlxndp=011ˆninixxn11()ln()ln()ln(!)nniiiilLxnx对数似然函数为：得的最大似然估计为22例2设X1,X2,…,Xn是取自总体X~B(1,p)的一个样本，求参数p的最大似然估计.11()(1)iinxxiLppp解：似然函数为:niiniixnxpp11)1(11()ln()ln()()ln(1)nniiiilpLpxpnxp对数似然函数为：23对p求导并令其为0，11()11()1nniiiidlpxnxdppp=0p的最大似然估计为11ˆninipXXn24221~(,),.,,,nXNxxX设为未知参数，是来自的例3一个样本值，2,的最求：大似然估计.X的概率解：密度为：22211(;,)exp{()}22fxx似然函数为：222111(,)exp{()}22niiLx25222221(,)ln(,)1ln(2)ln()()222niilLnnx对数似然函数为：200ll令2621222211[]01-()022()niiniixnnx即：212211ˆ1ˆ()ninininixxnxxn解得和的最大似然估计为27例4X服从指数分布,其密度函数为x1，x2，…，xn为观察值.试用最大似然估计法估计.0,(;)0.00,xxefxx其中281expnniiLx1()lnniilnx解：似然函数为对数似然函数为由10niidlnxd1ˆnx得的最大似然估计为29解：似然函数为niixL11)(11)(niinx对数似然函数为1()ln(1)lnniilnx例5设X1,X2,…Xn是取自总体X的一个样本1,01~()0,xxXfx其它求的最大似然估计.其中0,301()lnniidlnxd求导并令其为0=0从中解得1ˆlnniinX即为的MLE.对数似然函数为1()ln(1)lnniilnx31例6设X1,X2,…,Xn是取自总体X~U(a,b)的一个样本，求参数a,b的最大似然估计.解X的密度函数为1,(;,)0,axbfxabba其它似然函数为,1,(,)()1,2,,0,inaxbLabbain其它321ln(,)ln()nLabbaln()nbaln()nbaln(,)0Labnabaln(,)0Labnbba不能求解。33似然函数a越大,b越小,L越大.,1,(,)()1,2,,0,inaxbLabbain其它,,,,,)()1(1bxxabxxann等价于因为(1)()1,,;()(,)0,nnaxbxbaLab其它令x(1)=min{x1,x2,…,xn}x(n)=max{x1,x2,…,xn}34故(1)()ˆˆ,naxbx是a,b的最大似然估计值.则对满足(1)()naxxb的一切a，b,都有()(1)11()()nnnbaxx取(1)()ˆˆ,naxbx35例7设总体X的概率分布为X012P1-2其中01/2为未知参数。今对X进行观测，得如下样本值0，1，2，0，2，1求的最大似然估计。3642()(12)(12)(12)L从而对数似然函数为()4ln2ln(12)l解：似然函数为令()44012dl得1ˆ337三估计量的评选标准对于同一参数，用不同的估计方法求出的估计量可能不相同。问题：采用哪一个估计量好?X1,X2,…,Xn为来自该总体的样本。设总体X~F(x,),其中为未知参数。1ˆ(,,)nXX为的一个估计量。38估计量1ˆ(,,)nxx而当样本(X1,…,Xn)有观测值(y1,…,yn)时，估计值为1ˆ(,,)nyy),,(ˆ1nXX是一个随机变量，当样本(X1,…,Xn)有观测值(x1,…,xn)时，估计值为39由不同的观测结果，就会求得不同的参数估计值.因此评价一个估计量的好坏，不能仅仅依据一次试验的结果来判断，而必须根据估计量的分布从整体上来做评价。当样本值取不同的观测值时，我们希望相应的估计值在未知参数真值附近摆动，而它的均值与未知参数的真值的偏差越小越好.当这种偏差为0时，就导致无偏性这个标准.401．无偏性ˆ()E对任意，有则称为的无偏估计.ˆ1ˆ(,,)nXX设是未知参数的估计量，若411111nnniiiiEXEXEXnn22111niniSXXn例1样本均值与样本方差S2分别是总体均值μ和总体方差σ2的无偏估计量.nX证：2111niniXXn22111niniXnXn2222111