ch7.2 极大似然估计

第七章第二节极大似然估计极大似然法是在总体类型已知条件下使用的一种参数估计方法.它首先是由德国数学家高斯在1821年提出的,GaussFisher然而，这个方法常归功于英国统计学家费歇.费歇在1922年重新发现了这一方法，并首先研究了这种方法的一些性质.极大似然法的基本思想先看一个简单例子：一只野兔从前方窜过.是谁打中的呢？某位同学与一位猎人一起外出打猎.如果要你推测，你会如何想呢?只听一声枪响，野兔应声倒下.你就会想，只发一枪便打中,猎人命中的概率一般大于这位同学命中的概率.看来这一枪是猎人射中的.这个例子所作的推断已经体现了极大似然法的基本思想.极大似然估计原理：当给定样本X1,X2,…Xn时，定义似然函数为：设X1,X2,…Xn是取自总体X的一个样本，样本的联合密度(连续型）或联合概率函数(离散型)为f(X1,X2,…Xn;).f(X1,X2,…Xn;)似然函数：极大似然估计法就是用使达到最大值的去估计.称为的极大似然估计（MLE）.看作参数的函数，它可作为将以多大可能产生样本值X1,X2,…Xn的一种度量.f(X1,X2,…Xn;)(4)在最大值点的表达式中,用样本值代入就得参数的极大似然估计值.求极大似然估计(MLE)的一般步骤是：(1)由总体分布导出样本的联合概率函数(或联合密度);(2)把样本联合概率函数(或联合密度)中自变量看成已知常数,而把参数看作自变量,得到似然函数L();(3)求似然函数L()的最大值点(常常转化为求lnL()的最大值点)，即的MLE;两点说明：1、求似然函数L()的最大值点，可以应用微积分中的技巧。由于ln(x)是x的增函数，lnL()与L()在的同一值处达到它的最大值，假定是一实数，且lnL()是的一个可微函数。通过求解所谓“似然方程”：可以得到的MLE.若是向量，上述方程必须用似然方程组代替.2、用上述求导方法求参数的MLE有时行不通，这时要用极大似然原则来求.两点说明：下面举例说明如何求极大似然估计L(p)=f(X1,X2,…Xn;p)例1设X1,X2,…Xn是取自总体X~B(1,p)的一个样本，求参数p的极大似然估计.解：似然函数为:对数似然函数为：对p求导并令其为0，=0得即为p的MLE.正态总体N(,2)两个未知参数和2的极大似然估计.(注:我们把2看作一个参数)解:例2似然方程组为根据第一式,就得到:代入第二式,就得到:由上,似然方程组的解唯一.下面验证它是极大值点.是L(,2)的最大值点.∴和2的极大似然估计量是总体泊松分布X∼P().求:参数的极大似然估计.解:例3似然方程为是logL()的最大值点.∴的极大似然估计量是总体均匀分布X∼U(a,b).求:两个参数a,b的极大似然估计解:例4我们由上看到,L(a,b)作为a和b的二元函数是不连续的.所以我们不能用似然方程组来求极大似然估计,而必须从极大似然估计的定义出发,求L(a,b)的最大值.为使L(a,b)达到最大,b－a应该尽量地小.但b又不能小于max{x1,x2,,xn}.否则,L(a,b)=0.类似地a不能大过min{x1,x2,,xn}.因此,a和b的极大似然估计为解：似然函数为对数似然函数为例5设X1,X2,…Xn是取自总体X的一个样本求的极大似然估计.其中0,求导并令其为0=0从中解得即为的MLE.对数似然函数为解：似然函数为例6设X1,X2,…Xn是取自总体X的一个样本其中0,求的极大似然估计.i=1,2,…,n对数似然函数为解：似然函数为i=1,2,…,n=0(2)由(1)得=0(1)对分别求偏导并令其为0,对数似然函数为用求导方法无法最终确定用极大似然原则来求.是对故使达到最大的即的MLE，于是取其它值时，即为的MLE.且是的增函数由于