概率-第七章矩估计极大似然估计剖析

第七章参数估计在数理统计学中，总体的分布是未知的。它包括两种情形：1）总体分布的类型是已知的，但其中包含未知参数。我们的任务就是通过样本来估计这些未知参数。这就是参数估计问题。2）总体分布的类型是未知的。我们的任务就是通过样本来估计总体的分布。这就是非参数估计问题。我们这里只讨论参数估计问题。引言退出前一页后一页目录例：．未知，的指数分布，其中参数是服从参数为设总体0X而估计总体的分布．的取值，从，来估计我们的任务是根据样本．这是一个参数估计问题第七章参数估计的一个样本，是总体XXXn,,1引言退出前一页后一页目录第七章参数估计§1点估计§2估计量的评选标准§3区间估计退出前一页后一页目录第七章参数估计§1点估计•点估计•矩估计法•极大似然估计法退出前一页后一页目录第七章参数估计§1点估计估参数。是待的形式为已知，的分布函数设总体);(xFX应的样本值。是相的一个样本，是nnxxXXX,,,,11。来估计未知参数值，用它的观察构造一个适当的统计量),,(ˆ),,(ˆ11nnxxXX的估计量；为我们称)X,,X(ˆn1的估计值。为称)x,,x(ˆn1一、点估计问题计问题。值估计的问题就是点估这种对未知参数进行定退出前一页后一页目录第七章参数估计质的不同：估计量与估计值有着本⑴；或多维）（一维它是随机变量估计量是统计量，因而维数组．而估计值则是一维或多的估计．与估计值为未知参数，我们统称估计量在不引起混淆的情况下⑵注意：§1点估计退出前一页后一页目录第七章参数估计二、矩估计法概率密度为为连续型随机变量，其设X,,,1是待估参数其中kklEXll,,2,1,存在设nililXnA11其中,,,,klAll1令分布列为为离散型随机变量，其X.,,,),,,(klkll211则§1点估计),,,;(1kxf),,,;(}{1kxpxXP.,,1的样本为来自XXXn退出前一页后一页目录kkkkkAAA，，，，，，，，，2121222111nkknnXXXXXXXXX，，，，，，，，，2121222111ˆˆˆˆˆˆ的联立方程组，，，个未知参数这是包含kk1第七章参数估计即，，记为从中解出方程组的解,ˆˆ,1k§1点估计退出前一页后一页目录第七章参数估计的估计量，，，分别作为，，用kk11ˆˆ这种估计量称为矩估计量；矩估计量的观察值称为矩估计值。矩法原理：由辛钦大数定律知nililXnA11P,l.,,2,1kl.,,,,llllAklA估计用所以我们令1§1点估计.为矩估计法这种求估计量的方法称退出前一页后一页目录第七章参数估计§1点估计矩法求估计量的步骤：);()1221EXEX求);()22211AA令)).,,(ˆˆ(),,(ˆˆ)3122111nnXXXX解上面方程（组），得退出前一页后一页目录第七章参数估计例1设某炸药厂一天中发生着火现象的次数X服从（用矩法）。试估计参数未知，有以下样本值；的泊松分布，参数为250126225490756543210knkk次着火天数发生着火的次数解：,X令ˆx则。所以估计值22.1ˆ§1点估计22.1)16901750(2501niiXXnA111,1EX退出前一页后一页目录第七章参数估计,,,,,],,[~1是一个样本未知设总体nXXbabaUX的矩估计量。求：ba,,21baEX2ba令4)(12)(22baab22EX2)(EXDX4)(12)(22baab例2§1点估计解：1A2A,21Aba即)(12212AAab退出前一页后一页目录第七章参数估计)(12,22121AAabAba即)(3ˆ2121AAAa)(3ˆ2121AAAb解得：§1点估计)(312niiXXnXniiXXnX12)(3212AA)(1212XnXnniiniiXXn12)(12121XXnnii例2（续）退出前一页后一页目录第七章参数估计是一个样本；未知，又设，但都存在，且，方差的均值设总体nXXX,,,01222的矩估计量。求：2,解：,,2211AA令,,2221AA即,ˆ1XA所以2122ˆAA22EX222)(EXDX2121XXnnii21)(1XXnnii例3§1点估计,1EX退出前一页后一页目录第七章参数估计未知；特别，若22,),,N(~XniiXXnX122)(1ˆ,ˆ则§1点估计的矩估计．个样本，试求参数是从该总体中抽取的一未知，的指数分布，其中服从参数为设总体nXXXX,,,021的密度函数为总体X.0,0,0,xxexfx解：例4退出前一页后一页目录第七章参数估计§1点估计dxxxfEX所以，0dxexx1令的矩估计量为得参数．X1ˆ,1X退出前一页后一页目录第七章参数估计§1点估计的密度函数为设总体X.,0,10,1其它xxxf的矩估计．为未知参数，试求参数其中0解：dxxxfEX101dxxx21令21X的矩估计量为由此得例5.112ˆXX退出前一页后一页目录2.最大似然估计法属离散型设总体X)1(,,),;(}{为待估参数设分布律xpkXP,,,,21的样本是来自总体XXXXn.);(,,,121niinxpXXX的联合分布律为则似然函数的定义)(可能的取值范围是其中,,,,,,,2121的概率取到观察值则样本nnxxxXXX发生的概率为即事件nnxXxXxX,,,2211,),;();,,,()(121niinxpxxxLL.)(称为样本似然函数L.,,,,,,2121一个样本值的为相应于样本又设nnXXXxxx最大似然估计法)(,,,,21Lxxxn选取使似然函数时得到样本值,ˆ的估计值作为未知参数取得最大值的).;,,,(max)ˆ;,,,(2121nnxxxLxxxL即)(可能的取值范围是其中),,,,(ˆ,,,,ˆ2121nnxxxxxx记为有关与样本值这样得到的),,,(ˆ21nXXX,的最大似然估计值参数.的最大似然估计量参数属连续型设总体X)2(,,),;(为待估参数设概率密度为xf,,,,21的样本是来自总体XXXXn.);(,,,121niinxfXXX的联合密度为则似然函数的定义)(可能的取值范围是其中.,,,,,,2121一个样本值的为相应于样本又设nnXXXxxx概率近似地为的内维立方体的边长分别为邻域的落在点则随机点)d,,d,d(),,,(),,,(212121nxxxxxxXXXnnn,d);(1iniixxf),;();,,,()(121niinxfxxxLL.)(称为样本的似然函数L).;,,,(max)ˆ;,,,(2121nnxxxLxxxL若),,,(ˆ21nxxx),,,(ˆ21nXXX,的最大似然估计值参数.的最大似然估计量参数求最大似然估计量的步骤:;);();,,,()();();,,,()()(121121niinniinxfxxxLLxpxxxLL或写出似然函数一;);(ln)(ln);(ln)(ln)(11niiniixfLxpL或取对数二费舍尔最大似然估计法是由费舍尔引进的..ˆ,0d)(lnd,d)(lnd)(的最大似然估计值解方程即得未知参数并令求导对三LL最大似然估计法也适用于分布中含有多个未知参数的情况.此时只需令.,,2,1,0lnkiLi.ˆ),,2,1(,iikik的最大似然估计值数即可得各未知参个方程组成的方程组解出由对数似然方程组对数似然方程说明：若似然方程（组）无解，或似然函数不可导，此法失效，改用其它方法..,,,,),,1(~21的最大似然估计量求个样本的一是来自设pXXXXpBXn,,,,,,,2121一个样本值的为相应于样本设nnXXXxxx解,1,0,)1(}{1xppxXPXxx的分布律为似然函数iixnixpppL11)1()(,)1(11niiniixnxpp例7),1ln(ln)(ln11pxnpxpLniinii,01)(lndd11pxnpxpLpniinii令的最大似然估计值解得p.11xxnpnii的最大似然估计量为p.1ˆ1XXnpnii这一估计量与矩估计量是相同的..,,,,,0)(21似然估计量的最大求的一个样本是来自的泊松分布服从参数为设XXXXXn解的分布律为因为X),,2,1,0(,e!}{nxxxXPxniixxLi1e!)(,!e11niixnxnii的似然函数为所以例8,0)(lndd1niixnL令的最大似然估计值解得,11xxnnii的最大似然估计量为.1ˆ1XXnnii这一估计量与矩估计量是相同的.niiniixxnL11),!ln()(ln)(ln解：似然函数为.,0n,,2,1,i),1,0(,)(11其他iniixxL例5：设X1,X2,…,Xn是抽自总体X的一个样本，X有如下概率密度函数.,0,10,),(1其他xxxf其中θ0为未知常数。求θ的极大似然估计。也可写成,ln)1(ln)(ln1niixnL.,01,}{max}{min0,)(1111其他iniininiinxxxL对数似然函数为时，当1}{max}{min011iniinixx求导并令其导数等于零，得.0ln)(ln1niixndLd解上述方程，得.ln1niixn的极大似然估计。为所以，lnˆ1niiXn.,,,,,,),,(~22122的最大似然估计量和求的一个样本值是来自为未知参数设总体XxxxNXn解的概率密度为X,eπ21),;(222)(2xxfX的似然函数为,eπ21),(222)(12ixniL例9,)(21ln2)π2ln(2),(ln12222niixnnL,0),(ln,0),(ln222LL令,0112niinx,0)()(21212222niixn解得由0112niinx,1ˆ1xxnnii解得由0)()(21212222niixn,)(1ˆ212xxnnii为的最大似然估计量分别和故2,ˆX.)(1ˆ212XXnnii它们与相应的矩估计量相同.最大似然估计的性质.)()ˆ(ˆ,)();(ˆ),(,)(的最大似然估计是则估计的最大似然中的参数形