参数估计点

参数估计两种总体分布未知的情形总体分布的形式是已知的，但其中包含未知参数。我们的任务是通过样本来估计这些未知参数－参数估计问题总体分布的形式是未知的。我们的任务是通过样本来估计总体的分布－非参数估计问题。本课程只讨论参数估计问题。．未知，的指数分布，其中参数是服从参数为设总体0X而估计总体的分布．的取值，从，来估计我们的任务是根据样本．这是一个参数估计问题的一个样本，是总体XXXn,,1参数估计点估计区间估计估计量的评选标准估参数。是待的形式为已知，的分布函数设总体);(xFX应的样本值。是相的一个样本，是nnxxXXX,,,,11。来估计未知参数值，用它的观察构造一个适当的统计量),,(ˆ),,(ˆ11nnxxXX；估计量的为我们称),,(ˆ1nXX。估计值的为称),,(ˆ1nxx什么是点估计对未知参数进行定值估计的方法称为点估计随机变量数组点估计•矩估计•极大似然估计矩估计法概率密度为为连续型随机变量，其设X,,,1是待估参数其中kklEXll,,2,1,存在设分布律为为离散型随机变量，其X.,,,),,,(klkll211则),,,;(1kxf),,,;(}{1kxPxXP.,,1的样本为来自XXXn总体的阶矩l由辛钦大数定律知nililXnA11P,l.,,2,1kl.,,,1,,llllAklA估计用令所以矩估计的原理nililXnA11样本的阶矩lkkkkkAAA，，，，，，，，，2121222111nkknnXXXXXXXXX，，，，，，，，，2121222111ˆˆˆˆˆˆ的联立方程组，，，个未知参数这是包含kk1即，，记为从中解出方程组的解,ˆˆ,1k的估计量，，分别作为，，用kk11ˆˆ例1设某炸药厂一天中发生着火现象的次数X服从（用矩法）。试估计参数未知，有以下样本值；的泊松分布，参数为250126225490756543210knkk次着火天数发生着火的次数,X令ˆx则。所以估计值22.1ˆ22.1)16901750(2501niiXXnA111,1EX样本容量为250,,,,,],,[~1是一个样本未知设总体nXXbabaUX的矩估计量。求：ba,,21baEX2ba令4)(12)(22baab22EX2)(EXDX4)(12)(22baab例2解：1A2A,21Aba即)(12212AAab)(12,22121AAabAba即)(3ˆ2121AAAa)(3ˆ2121AAAb解得：)(312niiXXnXniiXXnX12)(3212AA)(1212XnXnniiniiXXn12)(12121XXnnii是一个样本；未知，又设，但都存在，且，方差的均值设总体nXXX,,,01222的矩估计量。求：2,解：,,2211AA令,,2221AA即,ˆ1XA所以2122ˆAA22EX222)(EXDX2121XXnnii21)(1XXnnii例3,1EX总体均值与方差的矩估计量的表达式与总体分布形式无关！未知；特别，若22,),,N(~XniiXXnX122)(1ˆ,ˆ则解：例4的矩估计．个样本，试求参数是从该总体中抽取的一未知，的指数分布，其中服从参数为设总体nXXXX,,,021．X1ˆ极大似然估计极大似然思想有两个射手，一人的命中率为0.9,另一人的命中率为0.1,现在他们中的一个向目标射击了一发，结果命中了，估计是谁射击的？一般说，事件A发生的概率与参数有关，取值不同，则P(A)也不同。因而应记事件A发生的概率为P(A|).若A发生了，则认为此时的值应是在中使P(A|)达到最大的那一个。这就是极大似然思想属离散型，其分布律若总体X)1niixp1);(),;(}{xpxXP可能取值的范围。是为待估参数，的形式为已知，的联合分布律：则的样本是来自设nnXXXXX,,,,,11的概率为取易知样本nnxxXX,,,,11,,,,,11的一个样本值是又设nnXXxx);,,()(1nxxLL.,);(1niixp);,,()(1nxxLL.,);(1niixp有关观察值的概率与取易知样本nnxxXX,,,,111111);,,()(pxxLLn若2212);,,()(pxxLLn3313);,,()(pxxLLn123个不同的估计值的是未知参数3321ppp选哪个估计值比较合理);,,()(1nxxLL.)(.称为样本的似然函数的函数它是L使得：的估计值，即取，作为的参数达到最大挑选使概率固定ˆˆ);,,(,,,11nnxxLxx极大似然法原理：);,,(max)ˆ;,,(11nnxxLxxL);,,(ˆ,,ˆ11nnxxxx有关，记为与。极大似然估计值的称其为参数.,);(1niixp.),;()2为待估参数的形式已知，属连续型，其概率密度若总体xfX的联合密度：则nXX,,1niixf1);(似为：维立方体）内的概率近的别为的邻域（边长分落在机点的一个样本值，则随是相应设ndxdxxxXXXXxxnnnnn,,),,(),,(,,,,11111);(1iniidxxfix)(ixf应当选取使得的前提下，自然，，，在得到观测值nxxx21的估计值．值作为未知参数达到最大的);(1iniidxxf大．样本观测值的可能性最定的那个等于这个值时，出现给因为当未知参数而变，故只需考虑：不随但iidx,);();,,()(11niinxfxxLL。似然函数称为样本的的最大值，这里)(L);,,(max)ˆ;,,(11nnxxLxxL若。极大似然估计值的为则称),,(ˆ1nxx。极大似然估计量的为称),,(ˆ1nXX);(),;(可由下式求得：可微，故关于一般，xfxp0)(ddL也可从下述方程解得：大似然估计的极处取到极值，因此在同一与又因)(ln)(LL0)(lnLdd-----对数似然方程-----似然方程-----似然方程个参数，若总体的分布中包含多kiLi,,1,0即可令的极大似然估计值。个方程组求得解kk,,1的极大似然估计量。即可得k,,1kiLi,,1,0ln或-----对数似然方程组-----似然方程组极大似然法求估计量的步骤：(一般情况下):)()1L构造似然函数,()()(1niixPL离散型）niixfL1;()()(连续型）);(ln)2L取对数：;0ln)3dLd令.ˆ)4的极大似然估计量解似然方程得说明：若似然方程（组）无解，或似然函数不可导，此法失效，改用其它方法。的一个样本，是来自设XXXpBXn,,);,1(~1试求参数p的极大似然估计量。解：;1,0,)1(}{1xppxXPxx故似然函数为nixxiipppL11)1()()(lnpL而例4,)1(11niiniixnxpp).1ln()(ln)(11pxnpxniinii的分布律为：是一个样本值。设Xxxn,,1,()()(1niixPL离散型）的极大似然估计值解得p的极大似然估计量为p-------它与矩估计量是相同的。即令,0)(lnpLdpdxxnpnii11ˆXXnpnii11ˆ)1ln()(ln)()(ln11pxnpxpLniinii.0111pxnpxniinii例4（续）的一个样本值，是来自为未知参数，设XxxNXn,,,);,(~122.,2的极大似然估计量求})(21exp{21),;(222xxf似然函数为：niixL1222})(21exp{21),(Lln§1点估计例5)ln(22nniix122)(21)2ln(2n2122)(22)2(niixne的概率密度为：XniixfL1;()()(连续型）0ln0ln2LL令,1ˆ1xxnnii解得：:,2的极大似然估计量为故)2ln(2lnnL)ln(22nniix122)(21即：.)(1ˆ1ˆ1221niiniiXXnXXn0)(112niix0)(212-2142niixnniixxn122)(1ˆ例4（续）是一个样本值，未知，设nxxbabaUX,,,];,[~1的极大似然估计量。求：ba,X的概率密度为：其它,0;,1),;(bxaabbaxfnabbaL)(1,),ln(,lnabnbaLnibxai，，，，21;0,lnabnbaLa例6似然函数为,0,lnabnbaLb但这不能说明不存在极大似然估计量，只是不能由似然方程组求解。显然，似然方程组无解，niixfL1;()()(连续型）其它,0;,)(1),()()1(bxxaabbaLnn有的任意对于满足babxxan,)()1(nnnxxabbaL)(1)(1),()1()(按从小到大顺序排列成将nxx,,1,)()2()1(nxxx则使得似然函数取最大值，可能取值的范围中找到从baba,,时，在即：)()1(,),(nxbxabaL的极大似然估计值为：故ba,,maxˆ,minˆ)()1(inixxbxxa的极大似然估计量为：故ba,.maxˆ,minˆiiXbXannxx)(1)1()(取最大值例6（续）的极大似然估计；是具有单值反函数，的函数设ˆ),(uu,)(1ˆ2122的极大似然估计是例：niiXXn)0(,)(2222uuuu有单值反函数.)(1ˆˆ122的极大似然估计是故niiXXn极大似然估计性质的极大似然估计。是则)()ˆ(ˆuuu.05.0}{,),,(~22的极大似然估计量的点未知，求使设AAXPNX}{AXP,645.1A查表有.645.1A所以为的极大似然估计量分别和由前面知2的极大似然估计量为所以A05.0)(1Aˆ645.1ˆˆA.)(1645.112niiXXnXniiXXnX122)(1ˆ,ˆ解：估计量的的评选标准无偏性有效性一致性对一个未知参数的估计量有多个，哪个比较好呢？,ˆ),,(ˆˆ1EXXn且的数学期望存在，若的无偏估计量。是则称ˆ无偏性例1的样本，是总体),(~,,21NXXXn.,2均未知.ˆ的无偏估计量是所以X.)(11ˆ21222的无偏估计量是所以niiXXnS,XE因为,22ES而niiXXnB1221考察由