大学课件-概率论之参数估计

第7章参数估计参数的点估计估计量优劣性的评价参数的区间估计参数估计在实际问题中，对于一个总体X往往是仅知其分布的类型，而其中所含的一个或几个参数的值却是未知的，因此只有在确定这些参数后，才能通过其分布来计算概率，如何确定这些参数的数值呢？这就是统计推断中的“参数估计”问题。定义构造一个统计量作定值的估计称为参数的点估计。对参数ˆ§7.1点估计1212ˆ(,,,)ˆ(,,,)nnXXXxxx点估计量点估计点估计值矩估计的想法来源于大数定理。如果总体X存在k阶矩，对任意有011lim0nkKiniPXEXn这说明，当样本容量较大时，样本k阶原点矩与总体k阶原点矩差别很小。7.1.1、矩法估计（1）列出估计式。步骤为:12.,,,,XmXFm设总体的前阶矩112221212(),,,(),,,(),,,mmmmmEXgEXgEXg2112222(),(),,(),(),(),,(),(),(),,(),mmmmmEXEXEXEXEXEXEXEXEX（2）求解关于估计量的方程组。即解方程得组1112221212ˆ,,,,ˆ,,,,ˆ,,,,mmmmmMMMMMMMMM11nkkiikMXknk用样本的阶原点矩代替总体的阶原点矩，得的矩估计为：（3）求出矩估计。解12(X),VarEX设，按照上述矩估计例1()XEXVarX求总体的期望和方差的矩估计122221()()()EXEXVarXEX（1）列出估计式。1222()()(())EXEXEX解上述方程得：（2）求解关于估计量的方程组。12MM用样本矩、分别代替总体的矩，得的矩估计为：和21（3）求出矩估计。1122222112212ˆ1ˆ1,()VarniinininMXMMXXEXXXnXSnSX即注意：只要总体的期望和方差存在，此结果对任何总体均适用。解例2,XUab，总体求a，b的矩估计。2ˆ3,ˆ,-()212()3,3.()3.MnMnXUabbaabEXVarXaEXVarXbEaXSbXSXVarX，例3,,,0.2xXfxex总体的分布密度为求的矩估计。解0)0,)21.21,1ˆMxxxEXxedxEXEXxedxxedxXEX(=(与无关=还可由222202212.222ˆ,xxMniiEXxedxxedxnEXX=7.1.2、最大似然估计法最大似然估计法是求估计的另一种方法。它最早由高斯（C.F.Gauss）提出，后来被费歇（R.A.Fisher）完善。最大似然估计这一名称也是费歇给的。这是一个目前仍得到广泛应用的方法。它是建立在最大似然原理基础上的一个统计方法。最大似然原理：最先出现的是概率最大的1212,,,,ˆ,,,ˆnnXfxxxxXxxxL总体的概率函数为为未知参数。是取自总体的一个样本观测值，如＝时，被取到的概率最大，即使似然函数取到极大值。则称定义最大为的似然估计。.,,,,121nxxxL、求似然函数具体步骤：12,1,2,,,,,,,iinPXxpxinxxx其分布律为未知对给定的样本观察值令niinxpxxxL121,,,,,1)总体为离散型分布。未知。，密度函数为,xf12,,,nLxxx似然函数，称为，反映了样本观察值被函数取到的概率。niinxfxxxL121,,,,，2)总体为连续型分布。12,,,nxxx对给定的样本观察值，令ˆ0LdLd若似然函数是的可微函数，则极大值点必然满足方程。的最大值点，、求ˆ,,,221nxxxL似然方程。的极大值点，经过检验即得解出ˆL的极大似然估计。就是ˆlnln0ˆLxxdLd对数似因为为乘积形式，是的单调函数，所以由求解比前式要然方程方便得多。mnmxxxLLm,,,,,,,,,,212121其似然函数为，个未知参数一般地，设总体含有方程组其极大值点由对数似然12,,,m为未知参数的最大似然估计。就分别，其惟一解解得。在通常的情况下mˆ,,ˆ,ˆ210ln0ln1mLL例41,10pPXpPX其中。01XX离散型随机变量服从分布，从中抽得容1212,,,,,,,nnnXXXxxx量为的样本的一组观察值0,1;1,2,,ixinp，求参数的最大似然估计，111111,0,1,11nniiiiiixxnxxnxxiiXPXxppxpLxppppp解的分布律为的似然函数为01ln1lnln,ln1pynpydpLdpynpypxLxyinii由对数似然方程，得：令niixxnnyp11解得p因为这是惟一的解，所以的最大似然估计值为xpLˆ从而得p的最大似然估计量为：ˆLpX12Lˆ~,X,nXExpxxx，，是的一组样本观测值求。例51L11110lnln,0,,1ˆniixninniiiiniiniixXLedLnXXnLnxxdnx当时，的似然函数为＝解P{}0,1,2,!keXkkk设例6(泊松分布)的极大似然估计。是一未知参数，求其中012,nxxxX设，是的一组样本观测值。1111,!!!!ninixxxninnLxeeexxxx似然函数为解11122ˆlnlnln(!)ln10ˆln0,ˆnniiiiniixLLnxxnxLXLx且。求的一组样本观测值是，，L21,X,],0[~nxxxUX例7L,110,max{}maxma{}x{}nniiiiiiiLdLnLdxxxLx当=，取最大＝值,单调减解X的似然函数为:另外，由于(),2()2ˆ2MEXEXX从而得的矩法估计量为X设总体服从正态分布，其密度函数为例822212221,,xexf的极大似然估计。，，求未知参数，记21221niiixnnnixnneexxxL12122122122212122121221,,,,,似然函数为解niixnnL1212221ln22ln2ln上式两边取对数得的极大似然估计值。这就是由此求得惟一解对数似然方程组为2211221112122221121,110212ln01lnniiniiniiniixxnxxnxnLxLxLˆniiLxxn1221ˆ即相应的极大似然估计量为：ˆLX2211ˆnLiiXXn1P{}(1)1,2,kXkppk设例9(几何分布)。求的一组样本观测值是，L21,,pxxxn))(1ln(lnln11,1111nxppnLpppppxLniininxnxiniii似然函数为解11ln110,1niiniixnLnppppxxnp因为这是惟一的解，所以的极大似然估计值为xpL1ˆ7.1.3、顺序统计量估计总体是连续型随机变量且分布密度对称时，总体中位数就是均值。此时可用样本中位数估计总体均值，用样本极差估计总体标准差。ˆ()XnEXXVarXR点估计的方法：一、矩估计法（也称数字特征法）直观意义比较明显，但要求总体k阶矩存在。二、极大似然估计法。具有一些理论上的优点，但要求似然函数可微。三、顺序统计量法使用起来方便，无需多大计算，但准确度不高。1212121212X,,,,,,,,,,,,,lim,,,,,,,XnnnnnnFgTXXXETXXXgTXXXgETXXXgTXXXg设总体为的函数，为一统计量。如果则称定义7.2.为的。如果则称为无偏估计量渐进无偏1的估计量。§7.2估计量优劣性的评价12,,,nTXXX具有无偏性的意义是：12,,,()nTXXXgg虽然取值由于随机性而偏离的真值，但取其平均数数学期望却等于的真值，即没有系统偏差。21222()Var()nnXEXXXXXXXS设总体的分布是任意的，其数学期望（）记为与方差记为存在，，，，是的样本，问用样本均值与样本方差分别作为与的估计是否具有例1无偏性？22*221nnEnESnES由前知解*2222*222*2.nnnnnXSSSnSS这说明是的无偏估计是的无偏估计。但不是的无偏估计。因此，一般用作为的估计，但在很大时，与相差不大，这时二者就不加以区别了。21221121112,,,,,1ˆ,1ˆˆ2nnniiiiiinnniiiiiiiiXEXVarXXXXXCXCCnEECXCEXC设总体有（）是的样本，求证：其中为的无偏例证：估计。（）（）即得是的无偏估计。例30,,ˆˆ2,.MLnXXUX设总体试问这两个估计量是否为无偏估计量？解122ˆ2[()()()]2.2ˆMnMEEXEXEXEXnnn…是的无偏估计量。100()0110()0nnXnXxxFxxxxxnfxother的分布函数是得101ˆ1ˆ1ˆˆ=11ˆˆˆ(),ˆnLnLLLLxnEEXnxdxnnnnnEEEnn不是的无偏估计量，只是的渐进无偏估计量。令,是的无偏估计。下面计算它们的方差:122222ˆVar=Var24VarVarVar412.3MnXXXXnnnn22222122201ˆVarVar1111nnnnnXnnEXEXnnxnxndxnnVarVar22222112(2)1,ˆˆMnnnnnnnnn只要就有由于方差是度量随机变量X落在它的均值E(X)的邻域内的集中或分散程度的。所以一个好的估计量，不仅应该是待估参数θ的无偏估计，而且应该有尽可能小的方差。VarVar1122121211221211122,,,,,,,,,,,,()()nnnnTXXXTXXXgTT