概率论与数理统计(浙大版)第七章第八章课件

第七章参数估计关键词：矩估计法极大似然估计法置信区间置信度﹜点估计﹜区间估计222222,1;,2,,xXXfxex参数估计是统计推断的基本问题之一，实际工作中碰到的总体它的分布类型往往是知道的，只是不知道其中的某些参数，例如：产品的质量指标服从正态分布，其概率密度为：但参数的值未知，要求估计，有时还希望以一定的可靠性来估计值是在某个范围内或者不低于某个数。参数估计问题就是要求问题的提出：通过样本估计总体分布所包含的未知参数的值。参数估计的两种方法：点估计法和区间估计法§1参数的点估计1212,,,1,2,,ˆ,,,niiiniXXXikXXXi点估计的问题就是根据样本，对每一个未知参数，构造出一个统计量，作为参数的估计，称为。的估计量点估计有两种方法：矩估计法和极大似然估计法一.矩估计法矩思想:利用样本矩作为相应总体矩的估计量nikiXn11估计kXE)(n,,,,),,;(~11未知总体kkxfX矩估计法:121212121;,,,,,,,,,,1,2,,,,,,,11,2,,,,,1121,,,212kkkvvknnvviiXFxXkEXEXvkXXXXvAXvkkAknA设总体的分布函数为是待估计的未知参数，假定总体的阶原点矩存在，则有：对于样用样本矩作为总体矩的估计，即本其阶样本：矩是：令12122,ˆ,,,,,,,,12kkAkkk解此方程即得的一个矩估计量一矩估计法：1210,,,,,nXXXXX2222例：设总体的均值和方差都存在，且，均未知，是取自的一个样本，试求的矩估计。112221ˆ1ˆ()niiXAAXXn2令解：先求总体矩：22212,EXEXDXEX22121111,nniiiiAXXAXnn再求样本矩：11220100,,nXxxfxXXXX例：设总体的密度为：为未知参数，其他，为取自的样本，求的矩估计。EXxfxdx解：110xdx1XEXX令2ˆ1XX二、极大似然估计法极大似然估计法是在总体的分布类型已知的条件下所使用的一种参数估计方法.它首先是由德国数学家高斯在1821年提出的.GaussFisher然而，这个方法常归功于英国统计学家费歇.费歇在1922年重新发现了这一方法，并首先研究了这种方法的一些性质.极大似然原理：一个随机试验有若干个可能结果A,B,C,…。若在一次试验中，结果A发生，则一般认为试验条件对A最有利，即A发生的概率最大)/(AP条件?,,11,991,199,问最有可能从何箱取已知取到红球球箱从中任取任取黑红乙黑红甲如0.99)/(甲红球P0.01)/(乙红球P自然，认为从甲箱取更合理极大似然估计法：又如，兔龟赛跑，得第一名的最有可能是谁？（1）X---离散型，已知X的分布未知),,()(xpxXP样本取到观测值),,,(21nXXX),,,(21nxxx事件A),,,()(2211nnxXxXxXPAP)()()(2211nnxXPxXPxXP独立Xi与X同分布niinxpxpxpxp121),(),(),(),()()()(21nxXPxXPxXP对给定的样本值niixp1),(),,...,,(21nxxxniixpL1);()(即是参数的函数，称为似然函数，记做).(L),(ixp),(xp改ni,,2,1结构：n项连乘，总体分布)(L,),()(变而变随LAPA已经发生，由极大似然原理，达到最大，所以的最合理估计值应满足：ˆ为最大值)ˆ(L定义对给定的样本值，若nxxx,,,21满足),,,(ˆ21nxxx)(max)ˆ(LL的极大似然估计量为的极大似然估计值为称),,,(ˆ),,,(ˆ:2121nnXXXxxx如何求？即求的最大值点问题ˆ)(L方法一:若为可导函数)(L),,,(ˆˆ,)(nXXXddL210得到解方程回忆：(1)单调性相同，从而最大值点相同.)](ln[,0)(xfxfniixpL1);()()2(n项连乘,求导麻烦)](ln[Ln项相加，求导简单方法二：ˆ,0)](ln[得到解方程dLd从而，的最大值点最大值点就转为求求的)](ln[)(LL对数似然函数),(),(),(21nxfxfxfniixf1),(（2）连续型总体似然函数的求法设X为连续型总体，其概率密度为：)()()(2121nXXXxfxfxfn),,,(21nxxxf对来自总体的样本，其观测值为，作为与总体X同分布且相互独立的n维随机变量，样本的联合概率密度为:),,,(21nxxx),,,(21nXXX);(xf其中未知于是，样本落入点),,,(21nXXX),,,(21nxxx邻域内的概率为，由极大似然原理，最合理的的估计值应该是使iniixxf1),(ˆiniixxf1),(达到最大，由于是不依赖于ix的增量，所以我们只需求使似然函数niixfL1),()(达到最大求的步骤：ˆˆ,0)](ln[)3()(ln)2()()1(得到解方程取对数写出dLdLL例1:设总体X的分布律为：0p1,p未知,求参数p的极大似然估计量.X01pk1-pp解:总体X的分布律为：.1,0,)1(}{1xppxXPxx设(X1,X2,…,Xn)是来自总体X的样本。似然函数为：iiXniXpp11)1(niiniiXnXpp11)1()1ln()(ln)()(ln11pxnpxpLniinii0)(111)(ln11niiniixnpxppLdpdniipXPpL1),()(解得p的极大似然估计量为：niixnp11ˆniiXnp11ˆ说明：p的极大似然估计值为：解：θ的似然函数为：niiniiXXfL111);()(121)(nnXXX)10(iX取对数niiXnL1ln)1(ln)(lnni1例2:设(X1,X2,…Xn)是来自总体X的一个样本,,0,,010,);(~1未知其中其它xxxfX求θ的极大似然估计量．01niiXndLdln)(ln求导并令其为0从中解得,ln1niiXn即为θ的极大似然估计量。推广：未知kkxfX,,),,,;(~11),,;(),,(111kniikxfLkkLLˆ,,ˆ0ln0ln11得到解方程例3:,0,),,(~2未知其中NX的极大似然估计量．给定一组样本,求),,,(21nXXX2,222)(1221),(ixnieLniixnne122)(21222)()2(解niixnnL12222)(21)ln(2)2ln(2),(ln0)(212ln0)(221ln1242212niiniixnLxLniiXXnX122)(1ˆ,ˆ解得26120,0,,,nXxxx例4：设总体服从上的均匀分布，未知，试由样本求出的极大似然估计和矩估计。1极解：大似然估计10;0xXfx因的概率密度为：其它1210,,,0nnxxxL故参数的似然函数为：其它ˆ0,Ldlnnd由于不能用微分法求ˆ:L从义发以下定出求120,,,,innxxmaxxxx因为故的取值范围最小为1ˆLnnnLxLxL又对的是减函数，越小，越大，故时，最大；012EXxdxX由2矩估计12ˆ,,,LnnXmaxxxx所以的极大似然估计量为ˆ2X27,0,2X123例5：设总体的概率分布率为：其中未知21-3现得到样本观测值2，3，2，1，3，求的矩估计与极大似然估计。1矩估计解：kkEXxpE(X)=X令352223(132)2.2Xˆ0.322极大似然估计()(2)(132)(2)(132)L32116(23)ln()ln163ln2ln(23)Lln()36023dLdˆ0.4三、衡量估计量好坏的标准ˆ的点估计量一般是不唯一的,如何选择好的?首先我们要对估计量提出衡量其好坏的标准.ˆ标准:无偏性,有效性,一致性1、无偏性的无偏估计量。为则称定义：若,)],,,([21nXXXEˆ即取值在真值附近来回摆动nnXEnXnEXEniinii1)(1)1()(11证明:(1)niXEXEi,,,,21的无偏估计量。是的无偏估计量都是试证：给定样本但未知存在总体例22212121SXXXXXXXXDXEXnn(2),,,,(1)),,,,(,,,:6niiXXnESE12211)()2(niiiXXXXEn122)2(11niiXXEn12112122211XnXnXEnniiniiXnXEn12211niiXnEXEn122)((11）22222211)]([nnnnnSE22)]([)()(XEXDXE利用公式：2222)]([)()(iiiXEXDXE)),(~()]([)()(22__22____2__nnNXXEXDXE32ˆ72LnXX例：检验例4的矩估计量与极大似然估计量的无偏性。0,,,2XUEX解：1,,nXXX由于与同分布ˆ2EEX12niiEXn22nnˆ2X因此是的无偏估计ˆLnnXX为考察的无偏性，先求的分布，5由第三章第节知：,nnXFxFx100nnnXnxxfx于是其它10nnxnxdxˆLnEEX因此有：1nnˆLnX所以是有偏的。21ˆ,ˆ设是θ的两个无偏估计量，若)ˆ()ˆ(21DD2、有效性有效。比则称21ˆˆ.,)(,____的无偏估计量都是与XXXEXE11.____有效比故又由于1212XXXDnXD341121280,,,,12,72nXUXXXnXXnnn例：设总体是取自的样本，已知的两个无偏估计为见例，判别与哪个有效时？22142123DDXnn解：100nnnXnxxfx由其它222221nnnDEXEXn于是