概率统计616263

第六章点估计（Pointestimation）第一节矩法估计第二节极大似然估计第三节Cramer_Rao不等式第四节充分统计量第五节一致最小方差无偏估计参数估计问题（Parameterestimation）假定总体的分布形式已知，未知的是一个或几个参数.利用样本信息，对其中的未知参数进行估计，这类问题称为参数估计问题.()fx当是连续性随机变量时，是密度函数，概率函数：()()()fxPxfx当是离散型随机变量时，.称为的概率函数.(;)fx：设总体随机变量的概率函数问题的一般提法类型已知，未知参数．称为参数空间．要求根据()样本的信息估计未知参数或g的值.参数估计的一般方法2(,6),N例设某班男生的身高其中平均身高未知.11110,,=nniin抽取一个容量为的样本,构造统计量，lim(||)0nEP，由大数定律知：,所以选11niixxn作为的，作为的估计量估计值.,xx：构造统计量；计算观测值用作为的点估计值.步骤：构造统计量的依据；构造统计量的方法；主要问题评价统计量的优良标准，寻找参数的最优的估计.§6.1矩法估计（methodofmoment）矩法估计是基于“替换”思想建立起来的一种估计方法.是英国统计学家K.pearson在1894年提出的.基本思想是用样本矩估计总体矩.理论依据是大数定律.;,,,,kkfxk11设总体的概率函数为，为个未知(,,),,,,jjkkEjk112参数，的前阶矩为,,?,,nPjjnijkin1111子样的j阶矩 用子样的矩替换总体矩得到方程组(,,),,,,?jjkjk112ˆˆ,,,,,,jjnjk112解方程组得ˆˆ,,,,,,,,jjnkjk1112称为参数的．矩法估计量,,n216.1假设总体的期望为，方差为，例为样本，,()EEDE2222:解2.求和的矩法估计,222令niin11解得()(niniSn2222211)6.2设总体例的密度函数为,,00bpbp其中未知参数求和的矩法估计.1(,,),0()ppbxbfxpbxexp(),pppEEbb221解：,.22nppSbb令,.222nnbpSS解得(,)pb.()()222221pppDEEbb2pb [0,]6.3U设总体，求参数的矩.例法估计量ˆ.==222E解：，令，解得,矩法的优点是简单易行不需要事先知道总体是什么分布.缺点是当总体类型已知时，没有充分利用分布提供的信息.矩估计量可能不唯一.6.4习题2()212ED解：,.U设总体,,求,的矩法估计量.22()==212nS替换：,.=2=23nS,ˆˆ3,=3.nnSS12 ,,,6.2n设是来自二点分布的一个子样，习题,Epp求成功的概率的矩法估计..011Ppp解：总体的分布为ˆ.p频率是事件概率的矩法估计.估计量的优良标准评价一个估计量的好坏，不能仅仅依据一次试验的结果，而必须由多次试验结果来衡量.因为估计量是样本的函数，是随机变量.由不同的观测结果，就会求得不同的参数估计值,因此一个好的估计，应是多次试验中体现出优良性.1.相合(一致)估计 ,fx设的概率函数为，为未知参数， (,,)nnn10,是的一个估计量，如果对任意的都有+ˆlim(||)0nnPˆn则称为的（）相合一致估计.相合估计反映的是当样本容量趋于无穷大时的性质. E所以是总体期望的相合估计。+lim(||)0nPE2222221111()()nnpniiiiSEEDnn2nSD所以是总体方差的相合估计.未知参数的矩法估计量都是参数的相合估计量.2.unbiasedestimator（）无偏估计 ,fx设的概率函数为，为未知参数， (,,),1nnnnE?是的一个估计量，如果ˆn则为.的称无偏估计估计量是随机变量，对于不同的样本值会得到不同的估计值.我们希望估计值在未知参数真值附近摆动，它的期望值等于未知参数的真值,这就导致无偏性这个标准. ,EE由于所以是总体期望的无偏估计.2,()2222111nnniinESDSnn而所以不是的222211()1nniniSSn令，则是的.无偏估计.无偏估计ˆˆ.nnabab设为的无偏估计，则+是+的无偏估计ˆ()()nfxff当非线性函数时，一般不是的无偏估计.()2221=11niin解：((,) ,,)216.27,nN习题设是取自正态总体的一个子样()2111nniniSSn求的期望.说明不是的无偏估计.**==--å1nSn*=-()()12111122210212nnxnExedx--+?-+--=ò()()21221222nnnn--=()()()()()212221122221112nnnnnnnESEcnnn-*--====---()()()()2112211112222110222122nnnnnxnnExedx---+?-+---==òn510152030c0.6650.9730.9820.9870.991(),().abPAPBNN的矩法估计为的矩法估计为NA解：设总的错字个数为,设事件表示一个错字被甲发现，. 63甲乙两个校对员独立校对一本书的样稿,校完后，习题ab甲发现了个错字，乙发现了个错字，共同发现的错c字有个.试用矩法估计给出总的错字个数及未发现的错字个数的估计.BAB事件表示一个错字被乙发现，则和独立.().cPABN的矩法估计为cabNNNˆ.abNc(),Nabc未发现的错字个数为().ababcc它的矩法估计为24,22,16.abc设ˆ.24223316N().332422163未发现的错字个数为 MaximumlikelihoodEstimate极大似然估计首先是由德国数学家（Guass）高斯在1821年提出的，然而，这个方法常归功于英国统计学家（Fisher）费歇.费歇在1912年重新发现了这一方法，并首先研究了这种方法的一些性质.极大似然原理:一个试验有多个可能结果A，B，C，…，若在一次试验中，若事件A发生，则认为事件A出现的概率最大．§6.2MLE极大似然估计用随机变量描述一件产品合格或次品. 估计一批产品的次品率1=0ìïïíïïî，抽取的次品是次品，抽取的次品是正品Ppp-011,,nn1随机抽取容量为的子样，其中1=,,,0iiiniìïï=íïïî12，第次抽得次品，，第次抽得正品,Ep=ˆ=pp的矩法估计为，为样本中的次品率.,;xxppxfxp11010，的概率函数为，其他,,,,,nnxx11设的观测值为取到这组观测值的概率为1111()()()(1)nniiiinnxnxiiiiiiLpPxPxpp()Lpp由极大似然原理，我们取使达到最大的值作为参数lnln()()pxxLpLp的估计值.由于是单调增函数，所以和p在同一值达到最大.11ln()lnln(1)nniiiiLpxpnxp1111ln()1nniiiidLpxnxdppp011ln()(1)nniiiidLppxpnxdp令，ˆ.11niipxxn解得=ˆ()Lppp称为似然函数,的极大似然估计量为.极大似然法估计 ,fx设总体的概率函数为，为未知参数， ,,,,nn11是取自的一个子样，的联合概率函数为;,,;nniiLLxxfx11()L称为似然函数. ;,ifxPx当是离散型随机变量时，,,;nnniiPxxfx111ˆˆˆ,,sup;,,nnnnnxxLLxx11满足ˆˆ,,nnnxx1称为的极大似然估计值，ˆˆ,,1nnn.称为的极大似然估计量 (,)()fx当是连续型随机变量时，是的密度函数.1(,,)n的联合密度函数为11()(;,,)(;).nniiLLxxfxˆˆˆ(,,)()sup(;,,)11nnnnnxxLLxx满足11()(;).nniiiiiiiiPxxxfxx1ˆˆ(,,)nnnxx称为的极大似然估计值，1ˆˆ(,,)nnn.称为的极大似然估计量 6.6[0,],总体服从上的均匀分布密度函数为例10,0,(;)0xfx,,其他.解：似然函数为求参数称的极大似然估计.11()(;),0,niiniLfxx11(),max(,,).nnLxx1ˆ()=max(,,)LnLxx在处取得最大值.1ˆ=max(,,)Lnn所以的极大似然估计量为.:似然函数为解221 (,),,,MLE6.8nN总体,子样为求和和的.例22221211(,;,,)(2)exp().2nnniiLxxxniinnLx22211lnln(2)ln()2222122221ln1()0,ln1()0.22niiniiLxLnx2221111ˆ,().nniiniixxxxsnn11:(;),0xfxex的密度函数为解 ,,,,11MELnE总体子样为求的.例1111(;,,)expnniniLxxx似然函数为11lnlnniiLnx211ln0niidnLxdˆ.11nLiixnˆ.LMLE所以的为极大似然估计的性质 ,fx设总体的概率函数为，为未知参数，ˆLuuu==是的极大似然估计，函数具有反函数，ˆ()()Luu则是的极大似然估计.2211(,),MLE()niiNn总体标准差的为.补充估计湖中鱼的总数例()解：设第二次捕出有记号的鱼数服从超几何分布为了估计湖中的鱼数N，第一次捕上r条鱼，做上记号后放回,隔一段时间后，再捕出s条鱼，结果发现这s条鱼中有k条标有记号.求N的MLE.()()0min(,)kskrNrsNCCLNPkksrC，()NLN求使达到最大.()()()(1)()LNNsNrLNNNrsk1,1.srsrNNkk当时，比值大于，当时比值小于ˆMLE.rsNNk所以的为6.5习题23220022().233aaaxxaExaxdxaa解：(,)(),,220fxaaxxaa总体的密度函数为ˆ3.3aa,得a求未知参数的矩法估计.6.6习题1101(1).2Exdx解：(,)(1),01,fxx