第八章参数估计

第八章参数估计参数估计点估计的概述点估计量的评选标准区间估计单侧置信区间一致性有效性最大似然估计矩估计无偏性两个正态总体的均值差和方差比区间估计一个正态总体均值和方差的区间估计统计推断是数理统计的重要组成部分,它包括统计估计和假设检验两类基本问题.统计估计是根据样本的信息对总体分布的概率特性（如分布类型、参数等）作出估计,统计估计又分为参数估计和非参数估计,本章只讨论参数估计问题.在实际问题中,经常遇到随机变量X(即总体X)的分布函数的形式已知,但它的一个或者多个参数未知的情形,此时写不出确切的概率密度函数.若通过简单随机抽样,得到总体X的一个样本观测值12(,,,)nxxx,我们自然会想到利用这一组数据来估计这一个或多个未知参数.诸如此类,利用样本去估计总体未知参数的问题,称为参数估计问题.参数估计问题有两类,分别是点估计和区间估计.第一节点估计的概述用一个数值估计某个参数,这种估计就是点估计.比方说我们要考察某医院新出生婴儿的男女比例,抽查了100个婴儿,按后估计出这个比例值为0.83,这个比值就是“比例”这个未知数的点估计值.定义8.1设总体X的分布函数(,)Fxq形式已知,其中q是待估计的参数,点估计问题就是利用样本12(,,,)nXXX,构造一个统计量12ˆˆ(,,,)nXXXqq=来估计q,我们称12ˆ(,,,)nXXXq为q的点估计量,它是一个随机变量.将样本观测值12(,,,)nxxx代入估计量12ˆˆ(,,,)nXXXqq=,就得到它的一个具体数值12ˆ(,,,)nxxxq,这个数值称为q的点估计值.一、矩估计法矩估计法的基本思想是用样本矩估计总体矩.因为由大数定理知,当总体的k阶矩存在时,样本的k阶矩依概率收敛于总体的k阶矩.我们假设总体X的分布函数为12(;,,,)kFxqqq,其中12,,,kqqq是待估参数.若总体X为连续型随机变量,设密度函数为12(;,,,)kfxqqq；若总体X为离散型随机变量,设分布律为12{}(;,,,)kPXxpxqqq==.12(,,,)nXXX是来自总体的样本.假设总体X的1阶至k阶原点矩im都存在,则有1212()(;,,,)(,,,)iiikikEXxfxdxmqqqmqqq+?-?===ò（X为连续型）1,2,,ik=或1212()(;,,,)(,,,)iiikikxREXxpxmqqqmqqqÎ===å（X为离散型）1,2,,ik=（其中R是X所有可能取值的集合）.一般来说,他们是12,,,kqqq的函数.根据样本矩依概率收敛于总体矩,样本矩的连续函数依概率收敛于总体矩的连续函数,我们可以用样本矩作为总体矩的估计量,而样本矩的连续函数作为总体矩的连续函数的估计量.即11ˆniiijjAXnm===å1,2,,ik=得方程组12ˆ(,,,)ikimqqqm=1,2,,ik=解得12ˆˆ(,,,)iinXXXqq=1,2,,ik=称ˆiq为iq的矩估计量,这种方法称为矩估计法.相应的估计值称为矩估计值,矩估计量与矩估计值统称为矩估计.例8.1设总体X服从区间12(,)qq上的均匀分布,即密度函数为1221121,-(;,)0,xfxqqqqqqìïï=íïïî其他其中12,qq未知,12(,,,)nXXX是来自总体的样本,求12,qq的矩估计量.解12()2EXqq+=22222112(-)()()(())()122EXDXEXqqqq+=+=+令121112njjAXnqq=+==å222211221(-)1()122njjAXnqqqq=++==å解之得12,qq的矩估计量为21121ˆ3(-)AAAq=-22121ˆ3(-)AAAq=+例8.2设总体X服从泊松分布()pl,参数l未知,12(,,,)nXXX是来自总体的一个样本,求参数l的矩估计量.解总体的1阶原点矩即数学期望为()EXl=用样本的1阶原点矩（即样本均值）代替总体的1阶原点矩得方程11niiXnl==å所以l的矩估计量为11ˆniiXXnl===å.矩估计法的优点是简单易行,并不需要事先知道总体服从什么分布.缺点是当总体类型已知时,没有充分利用分布提供的信息.一般场合下,矩估计量不具有唯一性.其主要原因在于建立矩估计法方程时,选取那些总体矩用相应样本矩代替带有一定的随意性.二、最大似然估计法先通过一个例子了解一下最大似然估计的基本思想.某同学与一位猎人一起去打猎,一只野兔从前方窜过,只听一声枪响,野兔应声倒下,试猜测是谁打中的?由于只发一枪便打中,而猎人命中的概率一般大于这位同学命中的概率,故一般会猜测这一枪是猎人射中的.这个例子所作的推断已经体现了最大似然法的基本思想：一次试验就出现的事件有较大的概率.即在已经得到实验结果的情况下,应该寻找使这个结果出现的可能性最大的那个q作为q的估计ˆq.下面分别就离散型总体和连续型总体情形作具体讨论.离散型总体的情形:设总体X的概率分布为12{}(;,,,),kPXxpxqqq==其中(1,2,,)iikq=为未知参数.如果12(,,,)nXXX是取自总体X的样本,样本的观察值为12(,,,)nxxx,则样本的联合分布律11121{,,}(;,,,),nnnikiPXxXxpxqqq====Õ对确定的样本观察值12(,,,)nxxx,上式是未知参数(1,2,,)iikq=的函数,记为121212121(,,,)(,,,;,,,)(;,,,)nknkikiLLxxxpxqqqqqqqqq===Õ,并称其为似然函数.连续型总体的情形:设总体X的概率密度为12(;,,,)kfxqqq,其中(1,2,,)iikq=为未知参数,此时定义似然函数121212121(,,,)(,,,;,,,)(;,,,)nknkikiLLxxxfxqqqqqqqqq===Õ.似然函数12(,,,)kLqqq的值的大小意味着该样本值出现的可能性的大小,在已得到样本值12(,,,)nxxx的情况下,则应该选择使12(,,,)kLqqq达到最大值的那个(1,2,iiq=,)k作为iq的估计ˆiq.这种求点估计的方法称为最大似然估计法.定义8.2若对任意给定的样本值12(,,,)nxxx,存在12ˆˆ(,,,)(1,2,,)iinxxxikqq==,使1212ˆˆˆ(,,,)max(,,,),ikkLLqqqqqqq=则称12ˆ(,,,)(1,2,,)inxxxikq=为iq的最大似然估计值.称相应的统计量12ˆ(,,,)inXXXq为iq最大似然估计量.它们统称为iq的最大似然估计.由定义可知,求参数的最大似然估计问题,就是求似然函数的最大值点的问题.因此可以对似然函数12(,,,)kLqqq关于iq求导.又由于12(,,,)kLqqq和12ln(,,,)kLqqq有相同的最大值点,故只需求12ln(,,,)kLqqq的最大值点即可.这样往往会给计算带来很大方便.在一般情况下,12ln(,,,)kLqqq在最大值点的一阶偏导数为零,此时只需解最大似然方程组12ln(,,,)0,1,2,,kiLikqqqq¶==¶即可得参数的最大似然估计.例8.3设随机变量X服从泊松分布,即分布律为-{},0,1,2,...!kePXkkkll===.其中0l是未知参数,求l的最大似然估计.解设12(,,,)nxxx是样本12(,,,)nXXX的一组观测值.于是似然函数为1--1211()(;,,...,)()!niiixxnnnniiiiLLxxxeexxllllll===å====ÕÕ两边取对数得对数似然函数为11ln()-ln-ln(!)nniiiiLnxxlll===+邋令1ln()1-0niidLnxdlll==+=å解方程得22ˆln()ˆ0xdLxdllll==且从而得出l最大似然估计为ˆXl=.例8.4设12(,,,)nXXX是来自正态总体2(,)Nms的样本,其中2,ms是未知参数.求2,ms的最大似然估计.解由已知得样本的似然函数为222122/22111(,)(,;,,...,)exp{-(-)}(2)2nniniLLxxxxmsmsmpss===å两边取对数得222211ln(,)-ln(2)-2ln-(-)22niinLnxmspsms==å分别关于m和2s求偏导数,得似然方程组2122241ln1(-)0ln1-(-)022niiniiLxLnxmmsmsss==ì¶==ï¶ïí¶ï=+=ï¶îåå解这一方程组得12211ˆ1ˆ(-)niiniixxnxxnms==ì==ïïíï=ïîåå.由微积分知识易验证以上所求为m和2s的最大似然估计.由上例我们可以总结出求最大似然估计的一般步骤如下：(1)写出似然函数12(,,,)kLqqq;(2)写出对数似然函数12ln(,,,)kLqqq,及方程组ln()0,1,2,,iLikqq¶==¶;（3）解上述方程组得最大似然估计值12ˆˆ(,,,)(1,2,,)iinxxxikqq==.值得注意的是,通过取对数得到对数似然方程,进而解对数似然方程组求最大值点的方法并不总是有效的,因此应该具体问题具体分析.例8.5设总体X服从均匀分布,即概率密度函数为1,0(;)00,xfxqqqqqìï=?íïî，未知其他求参数q的最大似然估计.解设12(,,,)nXXX是来自总体的样本,似然函数为121(;,,,),0,1,2,,ninLxxxxinqqq=?显然12(;,,,)nLxxxq关于q单调,要使12(;,,...,)nLxxxq达到最大,就要使q达到最小,由于()10max{},1,2,...,iniinxxxinq＃??所以q的最大似然估计值为1ˆmax{}iinxq＃=q的最大似然估计量为121ˆ(,,...,)max{}niinXXXXq＃=.习题8-1A组1.设总体X的分布律为X-102P2qq1-3q其中103q,求q的矩估计.2.一批灯泡的使用寿命的抽取样本如下（单位:h）:1458,1395,1565,1614,1351,1490,1478,1382,1536,1496试用矩估计法针对这批灯泡的平均寿命m及寿命方差2s做出矩估计.3.设12(,,,)nXXX是来自总体X的样本,X服从参数为p的几何分布,即X的分布律为-1{}(1-)(1,2,)kPXkppk===其中p未知,01p,求p的最大似然估计.4.已知总体X的密度函数为-1,01(;)0.0,xxfxqqqqìï=íïî其他求:(1)参数q的矩估计；(2)参数q的最大似然估计.B组1.设总体的分布律为2-2{}(-1)(1-)(2,3,,01)kPXkkkqqq===,q未知.求q的矩估计和最大似然估计.2.设总体X的密度函数为12-112221,(;,)0.0,xexfxqqqqqqq-ìï³ï=íïïî其他求12,qq的最大似然估计.3.已知总体X是离散型随机变量，X的可能取值为0,1,2,且2{2}(1-)PXq==,()2(1-)EXq=(q为未知参数).求:(1)X的概率分布；(2)对X抽取容量为10的样本，其中5个取1,3个取2,2个取0.求q的矩估计值和最大似然估计值.4.已知总体X的密度函数为-(-2),2()0.0,xexfxlllìï=íïî其他12(,,,)nXXX是来自总体X的样本,2YX=.(1)求Y的期望()EY（记()EYb=）;(2)求l的矩估计量和最大似然估计量(3)利用上述结果求b的最大似然估计量.第二节点估计量的评选标准对于总体的同一个未知参数,由于采用的估计方法不同,可能会产生多个不同的估计量.这就提出了一个问题,当总体的同一个参数存在不同的估计量时,究竟采用哪一个更好？这涉及到用什么样的标准来评价估计量的好坏问题,对此,我们介绍几个常用的评价标准：无偏性、有效性和一致性.一、无偏性在评价一个估计量的好坏时,我们当然希望估计量与被估参数越接近越好,但估计量是一个随机变量,它的取值随样本的观测值而变,有时与被估参数的真值近些,有时远些,我们只能从平均意义上看估计量是否与被估