第七章参数估计

1第七章参数估计参数估计是数理统计研究的主要问题之一.假设总体X~N（μ，σ2），μ，σ2是未知参数，X1，X2，…，Xn是来自X的样本，样本值是x1，x2，…，xn，我们要由样本值来确定μ和σ2的估计值，这就是参数估计问题，参数估计分为点估计（Pointestimation）和区间估计(Intervalestimation).第一节点估计所谓点估计是指把总体的未知参数估计为某个确定的值或在某个确定的点上，故点估计又称为定值估计.定义7.1设总体X的分布函数为F（x，θ），θ是未知参数，X1，X2，…，Xn是X的一样本，样本值为x1，x2，…，xn，构造一个统计量（X1，X2，…，Xn），用它的观察值（x1，x2，…，xn）作为θ的估计值，这种问题称为点估计问题.习惯上称随机变量（X1，X2，…，Xn）为θ的估计量,称（x1，x2，…，xn）为的估计值.构造估计量（X1，X2，…，Xn）的方法很多，下面仅介绍矩法和极大似然估计法.1.矩法矩法（Momentmethodofestimation）是一种古老的估计方法.它是由英国统计学家皮尔逊（K.Pearson）于1894年首创的.它虽然古老，但目前仍常用.矩法估计的一般原则是：用样本矩作为总体矩的估计，若不够良好，再作适当调整.矩法的一般作法：设总体X~F（X；θ1,θ2，…，θl）其中θ1,θ2,…,θl均未知.（1）如果总体X的k阶矩μk=E(Xk)(1≤k≤l)均存在，则μk=μk(θ1,θ2,…,θl)，（1≤k≤l）.(2)令.),,,(,),,,(,),,,(2122121211lllllAAA其中Ak（1≤k≤l）为样本k阶矩.求出方程组的解,ˆ,,ˆ,ˆ21l我们称),,,(ˆˆ21nkkXXX为参数θk(1≤k≤l)的矩估计量,),,,(ˆˆ21nkkxxx为参数θk的矩估计值.例7.1设总体X的密度函数为：f（x）=.,0),1(,10,)1(其他xx其中α未知，样本为（X1，X2，…，Xn），求参数α的矩法估计.解A1=X.由μ1=A1及2μ1=E（X）=21)1()(10xxxxxxfdd，有21X，得121ˆXX.例7.2设X~N（μ，σ2），μ，σ2未知，试用矩法对μ，σ2进行估计.解.1)(,1)(12222111niiniiXnAXEXnAXE又E(X)=μ,E(X2)=D(X)+(EX)2=σ2+μ2,那么.1ˆˆ,ˆ2222SnnAX.例7.3在某班期末数学考试成绩中随机抽取9人的成绩.结果如下：序号123456789分数948985787571656355试求该班数学成绩的平均分数、标准差的矩估计值.解设X为该班数学成绩，μ=E（X）,σ2=D（X）)558994(919191iixx=75;2/19122)(819898iixxs=12.14..91)(,91)(9122229111iiiiXAXEXAXE由于E（X2）=D（X）+（EX）2=σ2+μ2，那么，2222228ˆˆˆ,().9XAAxS所以，该班数学成绩的平均分数的矩估计值xˆ=75分，标准差的矩估计值298ˆs=12.14.作矩法估计时无需知道总体的概率分布，只要知道总体矩即可.但矩法估计量有时不惟一，如总体X服从参数为λ的泊松分布时，X和B2都是参数λ的矩法估计.2.极（最）大似然估计法极大似然估计法(Maximumlikelihoodestimation)只能在已知总体分布的前提下进行，为了对3它的思想有所了解，我们先看一个例子.例7.4假定一个盒子里装有许多大小相同的黑球和白球，并且假定它们的数目之比为3∶1，但不知是白球多还是黑球多，现在有放回地从盒中抽了3个球，试根据所抽3个球中黑球的数目确定是白球多还是黑球多.解设所抽3个球中黑球数为X，摸到黑球的概率为p，则X服从二项分布P{X=k}=k3Cpk（1-p）3-k，k=0，1，2，3.问题是p=1/4还是p=3/4？现根据样本中黑球数，对未知参数p进行估计.抽样后，共有4种可能结果，其概率如表7-1所示.表7-1X0123p=1/4时，P{X=k}27/6427/649/641/64p=3/4时，P{X=k}1/649/6427/6427/64假如某次抽样中，只出现一个黑球，即X=1，p=1/4时，P{X=1}=27/64；p=3/4时，P{X=1}=9/64，这时我们就会选择p=1/4，即黑球数比白球数为1∶3.因为在一次试验中，事件“1个黑球”发生了.我们认为它应有较大的概率27/64（27/64＞9/64），而27/64对应着参数p=1/4，同样可以考虑X=0，2，3的情形，最后可得p=.3,2,43,1,0,41时当时当xx（1）似然函数在极大似然估计法中，最关键的问题是如何求得似然函数（定义下文给出），有了似然函数，问题就简单了，下面分两种情形来介绍似然函数.（a）离散型总体设总体X为离散型，P{X=x}=p（x，θ），其中θ为待估计的未知参数，假定x1，x2，…，xn为样本X1，X2，…，Xn的一组观测值.P{X1=x1，X2=x2，…，Xn=xn}=P{X1=x1}P{X2=x2}…P{Xn=xn}=p（x1，θ）p（x2，θ）…p（xn，θ）=niixp1),(.将niixp1),(看作是参数θ的函数，记为L（θ），即L（θ）=niixp1),(.（7.1）（b）连续型总体设总体X为连续型，已知其分布密度函数为f（x，θ），θ为待估计的未知参数，则样本（X1，X2，…，Xn）的联合密度为：f（x1，θ）f（x2，θ）…f（xn，θ）=niixf1),(.4将它也看作是关于参数θ的函数，记为L（θ），即L（θ）=niixf1),(.（7.2）由此可见：不管是离散型总体，还是连续型总体，只要知道它的概率分布或密度函数，我们总可以得到一个关于参数θ的函数L（θ），称L（θ）为似然函数.(2)极大似然估计极大似然估计法的主要思想是：如果随机抽样得到的样本观测值为x1，x2，…，xn，则我们应当这样来选取未知参数θ的值，使得出现该样本值的可能性最大，即使得似然函数L(θ)取最大值，从而求参数θ的极大似然估计的问题，就转化为求似然函数L（θ）的极值点的问题，一般来说，这个问题可以通过求解下面的方程来解决0)(ddL.（7.3）然而，L（θ）是n个函数的连乘积，求导数比较复杂，由于lnL（θ）是L（θ）的单调增函数，所以L（θ）与lnL（θ）在θ的同一点处取得极大值.于是求解（7.3）可转化为求解0)(ddlnL.（7.4）称lnL（θ）为对数似然函数，方程（7.4）为对数似然方程，求解此方程就可得到参数θ的估计值.如果总体X的分布中含有k个未知参数：θ1，θ2，…，θk，则极大似然估计法也适用.此时，所得的似然函数是关于θ1，θ2，…，θk的多元函数L（θ1，θ2，…，θk），解下列方程组，就可得到θ1，θ2，…，θk的估计值,.0),,,(ln,0),,,(ln,0),,,(ln21221121kkkkLLL（7.5）例7.5在泊松总体中抽取样本，其样本值为：x1，x2，…，xn，试对泊松分布的未知参数λ作极大似然估计.解因泊松总体是离散型的，其概率分布为：P{X=x}=e!xx,故似然函数为：L（λ）=niniixnixxxniii11!1!1ee.lnL(λ)=11lnln(!)nniiiinxx,5niixn11)ln(dd.令ddln=0，得：niixn11=0.所以xxnniiL11ˆ，λ的极大似然估计量为XLˆ（为了和λ的矩法估计区别起见，我们将λ的极大似然估计记为Lˆ）.例7.6设一批产品含有次品，今从中随机抽出100件，发现其中有8件次品，试求次品率θ的极大似然估计值.解用极大似然法时必须明确总体的分布，现在题目没有说明这一点，故应先来确定总体的分布.设Xi=,100,,2,1,0,1i，i，i次取正品第次取次品第则Xi服从两点分布：表7-2Xi10Pθ1-θ设x1，x2，…，x100为样本观测值，则：p（xi，θ）=P{Xi=xi}=θxi（1-θ）1-xi，xi=0，1，故似然函数为：L（θ）=1001100110010011)1()1(iiiiiixxixx由题知：1001iix=8，所以L（θ）=θ8（1-θ）92.两边取对数得：lnL（θ）=8lnθ+92ln（1-θ）.对数似然方程为：1928)(lnddL=0.解之得θ=8/100=0.08.所以Lˆ=0.08.例7.7设x1，x2，…，xn为来自正态总体N（μ，σ2）的观测值，试求总体未知参数μ，σ2的极大似然估计.解因正态总体为连续型，其密度函数为6f（x）=222)(21xeπ，所以似然函数为：L（μ，σ2）=niinniixx122122)(21exp212)(exp21ππlnL（μ，σ2）=niixnn1222)(21ln22ln2π.故似然方程组为：.0)(212),(ln,0)(1),(ln124222122niiniixnLxL解以上方程组得:.ˆ)(1)(1,12121221Bxxnxnxxnniiniinii所以.ˆ,ˆ22BXL例7.8设总体X服从［0,θ］上的均匀分布,X1,X2,…,Xn是来自X的样本，求θ的矩法估计和极大似然估计.解因为E（X）=θ/2，令X=E（X），得.2ˆX矩又f（x）=.,0,0,1其他x所以L（θ）=n1，0≤xi≤θ.要L（θ）最大，θ必须尽可能小，又θ≥xi，i=1，2，…,n，所以iniLX1maxˆ.7第二节估计量的评价标准设总体X服从［0，θ］上的均匀分布，由上节例7可知ˆ2X矩，1ˆmaxLiinX都是θ的估计，这两个估计哪一个好？下面我们首先讨论衡量估计量好坏的标准问题.1.无偏性定义7.2若估计量（X1，X2，…，Xn）的数学期望等于未知参数θ，即：ˆ()E，（7.6）则称ˆ为θ的无偏估计量（Non-deviationestimator）.估计量ˆ的值不一定就是θ的真值，因为它是一个随机变量，若ˆ是θ的无偏估计，则尽管ˆ的值随样本值的不同而变化，但平均来说它会等于θ的真值.例7.9设X1，X2，…，Xn为总体X的一个样本，E（X）=μ，则样本平均数11niiXXn是μ的无偏估计量.证因为E（X）=μ，所以E（Xi）=μ，i=1，2，…，n，于是1111()()nniiiiEXEXEXnn=μ.所以X是μ的无偏估计量.例7.10设有总体X，E（X）=μ，D（X）=σ2，（X1，X2，…，Xn）为从该总体中抽得的一个样本，样本方差S2及二阶样本中心矩B2=11()niiXXn是否为总体方差σ2的无偏估计？解因为E（S2）=σ2，所以S2是σ2的一个无偏估计，这也是我们称S2为样本方差的理由.由于B2=21nSn，那么E（B2）=2211()nnESnn,所以B2不是σ2的一个无偏估计.还需指出：一般说来无偏估计量的函数并不是未知参数相应函数的无