概率论数理统计课件第17讲参数估计

概率论与数理统计第十五讲第七章:参数估计数理统计的任务：●总体分布类型的判断；●总体分布中未知参数的推断(参数估计与假设检验)。参数估计问题的一般提法设总体X的分布函数为F(x,θ)，其中θ为未知参数或参数向量，现从该总体中抽样,得到样本X1,X2,…,Xn.依样本对参数θ做出估计，这类问题称为参数估计。参数估计包括：点估计和区间估计。称该计算值为µ的一个点估计。为估计参数µ，需要构造适当的统计量T(X1,X2,…,Xn)，一旦当有了样本，就将样本值代入到该统计量中，算出一个值作为µ的估计，寻求估计量的方法1.矩估计法2.极大似然法3.最小二乘法4.贝叶斯方法…我们仅介绍前面的两种参数估计法。其思想是:用同阶、同类的样本矩来估计总体矩。矩估计是基于“替换”思想建立起来的一种参数估计方法。最早由英国统计学家K.皮尔逊提出。§7.1矩估计矩估计就是用相应的样本矩去估计总体矩。),(kkXEak阶原点矩总体,11nikikXnAk阶原点距样本],[kkEXXEbk）（阶中心矩总体,11kniikXXnBk）（阶中心距样本设总体X的分布函数中含k个未知参数.,,21k步骤一：记总体X的m阶原点矩E(Xm)为am,m=1,2,…,k.am(1,2,…,k),m=1,2,…,k.一般地,am(m=1,2,…,K)是总体分布中参数或参数向量(1,2,…,k)的函数。故,am(m=1,2,…,k)应记成:步骤二：算出样本的m阶原点矩.,,2,1,11kmXnAnimim步骤三：令得到关于1,2,…,k的方程组(L≥k)。一般要求方程组(1)中有k个独立方程。1121212212(,,,),(,,,),(1)(,,,).kkLkKaAaAaA步骤四：解方程组(1),并记其解为.,,2,1),,,(ˆˆ21kmXXXnmm，),,,()ˆ,,ˆ,ˆ(ˆ2121的矩估计。就是则kk这种参数估计法称为参数的矩估计法，简称矩法。1[0,],X设总体服从上的均匀分布1121,,,,,nXXX其中未知是一个样本求的矩估计量1111,0,0,xXfx由题设知具有概率密度其他解：11=2aEX，111niiAXn，111=2niiXn令，解之得1ˆ2.X因为总体矩样本矩注意：要在参数上边加上“^”，表示参数的估计。它是统计量。1例即密度函数上的均匀分布服从设总体,)](,[2121X其他,0,1,,211221xxf的矩估计量求是一个样本未知其中212121,,,,,,,nXXX解：1121=2aEX222212122=124aEXDXEX令niiXnA1112121niiXnA1222122121412解之得SnnXAAA133ˆ21211SnnXAAA133ˆ21212解：先求总体的期望110()(1)daEXxxx.21d)1(101xx例1：设总体X的概率密度为.,0,10,)1()(其他xxxf的矩估计。求为未知参数。其中1α由矩法，令21X解得XX112ˆ为α的矩估计。矩估计的优点是：简单易行,不需要事先知道总体是什么分布。缺点是：当总体的分布类型已知时，未充分利用分布所提供的信息；此外，一般情形下，矩估计不具有唯一性。§7.2极大似然估计极大似然估计法是在总体的分布类型已知前提下，使用的一种参数估计法。该方法首先由德国数学家高斯于1821年提出，其后英国统计学家费歇于1922年发现了这一方法，研究了方法的一些性质，并给出了求参数极大似然估计一般方法——极大似然估计原理。I.极大似然估计原理设总体X的分布(连续型时为概率密度，离散型时为概率分布)为f(x,θ),X1,X2,…,Xn是抽自总体X的简单样本。于是，样本的联合概率函数(连续型时为联合概率密度，离散型时为联合概率分布)为.),(),,,,(121niinxfxxxL被看作固定，但未知的参数。视为变量将上式简记为L(θ)，即称L(θ)为θ的似然函数。),(),,,,(121niinxfxxxL视为变量视为固定值,),()(1niixfL).(max)ˆ(LL假定现在我们观测到一组样本X1,X2,…,Xn，要去估计未知参数θ。称为θ的极大似然估计。ˆ这就是极大似然估计原理。如果θ可能变化空间,称为参数空间。一种直观的想法是：哪个参数(多个参数时是哪组参数)使得现在的观测值x1,x2,…,xn出现的可能性(概率)最大，哪个参数(或哪组参数)就作为参数的估计。(4).在最大值点的表达式中，代入样本值，就得参数θ的极大似然估计。II.求极大似然估计(MLE)的一般步骤(1).由总体分布导出样本的联合概率函数(连续型时为联合概率密度,离散型时为联合概率分布)；(2).把样本的联合概率函数中的自变量看成已知常数,参数θ看成自变量,得到似然函数L(θ)；(3).求似然函数L(θ)的最大值点(常常转化为求lnL(θ)的最大值点);说明：,0)(lndLd●求似然函数L(θ)的最大值点，可应用微积分中的技巧。由于ln(x)是x的增函数，所以lnL(θ)与L(θ)在θ的同一点处达到各自的最大值。假定θ是一实数,lnL(θ)是θ的一个可微函数。通过求解似然方程可以得到θ的极大似然估计。若θ是向量，上述似然方程需用似然方程组0),,,(ln,0),,,(ln,0),,,(ln21221121kkkkLLL代替。例1:设X1,X2,…,Xn是取自总体X~B(1,p)的一个样本，求参数p的极大似然估计。nixxiipp11)1(解：似然函数为,)1(11niiniixnxppniipxfpL1),()(),1ln()()ln()(ln11pxnpxpLniinii对数似然函数为：对p求导，并令其等于零，得.0)(111)(ln11niiniixnpxpdppLdxn上式等价于.11pxpx解上述方程，得.11pxpx.xp换成Xn换成pˆ的极大似然估计。为得ˆpXp解：例5：设X1,X2,…,Xn是抽自总体X的一个样本，X有如下概率密度函数.,0,10,),(1其他xxxf其中θ0为未知常数。求θ矩估计和极大似然估计。11010)(),1EXxfxdxxxdxxdxX因为（=.1-XX解得的矩估计量为,ln)1(ln)(ln1niixnL对似然函数求自然对数，得求导并令其导数等于零，得.0ln)(ln1niixndLd解上述方程，得.ln1niixn的极大似然估计。为所以，lnˆ1niiXn.,0n,,2,1,i),1,0(,)(11其他iniixxL似然函数为从前面两节的讨论中可以看到:●同一参数可以有几种不同的估计，这时就需要判断采用哪一种估计为好的问题。●另一方面，对于同一个参数，用矩法和极大似然法即使得到的是同一个估计,也存在衡量这个估计优劣的问题。估计量的优良性准则就是：评价一个估计量“好”与“坏”的标准。§7.3估计量的优良性准则设总体的分布参数为，对一切可能的成立,则称为的无偏估计。7.3.1无偏性对于样本X1,X2,,Xn的不同取值，取不同的值)。),,,(ˆ21nXXXˆ如果的均值等于，即)],,,(ˆ[21nXXXEˆˆ简记为是的一个估计(注意!它是一个统计量，是随机变量。ˆ参数，有时可能估计偏高，有时可能偏低，但是平均来说它等于。“一切可能的”是指：在参数估计问题中，参数一切可能的取值。我们之所以要求对一切可能的都成立，是因为在参数估计问题中,我们并不知道参数的真实取值。自然要求它在参数的一切可能取值的范围内都成立说明：无偏性的意义是：用估计量估计ˆ.)],,,(ˆ[21nXXXE1例估计有作为总体均值的样本是来自总体设,,,,21XXXXnniiXnXT11112XTniiiXaT13且其中),2,1(0niainiia11都是无偏估计试证321,,TTT证明：XEXEini,,2,1由数学期望的性质知niiXEXEnTE111XEXETE12XEaXEXEaTEniniiii113定理1：设总体X的均值为,方差为2,X1,X2,…,Xn为来自总体X的随机样本，记与分别为样本均值与样本方差，即即样本均值和样本方差分别是总体均值和总体方差的无偏估计。.)(11,12121XXnSXnXniinii.)(,)(22SEXE则X2S证明：因为X1,X2,…,Xn独立同分布，且E(Xi)=μ,所以；nnXEnXnEXEniinii1)(11)(11另一方面，因,)(2)(212211221XnXXnXXXXXniininiiinii,)]([)()(,)]([)()(22222222iiiXEXVarXEnXEXVarXE于是，有.)(11)()(11)(222222122nnnnXnEXEnSEnii注意到一个有偏估计的例子：2211()niiSXXn2样本方差为总体方差的有偏估计修正222111()[(),niinESEXXnn]==22211()[(),11niinESEXXnn]=用估计量估计，估计误差7.3.2.均方误差准则),,,(ˆ21nXXX是随机变量，通常用其均值衡量估计误差的大小。要注意:为了防止求均值时正、负误差相互抵消，我们先将其平方后再求均值，并称其为均方误差，记成，即),,,(ˆ21nXXX.)ˆ()ˆ(2EMSE)ˆ(MSE哪个估计的均方误差小，就称哪个估计比较优，这种判定估计优劣的准则为“均方误差准则”。注意：均方误差可分解成两部分:,ˆˆ21和的两个估计对证明：.])ˆ([)ˆ()ˆ(2EVarMSE)]ˆ(ˆ[])ˆ([2])ˆ([)]ˆ(ˆ[]})ˆ([)]ˆ(ˆ{[)ˆ()ˆ(2222EEEEEEEEEEMSE.])ˆ([)ˆ(2EVar上式表明，均方误差由两部分构成：第一部分是估计量的方差，第二部分是估计量的偏差的平方和。注意：如果一个估计量是无偏的，则第二部分是零，则有:2])ˆ([)ˆ()ˆ(EVarMSE如果两个估计都是无偏估计，这时哪个估计的方差小，哪个估计就较优。这种判定估计量优劣的准则称为方差准则。。)ˆ()ˆ(VarMSE3例估计有作为总体均值的样本是来自总体设,,,,21XXXXn111niiTXXn12XTniiiXaT13且其中),2,1(0niainiia112123,,,?XTTT设总体的方差存在试问哪个更有效解：211MSETn22MSET2231niiMSETananii112注意的估计量是三个估计量中最