吴赣昌编-概率论与数理统计-第6章(new)

第六章参数估计参数的点估计估计量的评选标准正态总体参数的区间估计6.1参数的点估计一、参数估计的概念问题的提出：已知总体X的分布函数F(x;θ1,θ2,…,θk)，其中θ1,θ2,…,θk是未知参数，现从该总体中随机地抽样，得到一个样本X1,X2,…,Xn，再依据该样本对参数θ1,θ2,…,θk作出估计,或者估计参数的某个已知函数。点估计：用某个函数值作为总体未知函数的估计值区间估计：对未知参数给出一个范围，并给出在一定的可靠度下使这个范围包含未知参数的真值。由于),,,(ˆ21nixxx现用它来估计未知参数，故称这种估计为点估计。是实数域上的一个点，),,,(ˆˆ21niiXXX作为参数θi的估计，称),,,(ˆˆ21niiXXX为参数θi的估计量。在不致混淆的情况下，估计量、估计值统称估计，记为iˆ样本(X1,X2,…,Xn)的一组取值(x1,x2,…,xn)称为样本观察值，将其代入估计量iˆ，得到数值),,,(ˆˆ21niixxx称为参数θi的估计值。点估计：由总体的样本(X1,X2,…,Xn)对每一个未知参数θi(i=1,2,…,k)构造统计量点估计的经典方法是：(1)矩估计法(2)极大似然估计法二、矩估计法(简称“矩法”)英国统计学家皮尔逊(K.pearson)提出1、矩法的基本思想：以样本原点矩作为相应的总体同阶矩E(Xk)的估计；以样本矩的函数作为相应的总体矩的同一函数的估计。11nkiiXn2、矩法的步骤：设总体X的分布为F(x;θ1,θ2,…,θk)，k个参数θ1,θ2,…,θk待估计，(X1,X2,…,Xn)是一个样本。(1)计算总体分布的i阶原点矩E(Xi)=μi(θ1,θ2,…,θk)，i=1,2,…,k，(计算到k阶矩为止，k个参数)；(2)列方程112122221211211(,,,)()1(,,,)()1(,,,)()nkjjnkjjnkkkkkjjEXXXnEXXXnEXXXn从中解出方程组的解，记为kˆˆˆ21，，，则kˆˆˆ21，，，分别为参数θ1,θ2,…,θk的矩估计。例6.1设总体X的均值为μ，方差为σ2，均未知。(X1,X2,…,Xn)是总体的一个样本，求μ和σ2的矩估计。解12222211()1()()()niiniiEXXnEXDXEXXn解得矩法估计量为XXnnii11ˆniiniiniiXXnXXnXn122122122)(111ˆ注：niiXXn12)(1niiiXXXXn122)2(1niniiniiXnXXnXn1211212112112121XXnXXnniinii2121XXnnii总体均值与方差的矩估计量表达式不因不同的总体分布而异例6.2设总体X~P(λ)，求λ的矩估计。解XXnXEnii11)(Xˆ例6.3设(X1,X2,…,Xn)来自X的一个样本，且其它01),,(~bxaabbaxfX求a,b的矩估计。解X~U(a,b)2)(baXE12)()(2abXD222)(12)()(2)(EXabXEXbaXEniiniiXXnXXnabXba122122)(1112)(2解得矩估计为2ˆ3aXB2ˆ3bXB2211()niiBXXn2阶中心矩矩法估计的优点：计算简单；矩法估计的缺点：(1)矩法估计有时会得到不合理的解；(2)求矩法估计时，不同的做法会得到不同的解；(通常规定，在求矩法估计时，要尽量使用低阶矩)如例6.2中，若不是用1阶矩，而是用2阶矩niiXnXEXXDXE122221)()()()(niiniiXXnXXn12212)(11ˆ与不同Xˆ(3)总体分布的矩不一定存在，所以矩法估计不一定有解。如xxxxfX0)(~2)lnlnlim()(2xdxxdxxxdxxxfEXx先看一个简单例子：一只野兔从前方窜过.是谁打中的呢？某位同学与一位猎人一起外出打猎.如果要你推测，你会如何想呢?只听一声枪响，野兔应声倒下.二、极大似然估计法(R.A.Fisher费歇)1、极大似然估计法的基本思想一般说，事件A发生的概率与参数有关，取值不同，则P(A)也不同。因而应记事件A发生的概率为P(A|)。若A发生了，则认为此时的值应是使P(A|)达到最大的那一个。这就是极大似然思想。使得取该样本值发生的可能性最大。ˆ由样本的具体取值，选择参数θ的估计量例6.4设总体X服从0—1分布，即分布律为1()(1)()xxPXxfxx=0,1，其中0θ1未知(X1,X2,…,Xn)为X的一个样本，设其观察值为(x1,x2,…,xn)，则事件(X1=x1,X2=x2,…,Xn=xn)发生的概率为niiinnxXPxXxXxXP12211)(),,,(nixxii11)1(niiniixnx11)1(对于给定的样本观察值，上述概率为θ的函数，称其为似然函数，并记为L(θ)，即niiniixnxL11)1()(为使上述随机事件的概率达到最大，应选取使L(θ)达到最大的参数值(如果存在)，即选取的应满足ˆ)(max)ˆ(10LL对每一样本值(x1,x2,…,xn)，在参数空间内使似然函数L(x1,x2,…,xn;θ)达到最大的参数估计值,称为参数θ的极大似然估计值，它满足),...,,(ˆˆ21nxxx);,...,,(max)),...,,(ˆ;,...,,(212121nΘnnxxxLxxxxxxL称统计量),...,,(ˆ21nXXX为参数θ的极大似然估计量。记为Lˆ2、似然函数与极大似然估计niinxfxxLL11);();,,()(设1,,~(;),nXXfx且相互独立则称为该总体X的似然函数。3、求极大似然估计的步骤设总体X的分布中，有m个未知参数θ1,θ2,…,θm，它们的取值范围。(1)写出似然函数L的表达式如果X是离散型随机变量，分布律为P(X=k)，则niixXPL1)(如果X是连续型随机变量，密度函数为f(x)，则niixfL1)((2)在内求出使得似然函数L达到最大的参数的估计值mˆ,,ˆ,ˆ21它们就是未知参数θ1,θ2,…,θm的极大似然估计。一般地，先将似然函数取对数lnL，然后令lnL关于θ1,θ2,…,θm的偏导数为0，得方程组0ln0ln0ln21mLLL从中解出mˆ,,ˆ,ˆ21在例6.4中，niiniixnxL11)1(ln)(ln)1ln(ln11niiniixnx0111)(ln11niiniixnxdLd解得niixn11它使lnL(θ)最大所以θ的极大似然估计量为11ˆniiXXn例6.5(X1,X2,…,Xn)是来自总体X~P(λ)的样本，λ0未知，求λ的极大似然估计量。解总体X的分布律为!xPXxexx=1,2,…设(x1,x2,…,xn)为样本(X1,X2,…,Xn)的一个观察值，似然函数niixXPL1)()(niixexi1!niixnxei1!对数似然函数niiixxnL1)!ln(ln)(ln0))((lnLdd011niixnniixn11ˆ01))((ln12ˆ22xnxLddniixxˆ是λ的极大似然估计值,λ的极大似然估计量为所以XLˆ例6.6设(X1,X2,…,Xn)是来自正态总体X~N(μ,σ2)的一个样本，μ,σ2未知，求μ,σ2的极大似然估计。解设(x1,x2,…,xn)为样本(X1,X2,…,Xn)的一个观察值，则似然函数为22()2211(,)2ixniLeniixne122)(2122)2(niixnnL12222)(21ln22ln2),(ln0)(212),(ln0)(1),(ln124222122niiniixnLxL12211ˆ=1ˆ()niiniixxnxxn解得所以μ,σ2的极大似然估计量分别为XLˆniiLXXn122)(1ˆ例6.7设X~U[a,b]，a,b未知，(X1,X2,…,Xn)是总体X的一个样本，求a,b的极大似然估计。解X的密度函数为其它01)(bxaabxf设(x1,x2,…,xn)为样本(X1,X2,…,Xn)的一个观察值，则似然函数nniababbaL)(11),(1a≤xi≤b，i=1,2,…n)ln(),(lnabnbaLln(,)0Labnabaln(,)0Labnbba无法求出估计LaˆLbˆ设x1*=min(x1,x2,…,xn)，xn*=max(x1,x2,…,xn)，则a的取值范围a≤x1*，b的取值范围b≥xn*当a=x1*，b=xn*时，有nnnxxab)(1)(1*1*L(a,b)当a=x1*，b=xn*时取得最大值。所以),,,min(ˆ21nLXXXa),,,max(ˆ21nLXXXb习题1、习题2、6.2估计量的评选标准一、无偏性估计量),,,(ˆ21nXXX的观察或试验的结果，估计值可能较真实的参数值偏大或偏小，而一个好的估计量不应总是偏大或偏小，在多次试验中所得的估计量的平均值应与真实参数吻合，这就是无偏性所要求的。是一个随机变量，对一次具体定义),,,(ˆˆ21nXXX是的一个估计量，如果有ˆ()E则称ˆ是的一个无偏估计。如果ˆ不是无偏的，就称该估计是有偏的。例6.9设总体X的k阶矩存在，则不论X的分布如何，样本k阶原点矩nikikXnA11是总体k阶矩的无偏估计。证明设X的k阶矩μk=E(Xk)，k≥1(X1,X2,…,Xn)是来自正态总体X的一个样本，则kkkiXEXE)()(ni,,2,1)1()(1nikikXnEAEnikiXEn1)(1knikEn1)(1所以Ak是μk的无偏估计.例6.10设X~N(μ,σ2)，其中μ,σ2未知，问μ,σ2的极大似然估计是否为μ,σ2的无偏估计？若不是，请修正使它成为无偏估计。解设(X1,X2,…,Xn)是取自总体X的一个样本，由例6.6知XLˆniiLXXn122)(1ˆ)()ˆ(XEELXLˆ是μ的无偏估计)1(~)1(222nSn)1(~ˆ222nn2221)ˆ(nnE)1(ˆ22nnE不是σ2的无偏估计，而2ˆ2122)(11ˆ1SXXnnnnii为σ2的无偏估计。定理1设(X1,X2,…,Xn)是总体X的样本，总体X的均值为μ，方差为σ2，则(1)样本均值是μ的无偏估计量；(2)样本方差是的无偏估计量；(3)样本二阶中心距是的矩估计量与极大似然估计量，但是有偏的。niiXXn12)(1222SX二、有效性对于参数的无偏估计量，其取值应在真值附近