高等数理统计点估计

思考题•(巴格达窃贼问题)一窃贼被关在有3个门的地牢中,其中第一个门通向自由,出这个门3秒便回到地面;第2个门通向一个地道,在此地道中走5秒将返回地牢;第3个门通向一个更长的地道,沿这个地道7秒后也回到地牢.如果窃贼每次选择3个门的可能性相等,试求他为获得自由而奔走的平均时间.2抽样分布、参数估计、假设检验统计推断=第二章点估计•学习目的和要求•学习重点•学习难点•教学方法•授课时数•基本内容学习目的和要求•目的和要求：了解参数估计的基本概念,掌握判断点估计优良的几个标准，理解无偏估计量的性质和Fisher信息量与信息不等式的意义。在此基础上，掌握点估计的几种方法：矩法、极大似然法、最小二估计法、同变估计法、稳健估计法。学习重点1、点估计量的优良标准2、几种点估计的方法学习难点掌握点估计量优良的判断标准教学方法讨论讲授授课时数10学时基本内容•第一节参数估计的概念、估计量的优良标准•第二节信息不等式•第三节几种点估计的方法与应用（矩法、极大似然法、最小二乘法、同变估计、稳健估计）第一节参数估计的概念、估计量的优良标准11参数估计是统计推断的基本问题之一。在一些实际问题中，研究对象的总体分布类型可以从理论或实际经验得到，但总体X的参数θ未知，需利用样本提供的信息，对未知参数作出估计，其分布才能完全确定；在另外一些问题中，我们并不关心总体的分布类型，仅关心总体的某些数字特征，对数字特征的估计也称参数估计。2.1参数估计与优良性2.1.1参数估计定义12参数估计的形式：121212,,,ˆˆˆ(,,,)ˆ(,,,)nnnXXXXXXxxx点估计：设为未知参数，由样本构造一个统计量，用估计，称为的点估计量，代入样本观察值，称为的点估计值。ˆˆˆˆˆˆ[]LULULU区间估计：根据样本构造两个统计量与，且，以区间的形式给出总体未知参数的估计，事件“区间，含有”的概率称为置信水平。13§2.1.2点估计优劣的评价标准一个未知参数的点估计量可以有多个，哪个更佳？需有评价其优劣的标准。常用准则有：I.无偏性161212111,,,,,,,1,2,,1()()1()1nkkknkknkkiinkiinkkiXXXkAkEXXXXEXinEAEXnEXnn设是来自总体X的随机样本，则样本的阶原点矩是总体阶原点矩的无偏估计量。解：由于和总体X独立同分布，有故例1172122121121211122,,,(,)()[()],,,(),()nniiiniiiniiXXXNkQkXXEkXXXXXEXDX设是来自正态总体的随机样本，试选择适当的常数，使为的无偏估计量。解：根据题意，只需求出满足的常数即可。由于之间相互独立，且例2有：182122222()(),,,nnEXVarXXXXSS设总体具有二阶矩，，，是来自总体X的随机样本，则是总体的无偏估计，但不是总体的例3无偏估计量。22212212212221212)(1-n1])()([1-n1])()(2)([1-n1}])())((2)[({1-n1})]()[({1-n1])(1-n1[nnnXnEXEXnXnXEXXXXEXXEXXESEniiniiniiiniinii）（证：22S即是总体的无偏估计。19222n12222n2222222211()n111)()()lim()niinnnnnnSXXSnnnnESESESnnnSSnESS由于：故（即不是总体的无偏估计量。对而言，尽管它不是总体的无偏估计量，但当时，有即是总体的渐近无偏估计量。20ˆˆ()()gg注：如果是的无偏估计量，但通常不是的无偏估计量。22()SSESS例如：是总体的无偏估计量，但用作为总体标准差的点估计，可以证明即不是总体标准差的无偏估计量。2222222()()[()]XEXVarXEXnX又例如，样本均值是总体均值的无偏估计，但即也不是的无偏估计量。关于无偏估计的几点注记：（1）无偏估计不一定存在（2）对可估参数，无偏估计一般不唯一。（3）无偏估计不一定是好估计思考•无偏性的特质II.有效性26一个未知参数可能有不同的无偏估计量，这些无偏估计量中哪个更好？直观的想法是希望无偏估计量围绕真值的波动越小越好，即估计量的方差越小越好。2712122111,,,1()()()2()()niXXXEXXXXnVarXnVarXnVarXVarXXX设是来自总体X的随机样本，且，则、都是的无偏估计量，但故当时，，则称比例4有效。282121122121121222221212222,(,)2111ˆˆ33222141ˆ()()()()33994159991111ˆ()()()()2244111442XXNXXXXVarVarXXVarXVarXVarVarXXVarXVarXVar设是来自正态总体的随机样本，指出两个总体均值的无偏估计量和哪个更有效。解：由于例51221ˆˆˆˆ()()Var，故比更有效。2912312(13)(13)[0,]0),,4ˆˆ1max,4min32iiiiXXXXXX设总体X服从上的均匀分布，未知（是来自的随机样本（）试证都是的无偏估计；（）上述哪个无偏估计量例6更有效？(13)32()0()01max0()[()](;)30iiYYFXXxxFxxxYXFXFXxxx证明：（1）设为的分布函数，则令，则X的分布函数、分布密度函数分别为其它（）30330(13)(13)322233300(13)1(133x44(max)3min0()1[1()](;)30331x(-x)(x-2xx)4(4min)4ˆmax3iiiiZZiiiEYdxEXZXFXFXxxxEZdxdxEX所以（）令，则X的分布函数、分布密度函数分别为其它（）所以（）即2(13)3)ˆ,4miniiiXX都是的无偏估计。III.均方误差准则323322222]})ˆ([)ˆ(]})ˆ([])()][ˆ(ˆ[2)]ˆ(ˆ[]})ˆ([)]ˆ(ˆ{[)ˆ(EEVarEEEEEEEEEE22ˆˆ[()]0ˆˆ()()ˆEEEVar特别地：如果是总体参数的无偏估计量，则，有均方误差越小，则估计量的误差平均也较小，因而也越优。34352222222221222222222224242244221ˆ()[()]1(1)[]112[()]1112()()()111242()11(1)12211niiEEXXnnSEnnESnnnVarSnnnnnnnnn而是总体方差的有偏估计量，其均方误差为由于，故在均方误差的意义下，有偏估计量比无偏21估计量更优。IV相合性（一致性）3738例8为估计一批产品的废品率p，随机抽取一样本X1,X2,…,Xn,其中：0i1,2,,n1iX取得合格品取得废品11ˆniipXXpn则是的无偏、一致估计量。1111()()(1)111ˆ()()()()1ˆiinnniiiiiniiEXpVarXppEpEXEXEXppnnnpXXpn解：由题设条件，易知即故是的无偏估计量。39nppnpnpXVarnXnVarXVarpVarniinii)1()1()(1)1()()ˆ(2121由切比雪夫不等式，对任意的，有0nppXVarpXPppP)1(1)(1}{}ˆ{220)1(1lim}ˆ{lim2nppppPnn11ˆniipXXpn故是的相合估计（一致估计量）。402121112211222,,,111()()()11()()()1{}()lim{}nniinniiiinniiiinXXXXXnEXEXEXnnVarXVarXVarXnnnPXVarXnPX设总体X的均值，方差都存在，是来自X的随机样本，试证是的相合估计（一致估计）。证：由于由切比雪夫不等式，对任意的例09，有221lim01nniinXXn故是的相合估计（一致估计）。相合性反映了当n趋于无穷大时估计量的性质，而对任意有限的n,相合性是没有意义的。相合性本身不能说明为使估计量达到一定精度n至少为多少。V淅近正态性定义2.5(p.87)定理2.1:(p.86)第二节信息不等式知识点：1、Fisher信息量2、Fisher信息不等式1、Fisher信息量定义2.8设统计结构可控，是Rk的子集合，假如定义在上取值于的随机向量(,,,)P(,)(,)kkRR'1ln()ln()(),,kpxpxSX满足（1）对一切有定义；（2）；（3）模平方可各，即，()0,ESX()SX2()ESX()SX则把的协差阵()SX'()(())()()IVarSXESXSX称为该统计结构的Fisher信息矩阵，简称Fisher信息,k=1时常称为Fisher信息量I例2.15求泊松分布族的Fisher信息量ln()()1pxxSx21()(())var()XIESX例2.16求正态分布族的Fisher信息矩阵2242()1(),22xxSX2*2()(())()ijIVarSXI其中11221()xIVar22244()1()22xIVar212242()1022xxIE信息不等式•Cramer-Rao不等式:用Fisher信息表示无偏估计的方差(协差阵)的一个不等式1'(())(),VarTXI•例（布丰问题）平面上有距离为d的一族平行线，向此平面任意投掷一长为l(ld)的针，求针与平行线相交的概率。思考题布丰实验的历史意义•1、产生了几何概率的思想2、诞生了一种统计实验方法——MontoCarlo方法dlxMxd/20,02dx＝（，x):0,0,0sin22dlxxA＝（，x):0从而，0sin()2()()2ldAmAlPAdmd的度量2＝＝＝的度量•应用：•历史上不少学者用此来计算近似值。方法是：投针n次，记录针与平行线相交的次数，•再以频率作为概率的近似值，就有：2()2nnlPAndlnd从而，nnnMontoCarlo方法第三节几种点估计的方法与应用知识点1、矩估计法2、极大似然估计法3、最小二乘估计法4、同变估计法5、稳健估计法一、矩法估计基本思想样本矩去替换总体矩60矩法估计的基本步骤121211122211,,,,,,1(,,)()(,,)()(,,)()kkkkkkkkXkkgEXgEXgEX若总体的分布函数中含有个未知参数，且分布的阶矩存在，它们都是的函数，其估计步骤为：、先求出6111k()k1