应用数理统计课件-2

Chapter2参数估计一、参数估计的概念定义：已知母体的分布，估计某个或几个未知数字特征（参数）的问题，称为参数估计。二、参数估计的分类分为点估计和区间估计；点估计就是根据样本，估计参数为某个数值；区间估计就是根据样本，估计参数在一定范围内，即一个区间；总体分布类型已知的统计问题，称为参数型统计问题；总体分布类型未知的统计问题，称为非参数型统计问题；§1点估计1212121212121),(,,...,),,.,,...,,,,...,.(,,...,),(,,...,),(,,...,),nnnnnnxxxTTxxxT定义设总体X的分布函数为F(x,是未知参数的取值范围称为参数空间XXX是来自总体X的样本其观察值为若构造统计量XXX以数值作为的估计值则称统计量XXX为的估计量为的估计量和为的估计一.点估值统计的概称为为念,.,.的估计记为这种对未知参数进行定值估计称点估计为二、矩估计法,,,,21nXXX相设r.v.序列,2,1,)(iXEkki则0有01lim1knikinXnP互独立具有相同的分布，且11()11-knkiiniiEXXnXXnkkk如果总体X的k阶原点矩存在，当n充分大时，可以用样本的k阶原点矩作为E(X)的估计；可以用样本的k阶中心矩（）作为E(X-EX)的估计；1111(;,,)(,,)(;,,),1,,.,,)klllkkkXFxkklaEXxdFxlk设母体的分布函数含有个未知参数，若母体的阶矩存在，则母体X的阶矩是(的函数。求估计量的步骤：1.求出母体的前k阶矩11112.1(,,)(1,2,,)3.,,nlkliikkaXlkn用子样矩作为母体矩的估计令求出矩估计解方程组，得，分别是，，的估计量。称为矩估计量。三、极大似然法“概率最大事件，最可能出现”参数的哪个值使观察结果出现的概率最大，就应取这个值作为参数的估计值。111(,,),1,,(,,)(,,),kiinniinixxikXXXX这种估计法称为最大似然估计法，依赖于样本值，即在上式中，将观察值换成子样，得到=称为的最大似然估计量。111111(;),(,,)()(),(,,),,knniikkXfxxxXLfx定义设母体的概率密度(或分布律)为其中是未知参数，由设(,,)是的一个观察值。定义似然函数为若在达到最大值，则称分别为的最大似然估计。ln00,(1,2,,).iiLLik解方程组或得到估计值.极大估计值利用了总体分布函数的信息，使估计量具有良好的性质ˆˆˆ()uu性质设是参数的极大估计，u=u()是上的实值函数，且u有单值的反函数，则便是u=u()的极大似然估计。垐()u注：一般，若待估计函数为u=u()，u()是的连续函数，而是的极大似然估计，则便是u()的极大似然估计。四、用顺序统计量估计参数无论X服从何种分布，都可以样本中位数X作为总体均值E(X)的估计量，以样本极差R作为总体标准差DX的估计量。这种估计比较粗超。221222,,,~(,)21lim2ntxnXXXXNXPXxedt定理设是来自总体的样本，是样本中位数，则对任意x,有n（）§2点估计的优良性一、无偏性111(,,),,)lim[(,,)],nnnXXEEEEXX定义设是参数的估计量。若则称是的无偏估计量；若则称(是估计量的偏差；若则称是的渐进无偏估计量。二、有效性1212122,DD定义设，都是参数的无偏估计量，若则称比有效。1.有效性注：方差越小越好。那么是否有下界？121213,DD定义设是参数的无偏估计量，若对的任一无偏估计量，都有则称是一致最小方差无偏估计量。2.一致最小方差无偏估计定理2.2.1(Rao-Cramer不等式)41,()DnI定义设是参数的无偏估计量，若＝则称是的有效估计量。3.有效估计注：有效估计一定是UMVUE,而UMVUE不一定是有效估计51()e(,D(nI定义设是参数的无偏估计量，称)＝)为的有效率。三、相合性、渐进正态性17(,,)lim(||)0,,nnnnPnnXXP定义设是参数的一列估计量，若0，总有即则称是的一致估计量或相合估计量。1.相合性不仅要求估计量无偏、方差较小，还要求当样本容量n增大时，估计量越来越接近参数的真值2.2.2lim,lim0,nnnnnnED定理设是参数的一个估计量，若且则是的相合估计。2.2.3())nng定理设是的相合估计，g(x)在x=连续，则是g(的相合估计。128(,,)0,lim,(0,1)nnnnnnnnXXnNnnn定义设是的估计量，若存在一列满足其中0时，有－的分布收敛于则称是的渐进正态估计，称为的渐进方差。2.渐进正态性定理2.2.4渐进正态估计一定是相合估计§3极大似然估计的数值解及渐进分布一、极大似然估计的数值解法Newton-Raphson算法(N-R算法)1.单参数情形()0l极大似然估计的关键是求解方程0m+1()2()3|1,2llmmgotostep（）（m）（）（m）（m）（m+1）（m）（m+1）step1选定迭代初值和允许误差stepstep若|，则终止计算，即为所求；否则2.多参数情形1122m+11(,,)()()()()(,,,)()()(())()(()()kTkijkkkkijlllglHhHg（）（m）（m）（m）是未知参数二、极大似然估计的相合性和渐进正态分布定理2.3.1MLE是相合估计1222.3.2X(;),,,dlnf(X;)I()E(-)dˆn()()(0,1)ˆ.nnnfxXXXnINMLE定理设总体的密度函数或分布律为为的样本，为一维参数。记则当时，的分布函数收敛到的分布函数，其中是的三、极大似然估计的近似分布§4Bayes估计只利用总体信息和样本信息的统计学称为经典统计学除了利用总体信息和样本信息外，还利用先验信息的统计学称为Bayes统计学一、先验分布与后验分布Bayes公式niiABPAP1)()()()(1iniiBAPBP全概率公式Bayes公式)(ABPk)()(APABPkniiikkBAPBPBAPBP1)()()()(1.定义：在参数空间上的概率分布，叫作的先验(prior)分布122(,,,).nxxxxx定义：得到样本值后，在后验分布就(aposterioridistribution)是在给定条件下的分布二、Bayes风险决策论的术语1.决策空间和决策函数1212(,,,)..(,,,).nnxxxxdxxx利用样本点对参数作一个估计，在决策论中叫作决策可能采取的全部决策所成的集合，称为决策空间，记作估计值就是决策空间上的函数，称为决策函数，记为估计问题就是选择合适的决策函数，选择的标准用损失函数和风险函数来描述。2.损失函数和风险函数3L(,)L(,)ddd定义：是非负函数，其中，为决策函数，则称为一个损失函数。12124R(,)[L(,(,,,))]R(,)(,,,)nndEdXXXddXXX定义：记称为为决策函数的风险函数，简称风险函数。3.Bayes风险***R(,)R(,),ddddd若存在决策函数，使得，，则称为的一致最优决策函数。5R(,),()[R(,)]()ddBdEdBddd定义：设参数是具有先验分布的随机变量，决策函数的风险函数是记，其中期望值是对求的.称为决策函数在给定先验分布下的Bayes风险，简称的Bayes风险。三、Bayes估计1.最大后验估计(MAP)取使后验概率达到最大的参数值作为参数的估计值，称为Bayes最大后验估计。2.期望型估计取使后验分布的期望值作为参数的估计值，称为Bayes期望型估计。3.最小风险估计126(;),(),(,,,)(),nfxxXXXdxdddbayesbayes＊＊＊定义：设总体X的密度函数为是随机变量，其先验分布为是样本。若存在一个决策函数使得对任意一个决策函数d(x)，均有B()B()则称B()为给定先验分布下的最小风险估计，简称估计。2*(,)(()),,()(|)Lddxbayesdxhxd定理2.4.1：在平方损失函数下参数的估计为后验分布的数学期望即。2(,)(()),.Lddxbayes定理2.4.2：在绝对值损失函数下参数的估计为后验分布的中位数4.先验分布的选取