浙大概率论与数理统计课件第七章参数估计概率论课件

统计方法描述统计推断统计参数估计假设检验第七章、参数估计第一节：点估计第三节：估计量的评选标准第四节：区间估计第五节：正太总体均值与方差的区间估计第六节：（0—1）分布参数的区间估计第七节：单侧置信区间现在我们来介绍一类重要的统计推断问题:参数估计问题是利用从总体抽样得到的信息来估计总体的某些参数或者参数的某些函数.参数估计估计废品率估计湖中鱼数估计平均降雨量参数估计点估计区间估计在参数估计问题中，假定总体分布形式已知，未知的仅仅是一个或几个参数.第一节点估计一、点估计问题的提法二、估计量的求法三、估计量的评选标准设总体X的分布函数形式已知,是待估参数,是X的一个样本，是相应的一个样本值.一、点估计问题的提法(;)Fx12,,,nxxx12,,,nXXX.),,,(ˆ),,,,(ˆ2121来估计未知参数用它的观察值一个适当的统计量点估计问题就是要构造nnxxxXXX.),,,(ˆ21的估计量称为nXXX.),,,(ˆ21的估计值称为nxxx.ˆ,简记为通称估计15011293260456543210knkk次的纱锭数断头断头次数.,,的估计值作为参数把的观察值再计算出先确定一个统计量xxXX解.133.1x.133.1的估计值为.,,150,,0,试估计参数数据如下内断头的次数只纱锭在某一时间段现检查了为未知参数为参数的泊松分布假设它服从以随机变量是一个断头次数在某纺织厂细纱机上的X例1二、估计量的求法由于估计量是样本的函数,是随机变量,故对不同的样本值,得到的参数值往往不同,求估计量的问题是关键问题.估计量的求法:(两种)矩估计法和最大似然估计法.1.矩估计法它是基于一种简单的“替换”思想建立起来的一种估计方法.是英国统计学家K.皮尔逊最早提出的.其基本思想是用样本矩估计总体矩.理论依据:大数定律11niiXXn()PEXμ其中为未知参数，现在从总体X中抽取样本.由辛钦大数定律设总体X的分布函数为11lim0.nkkiniPXEXn可以推广为，.lim,011nkknXnP有则对于任意正数.lim,011nkknXnP有则对于任意正数11lim0.niniPXEXn12,,,r12(,,,)nXXX12(;,,,)rFx设X1,X2,…,Xn来自总体X的样本记总体k阶矩为)(kkXE样本k阶矩为11nkkiiAXn用样本矩来估计总体矩,用样本矩的连续函数来估计总体矩的连续函数,从而得出参数估计，这种估计法称为矩估计法.记总体k阶中心矩为kkXEXE)]([样本k阶中心矩为11()nkkiiBXXn矩估计法的具体步骤:11(2),;1,2,,nlllliiAAXlkn令.,,,21的方程组个未知参数这是一个包含kk12(1)()(,,,)1,2,llkEXlk求出12(3),,,,k解出其中12ˆˆˆ,,,k.用表示(4)用方程组的解分别作为的估计量，这种估计量称为矩估计量.矩估计量的观察值称为矩估计值.12ˆˆˆ,,,k12,,,k.,,),,,(,,,],[21的矩估计量求的样本是来自总体未知其中上服从均匀分布在设总体baXXXXbabaXn解)(XE1,2ba)(22XE,41222baba2)]([)(XEXD,1211niiXnAba令2224)(12)(Ababa,112niiXn例2)(1222121AAabAba即解方程组得到a,b的矩估计量分别为)(3ˆ2121AAAa,)(312niiXXnX)(3ˆ2121AAAb,)(312niiXXnX.,,,,,,0,221222的矩估计量和求一个样本是又设均为未知和但且有都存在和方差的均值设总体nXXXX解)(XE1,2221AA令解方程组得到矩估计量分别为,ˆ1XA2122ˆAAniiXXn1221.)(112niiXXn例3,222)]([)(XEXD)(22XE上例表明:总体均值与方差的矩估计量的表达式，不因不同的总体分布而异.的矩估计量即得未知例222,,,),,(~NX,ˆX2ˆ.)(112niiXXn矩法的优点是简单易行.缺点是，当总体类型已知时，没有充分利用分布提供的信息.一般场合下,矩估计量不具有唯一性.2.最大（极大）似然估计法最大似然法是在总体类型已知条件下使用的一种参数估计方法.它首先是由德国数学家高斯在1821年提出的.然而，这个方法常归功于英国统计学家费歇.费歇在1922年重新发现了这一方法，并首先研究了这种方法的一些性质.GaussFisherFisher极大似然法的基本思想：一只野兔从前方窜过.是谁打中的呢？某位同学与一位猎人一起外出打猎.如果要你推测，你会如何想呢?只听一声枪响，野兔应声倒下.你就会想，猎人命中的概率一般大于这位同学命中的概率.看来这一枪是猎人射中的.这个例子所作的推断已经体现了极大似然法的基本思想.设有外形完全相同的两个箱子,甲箱有99个白球1个黑球,乙箱有1个白球99个黑球.今随机地抽取一箱,然后再从这箱中任取一球,结果发现是白球.问这球是从哪一个箱子中取出的?分析导致结果是白球的原因有两个,一个是这球从甲箱取的,另一个就是这球从乙箱取的.如果是从甲箱取的,则取得白球的概率为99%;如果是从乙箱取的,则取得白球的概率为1%,由此看到,这球是从甲箱中取出的概率比从乙箱中取出的概率要大得多,因此很自然的,我们认为结论“这球是从甲箱中取出的”比结论“这球是从乙箱中取出的”要合理得多.最后我们作出推断,这球是从甲箱取出的.最大似然估计法，是建立在最大似然原理的基础上的求点估计量的方法。最大似然原理的直观想法是：在试验中概率最大的事件最有可能出现。例如，一个试验如有若干个可能的结果，若在一次试验中，结果A出现，则一般认为A出现的概率最大。,,,ABC极大似然估计法：当给定样本X1,X2,…Xn时，定义似然函数为：这里x1,x2,…,xn是样本的观察值.);();();(),,;()(22111nnnxXPxXPxXPxxLL);();();(),,;()(211nnxfxfxfxxLL看作参数的函数，它可作为将以多大可能产生样本值x1,x2,…,xn的一种度量.()L选择,使达到最大值.()L若总体X属离散型,其分布律为{}(;),PXxpx1(;)niipx,当给定样本值12(,,,)nxxx分布律为似然函数形式已知,θ为待估参数,12(,,,)nXXX是总体X的一个样本，则样本12,,,nXXX的它是的函数,称()L为样本的似然函数.的概率为1()(;),niiLpx后,则样本取到观察值12,,,nXXX12,,,nxxx若总体X属连续型,其概率密度函数为(;),fx12,,,nxxx形式已知,θ为待估参数,12(,,,)nXXX是总体X的一个样本，则12,,,nXXX的联合1(;)d,niiifxx1(;)niifx,设密度为是相应于样本的一个样本值,则12,,,nXXX12(,,,)nXXX的邻域内的概率近似为12(,,,)nxxx落在点因不随而变，故只需考虑1dniix1(;)niifx若1212ˆ(,,,;)max(,,,;)nnLxxxLxxx则称12ˆ(,,,)nxxx为的最大似然估计值.替换成样为参数的最大似然估计量.若将上式中样本值12(,,,)nxxx12(,,,)nXXX,则得12ˆˆ(,,,)nXXX本称称为似然方程dln()0dL为最大似然估计的必要条件为因此，ˆ由于与在同一处达到最大值，()Lln()L求最大似然估计量的一般步骤为：（1）求似然函数()L（2）一般地，求出ln()L及似然方程（3）解似然方程得到最大似然估计值12ˆˆ(,,,)nxxx（4）最后得到最大似然估计量12ˆˆ(,,,)nXXXdln()0dL.,,,,),,1(~21的最大似然估计量求个样本的一是来自设pXXXXpBXn,,,,,,,2121一个样本值的为相应于样本设nnXXXxxx解1,0,)1(}{1xppxXPXxx的分布律为似然函数iixnixpppL11)1()(,)1(11niiniixnxpp例4),1ln(ln)(ln11pxnpxpLniinii,01)(lndd11pxnpxpLpniinii令的最大似然估计值解得p.1ˆ1xxnpnii的最大似然估计量为p.1ˆ1XXnpnii这一估计量与矩估计量是相同的..,,,,,,),,(~22122的最大似然估计量和求的一个样本值是来自为未知参数设总体XxxxNXn解的概率密度为X,),;()(222221xexpπX的似然函数为,π21),(222)(12ixnieL例5,)(21ln2)π2ln(2),(ln12222niixnnL0),(ln0),(ln222LL令,0112niinx,0)()(21212222niixn解得由0112niinx,1ˆ1xxnnii解得由0)()(21212222niixn,)(1ˆ212xxnnii为的最大似然估计量分别和故2,ˆX.)(1ˆ212XXnnii它们与相应的矩估计量相同..,,,,,,,,],[21的最大似然估计量求的一个样本值是来自总体未知其中上服从均匀分布在设总体baXxxxbabaXn解),,,,min()(nxxxx211记),,,,max()(nnxxxx21的概率密度为X其它,,),;(01bxaabbaxp例6,,,,,)()(bxxabxxxann121等价于因为的函数的似然函数为作为ba,其它,,,)(),()()(011nnxbxaabbaL有的任意于是对于满足条件baxbxan,,)()(1,)()(),()()(nnnxxabbaL111,nnnxxxbxabaL)(,),()()()()(11取到最大值时在即似然函数的最大似然估计值ba,,minˆ)(inixxa11,maxˆ)(ininxxb1的最大似然估计量ba,,minˆ1iniXa.maxˆ1iniXb说明：用求导方法求参数的最大似然估计有时行不通，这时要用极大似然原则来求.小结两种求点估计的方法:矩估计法最大似然估计法在统计问题中往往先使用最大似然估计法,在最大似然估计法使用不方便时,再用矩估计法.);();,,,()(niinxpxxxLL121似然函数第三节估计量的评价标准一、无偏性二、有效性三、相合性问题的提出从前一节可以看到,对于同一个参数,用不同的估计方法求出的估计量可能不相同,那么那一个估计量好？好坏的标准是什么?下面介绍几个常用标准.一、无偏性（无偏估计）的一个样本，为总体若XXXXn,,,21,的分布中的待估参数是包含在总体X)(的取值范围是无偏估计的实际意义:无系统误差.无偏性是对估计量的一个常见而重要的要求..