概率论与数理统计 第7章 参数估计

第七章参数估计第一章随机事件与概率§1随机事件§2概率§3概率的计算§4概率的加法法则§5条件概率与乘法规则§6全概率公式与贝叶斯公式§7独立试验概型第二章随机变量及其分布§1随机变量的概念§2随机变量的分布§3二元随机变量§4随机变量函数的分布第三章随机变量的数字特征§1数学期望§2数学期望的性质§3条件期望§4方差、协方差第四章几种重要的分布§1重要的离散型分布§2重要的连续型分布第五章大数定律与中心极限定理§1切贝谢夫不等式§2大数定律第六章样本分布§1总体、个体与样本§2样本分布函数§3样本分布的数字特征§4几个常用统计量的分布第七章参数估计§1估计量的优劣标准§2点估计§3区间估计第八章假设检验§1假设检验的原理§2一个正态总体的假设检验§3两个正态总体的假设检验第九章回归分析§1一元线性回归方程§2相关性检验§3可线性化的回归方程全书目录全书目录目录§1估计量的优劣标准§2点估计§3区间估计实际工作中碰到的随机变量往往是知道大致的分布类型，但不知道确切的分布。需要根据样本来估计总体的参数。这类问题称为参数估计。通常有两种方法：点估计：以样本的某一函数值作为总体中未知参数的估计值。区间估计：依据样本把总体的参数确定在某一范围内。§1估计量的优劣标准设为总体中要被估计的一个未知参数。12nX,X,...,X是的估计值，它是样本的函数。2如样本平均值X与样本方差S等。希望估计量能代表真实参数。三种常用的评价标准：(一)一致估计,n一般但希望当时,与越来越接近。即样本容量增大时,依概率收敛于n1n,0,limP1定义如果当时,依概率收敛于即任给则称为参数的一致估计。2iiEXDX12＝，＝证2：nii11EXEXnnii11EXn2nii11DXDXnni2i11DXn212n[0,]12X12n若总体服从上的均匀分布,X,X,...,X是一组样本。证明：＝是例的一致估计。利用切贝谢夫不等式，对任给0PP2XPX2222112n22213n221P13n即nlimP1故即是的一致估计(二)无偏估计如果有一系列抽样构成各个估计，希望这些估计的期望值与参数的真实值相等。即样本估计量在参数值的真实值周围摆动，没有系统误差。1n2(X,...,X),E,D222从总体中取一组样本。试证样本平均值X与样本方差S分别是及的例无偏估计。E定义2如果成立,则称估计为参数的无偏估计。nii11EXEXn证:nii11EXnnii11DXDXnni2i11DXn2nn22ii11ESEXXn1n2ii11EXXn1nn22iii1i11EX2(X)(X)nXn1n22ii11EXnXn1n22ii11EXnEXn1221nnn1n2(三)有效估计无偏性只保证了的概率平均等于，其取值可能与相差很大。要保证的取值集中于附近，就要求的方差越小越好。1212123DD,定义设与都是的无偏估计量，若则称是比有效的估计量。在的一切无偏估计量中方差昀小的估计量称为的有效估计量。3ii1333iiiii1i1i11XX3X'a03aX,a比较总体期望的两个无偏估计的有效性。例解：EX33iiii1i1EX'aEXa2DX3223333222iiiiii1i1i1i1DX'aDXaaa22ijijaa2aa利用有232i123i1aaaa222123121323aaa2aa2aa2aa222222222123121323aaaaaaaaa2221233aaa32ii13a23322iii1i1DX'aa故33222iii1i1a3a23DXXX'故与有效§2点估计(一)矩法利用样本的数字特征作为总体数字特征的估计。X用样本平均值估计总体的期望。2S用样本方差估计总体的方差1147解：X＝灯泡的平均寿命约为1147小时1某厂某天生产了一大批灯泡，从中抽取10个进行寿命试验，得数据如下(单位：小时)1050110010801120120012501040113013001200问该天生产的灯泡平均寿命例大约是多少？例2用矩法估计事件发生的概率p01P1pp解：Ep1nX,...,X若为一组样本，则nii11pXXnmnnii1mX其中表示重复试验中事件发生次数。即可用事件发生的频率来估计概率。]3[a,b设总体服从上的均匀分布，用矩例法估计a与b1n设X,...,X为解：一组样本abE2由于21D(ba)12abX2令221(ba)S12联立求解可得aX3SbX3S(1)x0x1(x)04设总体其它是例未知参数，求的矩估计。10Ex(1)xdx解：121X2令＝2X11X解得＝矩估计的优点：直接、简便缺点：未充分利用分布信息(二)昀大似然法两人射击，一人打中，一人没打中，认为打中者技术较好。0.010.1某事件发生的概率为或，若一次试验中该事件发生了，认为其概率为0.1解：有放回地抽取3个球，若取到0个或1个白球，认为袋中黑球多。若取到2个或3个白球，认为袋中白球多。15133在一个袋中有许多黑球与白球，其数量比为：或：，通过抽样判断黑球多还是例白球多。用表示取到的白球个数14若白球占，则的分布为0123272791P6464646434若白球占，则的分布为0123192727P646464644可见，当＝0或1时，认为白球占12334当＝或时，认为白球占即选择使观察结果概率较大的参数。1n(x,...,x)设为总体的一组样本观察值。,要选取总体分布中未知参数的估计值使得作为参数时，上述样本出现的可能性昀大。若是离散型随机变量这种方法称为昀大似然法。iiP(x)p(x,)1nx,...,x则样本发生的概率为n1nii1L(x,...,x,)p(x,)其中是未知参数，可以是一个值，也可以是向量。若是连续型随机变量，(x,)则应将概率改为n1nii1L(x,...,x,)(x,)称L为样本的似然函数若是向量，则L是多元函数。实际上，是似然函数L的昀大值点。11n定义如果L(x,...,x,)在处达到昀大值，则称是的昀大似然估计。由于lnL与L同时达到昀大值lnL求的昀大值点往往更方便。lnL称为对数似然函数。1m(,...,)若为向量，＝解方程组1mlnL0...lnL01m(,...,),得到驻点它常常就是昀大值点。例6用昀大似然法估计事件发生的概率p01P1pp解：k1kP(k)p(1p)k0,11nx,...,x若为一组样本观察值nii1L(p)P(x)iinx1xi1p(1p)nniii1i1xnxp(1p)取对数得nniii1i1lnL(p)xlnpnxln(1p)求驻点：nniii1i111lnL(p)'xnxp1p＝0nii11pxxn解得这是唯一的可能极值点，也是昀大值点。即由昀大似然法，可以由频率估计概率。k11nP(k)p(1p),k1,2,...,x,...,x7总体服从几何分布设为样本观察值，用昀大似然法估例计参数pniii1nxnx1ni1Lp(1p)p(1p)解：nii1lnLnlnpxnln(1p)nii1n1(lnL)'xnp1p＝0解得nii1pnx1xx1ex0(x,)()080已知其它若有一组样本162950681001301402702803404104505206201902108001100用昀大似然法估计例1nx,...,x用表示解：样本观察值ixni11Lenii11xn1enii11lnLnlnxni2i1n1(lnL)'x＝0求解得到昀大似然估计为nii11xnx1x1629...800110018而318318故＝,921n2已知服从正态分布N(),(x,...,x)为的一组样本观察值，用昀大似然法估计，例的值。2i2(x)n22i11Le2解：n2i2i1n1n(x)22211e2n22i2i1n1lnLnln2ln(x)222分别对与求偏导，得ni2i1lnL1(x)＝0n2i224i1lnLn1(x)22＝0求解可得nii11xnxn22ii11(x)nn2ii11(xx)n22注意：不是的无偏估计。x1n1(x)e,0(x,...,x)2(1)(2)10设总体，为的例一组样本观察值。用矩法估计参数的昀大似然估计是否无偏估计。解：x1(1)Exedx2＝0不能用它估计参数22DE(E)2Ex21xedx222222s令s2故＝ixni11(2)Le2nii11xnn11e2nii11lnLnln2nlnxni2i1n1(lnL)'x＝0求解得到昀大似然估计为nii11xniEXE由于x1xedx2nii11EEXn故ni11n即是的无偏估计。§3区间估计点估计值未必等于真实值。即使相等也无法判定。根据估计量的分布，在一定的可靠程度下，指出被估计的总体参数所在的可能数值范围。这类问题称为参数的区间估计。121n1n(X,...,X)(X,...,X),找两个统计量与使得12P()112(,)区间称为置信区间。12及分别称为置信区间的上下限。1称为置信系数，也称置信概率或置信度。是事先给定的一个小正数，它是指参数估计不准的概率。0.050.01一般设＝或＝12当样本不同时，与也会不同，而是真实值。1212P()(,)不是落在区间的概率。12而是随机区间(,)包含的概率。即平均100次抽样计算得到的100个区间中，约有(1-)100个区间包含12(,)区间不包含的可能性不超过即平均1次估计中至多会有一次犯错误。12(,)一般说来，的区间长度越小(越精确)，则可靠程度1-也越小。()一方差已知时，总体期望值E的区间估计1、总体分布未知(),D为一般总体非正态已知n1nii11(X,...,X)XXn设为一组样本，1E