71第八章 假设检验

第八章假设检验一、假设检验(HypothesisTesting)问题的提出有许多实际问题，需要通过部分信息量，对某种看法进行判定或估计。例1、某企业生产一种零件，以往的资料显示零件平均长度为4cm，标准差为0.1cm。工艺改革后，抽查100个零件发现其平均长度为3.94cm。问：工艺改革后零件长度是否发生了显著变化？例2、某厂有一日共生产了200件产品，按国家标准，次品率不得超过3%才能出厂。现从该批产品中随机抽取10件，发现其中有2件次品，问这批产品能否出厂。第一节假设检验的一般问题例1要判明工艺改革后零件平均长度是否仍为4cm；例2要判明该批产品的次品率是否低于3%。进行这种判断的信息来自所抽取的样本这两个例子中都是要对某种“陈述”做出判断：所谓假设检验，就是事先对总体参数或总体分布形式作出一个假设，然后利用样本信息来判断原假设是否合理，即判断样本信息与原假设是否有显著差异，从而决定是否接受或否定原假设假设检验分两类：（1）参数假设检验；（2）非参数检验或自由分布检验。1、假设检验采用的逻辑推理方法是反证法为了检某假设是否成立，先假定它正确，然后根据样本信息，观察由此假设而导致的结果是否合理，从而判断是否接受原假设；2、判断结果合理与否，是基于“小概率事件不易发生”这一原理的即在一次抽样中，小概率事件不可能发生。如果在原假设下发生了小概率事件，则认为原假设是不合理的；反之，小概率事件没有发生，则认为原假设是合理的。二、假设检验的基本思想因此，置信度大小的不同，有可能做出不同的判断。3、假设检验是基于样本资料来推断总体特征的，而这种推断是在一定概率置信度下进行的，而非严格的逻辑证明。在例1中，要判断工艺改革后零件平均长度是否仍为4cm，可先假设仍为4cm，根据样本平均数的抽样分布理论，则样本点应以较大的可能性（置信度）落在以4为中心的某一范围内，或者说在给定置信度1-下(比如99%）：20Znx其中：0为所要检验的假设（这里为4cm）为总体标准差（这里为0.1cm）N为样本容量（这里为100）Z/2为置信度1-下，标准正态分布对应的右尾临界值如果取置信度为0.99，则显著性水平=0.01，对应的临界值为Z/2=2.58换言之，如果原假设为真，则样本测算值将以99%的可能性落在[-2.58，2.58]区间内。通过一组（实际）样本计算得：说明小概率事件（标准化后的样本均值只有1%的可能性落在[-2.58，2.58]区间外）发生了。这是不合理的，应拒绝原假设。1、提出原假设(nullhypothesis)和备择假设(alternativehypothesis)原假设为正待检验的假设：H0；备择假设为可供选择的假设：H1一般地，假设有三种形式：（1）双侧检验：H0:0;H1:0（2）左侧检验：H0:0;H1:0或H0:0;H1:0（3）右侧检验：H0:0;H1:0或H0:=0;H1:0三、假设检验的步骤2、选择适当的统计量，并确定其分布形式统计量是根据所涉及的问题而定的，如总体均值、比例（率）可选取正态分布的Z统计量等。3、选择显著性水平或置信度，确定临界值显著性水平为原假设为真时，样本点落在临界值外的概率（即抽样结果远离中心点的概率，它为小概率），也是原假设为真时，拒绝原假设所冒的风险。临界值将样本点所落区域分为拒绝域与接受域，临界值“外”为拒绝域，“内”为接受域。通过样本计算统计量的具体值，与临界值比较，根据落入拒绝域或接受域的情况来拒绝或接受原假设。4、作出结论2接受域2接受域接受域拒绝域拒绝域拒绝域（a）双侧检验(b)左侧检验（c）右侧检验由于假设检验是根据有限的样本信息来推断总体特征，由样本的随机性可能致使判断出错。（一）第一类错误当原假设为真时，而拒绝原假设所犯的错误，称为第I类错误或拒真错误。易知犯第I类错误的概率就是显著性水平:)|(00trueisHHrejectP)|(00falseisHHrejectnotP四、假设检验中的两类错误（二）第二类错误当原假设为假时，而接受原假设所犯的错误，称为第II类错误或采伪错误。犯第II类错误的概率常用表示:假设检验中的四种可能情况H0为真H0不真接受H0GoodBad/TypeIIerror拒绝H0Bad/TypeIerrorGood1、犯第一类错误与犯第二类错误的概率存在此消彼长的关系;2、若要同时减少与，须增大样本容量n。3、通常的作法是，取显著性水平较小，即控制犯第一类错误的概率在较小的范围内；4、在犯第二类错误的概率不好控制时，将“接受原假设”更倾向于说成“不拒绝原假设”。注意：一、总体均值的假设检验（一）总体方差已知，正态总体，样本大小不限如果总体X~N(,2)，在方差已知的情况下，对总体均值进行假设检验。由于第二节总体均值、比例和方差的假设检验注意：如果总体方差未知，且总体分布未知，但如果是大样本（n=30），仍可通过Z统计量进行检验，只不过总体方差需用样本方差s替代。因此，可通过构造Z统计量来进行假设检验：例3：根据以往的资料，某厂生产的产品的使用寿命服从正态分布N(1020,1002)。现从最近生产的一批产品中随机抽取16件，测得样本平均寿命为1080小时。问这批产品的使用寿命是否有显著提高（显著性水平：5%）？4.216100102010800nxZ由=0.05，查表得临界值：Z=Z0.05=1.645提出假设：H0：=1020，H1：1020检验统计量：比较：计算的Z=2.4Z=1.645判断：拒绝H0，接受H1，即这批产品的寿命确有提高。（二）总体方差未知，正态总体，小样本)1(~/0ntnsxt注：如果总体分布也未知，则没有适当的统计量进行假设检验，唯一的解决办法是增大样本，以使样本均值趋向于正态分布，从而再采用Z统计量。这时只能用t统计量进行假设检验：二、总体比例的假设检验大样本下，样本比例趋向于正态分布，因此可通过构造Z统计量的方法进行假设检验：)1,0(~)1(0NnPPPpZ注：1、如果总体比例P未知，可用样本比例p替代。2、Z统计量只适合大样本情况下的总体比例检验。只讨论限于正态总体方差的检验。设所要检验的原假设为：H0：)1(~)1(22022nSn202202202(或或三、总体方差的假设检验因此，可构造2统计量进行总体方差的假设检验。当H0成立时，S2/02接近于1，2的值在一个适当的范围内，当H0不成立时，S2/02远离1，2的值相当大或相当小。由于样本方差S2是总体方差2的无偏估计量，可通过它们的对比来构造检验统计量。可以证明，若H0为真，则在例2中，由于所抽样本只为10，为小样本，因此无法构造Z统计量进行总体比例的假设检验。但可以通过概率论的知识给予初步的判断：031.0110PPP237.0102001691941CCCP732.010200101940CCP则在任抽10件产品，至少有2件次品的概率为：在任抽10件产品中有一件次品的概率为：在任抽10件产品中无次品的概率为：说明：1、如果该批产品满足不超过3%的次品率，则从200件中随机抽取10件，至少有2件以上次品的概率不超过4%，这是一个很小的概率。2、这一小概率事件在一次抽样中出现，因此原假设这批产品的次品率不超过3%的判断很可能有错误，而应拒绝。3、因此可以认为这批产品的次品率大于3%，所以该批产品不能出厂。第三节假设检验中的其他问题一、区间估计与假设检验的关系1、区别：区间估计是依据样本资料估计总体的未知参数的可能范围；假设检验是根据样本资料来检验对总体参数的先验假设是否成立。区间估计通常求得的是以样本为中心的双侧置信区间；假设检验不仅有双侧检验也有单侧检验。2、联系都是根据样本信息对总体参数进行推断；都是以抽样分布为理论依据；都是建立在概率基础上的推断，推断结果都有风险；对同一问题的参数进行推断，使用同一样本、同一统计量、同一分布，因而二者可以相互转换。区间估计立足于大概率，通常以较大的把握程度（可信度）1-去估计总体参数的置信区间；假设检验立足于小概率，通常是给定很小的显著性水平去检验对总体参数的先验假设是否成立。二、假设检验中的P值假设检验的结论是在给定的显著性水平下作出的。因此，在不同的显著性水平下，对同一问题所下的结论可能完全相反（下图）。红点：在0.1的显著性水平下，拒绝原假设；在0.05的显著性水平下，接受原假设。在例3中，检验统计量的值Z=2.4，由于Z服从正态分布N(0,1)，则可求得统计量大于2.4的概率：P(Z2.4)=0.008假设检验P值的提出：通常：把这种“拒绝原假设的最小显著性水平”称为假设检验的P值。因此，若选定显著性水平0.008，则Z=2.4Z，Z值落入拒绝域若选定显著性水平0.008，则Z=2.4Z，Z值落入接受域。可见：若要拒绝原假设，显著性水平的最小值为0.008。一般地，可通过样本计算检验统计量的值C，根据具体分布求出该C值对应的P值（为一概率值），然后与给定的显著性水平进行比较：假设检验P值的应用：如果P，则在显著性水平下拒绝原假设；如果=P，则在显著性水平下接受原假设。