第09讲分布类型的检验

第三部分常用假设检验方法第10章分布类型的检验10.1假设检验的基本思想10.2正态分布检验10.3二项分布检验10.4游程检验10.5本章小结第11章连续变量的统计推断(一)——t检验11.1t检验基础11.2样本均数与总体均数的比较11.3成组设计两样本均数的比较11.4配对设计样本均数的比较11.5本章小结10.1假设检验的基本思想10.1.1问题的提出10.1.2假设检验的基本思想10.1.3假设检验的两类错误10.1.4假设检验中的其他问题10.1.1问题的提出在总体的分布函数完全未知或只知其形式，但不知其参数的情况下，为了推断总体的某些性质，提出某些关于总体的假设。例如，提出总体服正态分布的假设；对正态总体提出均值等于a0的假设等等。假设检验就是根据样本对所提出的假设作出判断：是接受，还是拒绝。10.1.1问题的提出假设检验是用来判断样本与样本，样本与总体的差异是由抽样误差引起还是本质差别造成的统计推断方法。10.1.2假设检验的基本思想如何利用样本值对一个具体的假设进行检验?通常借助于直观分析和理论分析相结合的做法,其基本原理就是人们在实际问题中经常采用的所谓小概率反证法思想。小概率思想是指小概率事件（P0.01或P0.05）在一次试验中基本上不会发生。10.1.2假设检验的基本思想反证法思想是先提出假设(检验假设H0)，再用适当的统计方法确定假设成立的可能性大小，如可能性小,则认为假设不成立，若可能性大，则还不能认为假设不成立。10.1.2假设检验的基本思想先要根据问题的题意或者对总体分布的未知参数提出个原假设，比如某正态总体的均值等于5(a=5)。这种原假设也称为零假设(nullhypothesis)，记为H0。或者对总体分布的形式做出假设，例如总体服从正态分布。前者属于参数假设检验，后者属于非参数假设检验。10.1.2假设检验的基本思想与此同时必须提出备选假设(或称为备择假设，alternativehypothesis)，比如总体均值大于5（a5）。备选假设记为H1a。备选假设应该按照实际世界所代表的方向来确定，即它通常是被认为可能比零假设更符合数据所代表的现实。比如上面的H1为a5；这意味着，至少样本均值应该大于5；10.1.2假设检验的基本思想至于是否显著，依检验结果而定。检验结果显著(significant)意味着有理由拒绝零假设。因此，假设检验也被称为显著性检验(significanttest)。10.1.2假设检验的基本思想有了两个假设，就要根据数据来对它们进行判断。数据的代表是作为其函数的统计量；它在检验中被称为检验统计量（teststatistic）。根据零假设（不是备选假设！），可得到该检验统计量的分布；再看这个统计量的数据实现值（realization）属不属于小概率事件。10.1.2假设检验的基本思想也就是说把数据代入检验统计量,看其值是否落入零假设下的小概率范畴；如果的确是小概率事件，那么就有可能拒绝零假设，或者说“该检验显著。”否则说“没有足够证据拒绝零假设”，或者“该检验不显著。”10.1.2假设检验的基本思想在零假设下，检验统计量取其实现值及（沿着备选假设的方向）更加极端值的概率称为p-值（p-value）。如果得到很小的p-值，就意味着在零假设下小概率事件发生了。如果小概率事件发生，是相信零假设，还是相信数据呢？当然多半是相信数据，拒绝零假设。10.1.2假设检验的基本思想但小概率并不能说明不会发生，仅仅发生的概率很小罢了。拒绝正确零假设的错误常被称为第一类错误（typeIerror）。在备选假设正确时反而说零假设正确的错误，称为第二类错误（typeIIerror）。10.1.2假设检验的基本思想零假设和备选假设哪一个正确，是确定性的，没有概率可言。而可能犯错误的是人。涉及假设检验的犯错误的概率就是犯第一类错误的概率和犯第二类错误的概率。负责任的态度是无论做出什么决策，都应该给出该决策可能犯错误的概率。10.1.2假设检验的基本思想到底p-值是多小时才能够拒绝零假设呢？也就是说，需要有什么是小概率的标准。这要看具体应用的需要。但在一般的统计书和软件中，使用最多的标准是在零假设下（或零假设正确时）根据样本所得的数据来拒绝零假设的概率应小于0.05，当然也可能是0.01，0.005，0.001等等。10.1.2假设检验的基本思想这种事先规定的概率称为显著性水平(significantlevel)，用字母alpha来表示。alpha并不一定越小越好，因为这很可能导致不容易拒绝零假设，使得犯第二类错误的概率增大。10.1.2假设检验的基本思想当p-值小于或等于alpha时，就拒绝零假设。所以，alpha是所允许的犯第一类错误概率的最大值。当p-值小于或等于alpha时，拒绝原假设H0，就说这个检验是显著的。无论统计学家用多大的alpha作为显著性水平都不能脱离实际问题的背景。统计显著不一定等价于实际显著。反过来也一样。10.1.2假设检验的基本思想实际上，多数计算机软件仅仅给出p-值，这有很多方便之处。比如alpha=0.05，而假定所得到的p-值等于0.001。这时如果采用p-值作为新的显著性水平，即新的alpha=0.001，于是就可以说，在显著性水平为0.001时，拒绝零假设。10.1.2假设检验的基本思想这样，拒绝零假设时犯错误的概率实际只是千分之一而不是旧的alpha所表明的百分之五。在这个意义上，p-值又称为观测的显著性水平（observedsignificantlevel）。在统计软件输出p-值的位置，有的用“p-value”，有的用significant的缩写“Sig”就是这个道理。10.1.2假设检验的基本思想归纳起来，假设检验的一般步骤为：1.写出零假设和备选假设；2.确定检验统计量；3.确定显著性水平；4.根据数据计算检验统计量的实现值；5.根据这个实现值计算p-值；10.1.2假设检验的基本思想6.进行判断：如果p-值小于或等于alpha，就拒绝零假设，这时犯（第一类）错误的概率最多为alpha；如果p-值大于alpha，就不拒绝零假设，因为证据不足。10.1.4假设检验中的其他问题（1）做假设检验之前，应注意资料本身是否有可比性。（2）当差别有统计学意义时应注意这样的差别在实际应用中有无意义。（3）根据资料类型和特点选用正确的假设检验方法。（4）根据专业及经验确定是选用单侧检验还是双侧检验。10.1.4假设检验中的其他问题（5）当检验结果为拒绝无效假设时，应注意有发生I类错误的可能性，即错误地拒绝了本身成立的H0，发生这种错误的可能性预先是知道的，即检验水准那么大；当检验结果为不拒绝无效假设时，应注意有发生II类错误的可能性，即仍有可能错误地接受了本身就不成立的H0，发生这种错误的可能性预先是不知道的，但与样本含量和I类错误的大小有关系。10.1.4假设检验中的其他问题（6）判断结论时不能绝对化，应注意无论接受或拒绝检验假设，都有判断错误的可能性。（7）报告结论时是应注意说明所用的统计量，检验的单双侧及P值的确切范围。10.2正态分布检验10.2.1K-S检验的原理10.2.2分析实例10.2.1K-S检验的原理单样本的Kolmogorov-Smirnov检验（K-S检验，柯尔莫哥诺夫-斯米尔诺夫检验）是用来检验一个数据的观测累积分布是否是已知的理论分布。设总体X～F(x)，F(x)是未知的，F0(x)是一个给定的分布函数，欲检验H0:F(x)=F0(x)10.2.1K-S检验的原理由于当n较大时，理论上有经验分布函数Fn(x)是F(x)的良好近似。构造Kolmogorov–Smirnov统计量|)()(|sup0xFxFDnx来反映F(x)和F0(x)之间的差异，若D较小，表明二者间没有显著差异，否则有显著差异。10.2.1K-S检验的原理Kolmogorov–Smirnov证明了统计量D的极限分布为Q()分布，计算出DnZ记为Z值，并根据极限分布计算出相应的显著性概率)(.值ZZPSigp若Sig.小于给点的显著性水平alpha，则拒绝H0,否则，接受H0.10.2.2分析实例例12.1请判断SPSS自带数据集anxity.sav中score的分布是否服从正态分布。操作如下：AnalyzeNonparametictest1-sampleK-STestvariablelist框：选入scoreTestdistribution复选框组：选中normal复选框单击OK钮系统给出的统计分析结果，具体如下：数据文件操作过程由于p=Sig.=0.6520.05，故接受原假设，认为score服从正态分布。One-SampleKolmogorov-SmirnovTest4810.005.174.106.088-.106.735.652NMeanStd.DeviationNormalParametersa,bAbsolutePositiveNegativeMostExtremeDifferencesKolmogorov-SmirnovZAsymp.Sig.(2-tailed)ScoreTestdistributionisNormal.a.Calculatedfromdata.b.One-SampleKolmogorov-SmirnovTest4810.005.174.106.088-.106.735.652NMeanStd.DeviationNormalParametersa,bAbsolutePositiveNegativeMostExtremeDifferencesKolmogorov-SmirnovZAsymp.Sig.(2-tailed)ScoreTestdistributionisNormal.a.Calculatedfromdata.b.变量名Score样本量48正态分布参数均数10.00标准差5.17最极端的差异绝对值.106正值.088负值-.106K-S检验的统计量Z值.735近似P值(双侧).652注意K-S检验可以检验正态分布，均匀分布，泊松分布，指数分布。10.3二项分布检验10.3.1二项分布检验的原理10.3.2分析实例10.3.1二项分布检验的原理当一个变量只取0，1值时，称为二分值变量。当一个问题只有两种可能结果时，称为二分值问题。二分值问题的一种结果称为“成功”，另一种称为“失败”。二项分布检验（BinomialTest）就是对二分值问题的成功概率进行检验。10.3.1二项分布检验的原理设S+表示对二分值问题进行n次试验中成功的次数。例如用同样的方法掷一枚硬币100次，出现正面44次，出现反面56次，问该硬币是否均匀？该例中S+=44，S-=56，检验假设为：H0:p=p0=0.5当H0为真时，S+服从参数为P0的二项分布。10.3.1二项分布检验的原理计算S+的值，并根据二项分布计算相应的显著性概率Sig.，若Sig.小于给定的显著性水平alpha，则拒绝H0，否则接受拒绝H0。因为是基于二项分布的概率进行判断，所以此种检验法称为二项分布检验法。当试验总次数n较大时，S+近似服从正态分布。所以往往根据正态分布计算Sig.的近似值。10.3.2分析实例例10.6根据以往经验，新生儿染色体异常率一般为1%，现某医院观察了当地共400名新生儿，只发现一例染色体异常。数据见binominal.sav，该地新生儿染色体异常率是否低于一般？10.3.2分析实例原假设：H0：p=0.01，异常率并无不同备择假设：H1：p0.01，异常率低于一般加权：DataWeightCases：频数numAnalyzeNonparametricTests－BinomialTestVariable：染色体异常率illTestPro