数据处理中常用统计方法的基本原理及重要概念_2

第16卷第3期(总第93期)辐射防护通讯1996年6月()胡逢全(中国辐射防护研究院,太原,030006)44.1无论是参数的假设检验还是分布类型的假设检验或是多因素的方差分析中各因素间是否存在交互作用的检验等,数理统计都只能从统计学意义上以一定的概率否定和不予否定原假设,而不能肯定原假设。这是用于各种场合、各种目的的统计假设检验本身的共同原理所决定的。我们结合分析一个具体的假设检验例子来说明统计假设检验的一般步骤和原理。若要检验以下Ⅰ、Ⅱ两组测量数据有否系统误差:Ⅰ:1285,1224,1239;x1=1349,S1=31.8Ⅱ:1285,1324,1308,1371;x2=1322,S2=36.4统计假设检验的一般步骤为:(1)根据检验目的,提出一个原假设H0和相应的备择假设H1。上例中,先由测量条件认为两组数据分别来自一个N(L1,R21)和N(L2,R22)的正态总体,且由S1和S2相差不大,而假定R1=R2;然后把检验有否系统误差简化为是否L1=L2,即它们是否来自同一正态分布,故设立H0:L1-L2=0;H1:L1-L2≠0。(2)选择一个合适的检验用的统计量[实际上是选取一个合适的判断函数(或称判断工具)],它至少须满足以下两个条件:1)它能反映待检参数(L1,L2)特征;2)当H0能成立时,它的精确分布形式或渐近分布形式是已知的。在上例中,我们可以选t为检验统计量,也可选秩和T或其它统计量。t=û(x1-x2)-(L1-L2)û/S(x1-x2)其中:S(x1-x2)=(n1-1)S21+(n2-1)S22(n1+n2-2)(1n1+1n2)因为H0成立时,t=ûx1-x2û/S(x1-x2)的分布形式可由df=n1+n2-2的t分布而精确计算的。这后一条件,使H0的假定不仅要根据所需检验的问题,而且还要根据能否找到H0成立时分布形式已知的统计量。所以显然不能设H0为L1≠L2。(3)根据预定的置信水平将统计量所有可取值划分为两个区域:一个为否定区域,另一个为不足以否定的区域或称保留区域,使否定区域满足:1)其面积占整个分布区的比例为预定的一个小概率A。2)设置在离其分布的最可几值最远的两端或一端(由双侧检验或单侧检验而定)。在上例中,定A=0.05,按双侧检验,将t分布曲线划分为否定区和不予否定区(如图所示)。(4)根据样本观察值,计算统计量值,进行判断:1)当其落在否定区域,就以(1-A)%置信水平否定原假设,接受备择假设。那是因为原假定如果成立,按这样规定的抽样测量所得的随机样本的观察值算得的统计量落在这个区域的概率很小(A=0.05)。而我们由这一次测量结果算得的统计量值,竟然落在一次测量(一个随机样本)不大可能出现的区域。那么,除了还有抽样运气不好造成的估计不对的概率A外,我们否定原假设是有充分理由的(因为如果原假设不予否定,就会与统计学上推得的检验统计量分布的规律相矛盾,而这个规律又是业已证明为正确的)。但没有提供关于造成原假设被否定的事实上的原因的直接证明。即如上例中,若tt0.05/2,5=2.57,就可说以95%置信水平,两组数据间有系统误差;但并没有确定无异地告知:这种系统误差产生的原因(归因)——可能不一定完全是预先安排的某个测量条件的差别所引起的。2)当其值落在保留区域,即落在原假设成立时,该统计量经常出现的区域(有1-A的概率)。也就是说,原假设成立与这次测量结果算得的这个检验用的统计量值之间,在统计学上尚未发现显著矛盾。不足以从统计学角度否定原假设。但是:¹没有排斥,从统计学以外的其它角度,可能否定原假设,正如一般临床诊断手段不能否定的某种疾病,可能被死后的病理解剖资料所否定。º没有排斥,对同一测量结果。用其它检验统计量可能否定原假设。如上例中,t=2.31t0.05/2,5=2.57,不足以否定原假设;但用秩和作检验统计量,TX=6.5T-(n1=3,n2=4,A=0.05)=7就可以否定原假设。这是因为各种统计假设检验方法(可相应为利用不同的检验统计量)对检验问题的准确程度(可靠性)和灵敏度是不同的。故要根据实际情况适当选用。»没有排斥,采用更精密的测量手段,或在保持原有测量条件下增大样品容量,仍可能用原来的检验方法否定原假设。正如二个用磅秤未能称出显著性差异的螺丝钉,用分析天平称重足以称出差异;或者用普通天平,增加重复测量次数也可称量出差异。¼不能排斥,根据大致相同条件下,另一次测量结果,采用相同检验方法可能否定原假设。这是由于样本观察值的随机性造成的。½在A=0.05水平上未能否定原假设,不能排斥在A=0.10水平上可以否定原假设。若能在A=0.10上否定原假设,那么要全面考虑测量精度、样品容量、抽样的随机性、检验方法的灵敏度,以及对研究对象已有知识的掌握慎加判断。不便轻易保留原假设,更不能就此去肯定原假设。35胡逢全:数据处理中常用统计方法的基本原理及重要概念(Ⅱ)X参见刘智敏编著.误差和数据处理.原子能出版社,1981.p.90。当原假设不足以否定时,在统计学意义上也不能等同于原假设可以肯定的原因。从根本上讲是还有犯第Ⅱ类错误的可能。就是当原假设不是真的而备择假设成立时,由样本观察值算得的检验统计量的数值,也可落在关于原假设的保留区域内。落入此区域的概率B为犯第Ⅱ类错误的概率,它与A、n、S和所用统计检验的方法及备择假设本身有关。一般难以用简单的方法确定B。综上,对于经统计假设检验原假设不足以否定,较为准确的理解为:根据这次测量结果,采用这种检验方法,以(1-A)×100%置信水平,在统计学上未发现与原假设有显著矛盾,为原假设成立提供了一个证据(而没有提供证明)。当然在日常应用中,不必这样详尽地叙述;但是,在用作统计推断时,应有这样的理解,不要被某种主观愿望——预期的结果所迷惑,而简单地把原假设不足以否定推广至原假设可以肯定。另外,以上也可以启示对一个统计假设检验的完整的描述。应该给出:1)对这次测量数据的简化结果:平均值、标准差(或均值标准差)及样品容量n,特别要注意不要漏掉n。2)所用的检验统计量(即检验方法:t检验、F检验、V2检验、秩次检验等)。3)置信概率A。从上可见,统计学上的显著性差异与实际的差异是两个本质上不同的概念。因为:第一,统计学只能告知以一定置信水平发现有显著性差异或达到显著性相关(即若无显著性差异或相关,将与业已证明了的随机变量必须满足的统计学上规律相矛盾);但(单就数理统计)分析不能告知造成这种差异和相关的原因。它的原因不一定就是你所预期的原因——待检验的因素所致的效应。也许“极端性”一点的例子更能看清这种似乎有点“隐蔽”的内在的概念上的距离。例如:二批螺钉在普通天平上称重,发现了在重量上有显著性差异,但也许它不是你要检验的它们在某种场合中使用合格率差异的原因。同样,如某个时期,上海地区痢疾发病率与北京某个自由市场的熟食销售量之间,能作出相关系数接近1的回归直线。但是,绝不能说北京这个自由市场的熟食销售量增加是上海地区痢疾发病率增加的原因。又例,当我们要判断某厂及时发现的某次事故,是否造成某个河域的污染。虽然目前这个河域中的某种放射性核素浓度与以往的正常水平之间已发现有统计学意义上的显著性差异,但在没有作更细的调查分析以排除其它污染的可能之前,也不能断言:这个差异就是这次事故造成的,还可能是在上次本底测量与这次测量之间的另一次事故或其它原因的污染(如在此区域,有人洗过实际上已有污染的衣服或工具等)造成的。第二,在统计学上没有发现显著性差异或相关等,只说明在一定的置信水平下它没有与统计学上的规律相矛盾。而既没有直接证明它们没有显著性差异,也没有对它(无显著性差异)是否与其它一切业已证明的科学规律(不仅仅是统计学规律)不相矛盾提供任何保证。所以,它不一定是实际上的无显著性差异。4.24.4.1,()从广义的观点看,事物之间总是有差异的,绝对的“一致”是不存在的。更何况统计检验的有或无显著性差异与实际上的有或无差异具有上述的本质上的不同。所以,由统计检验的36　　　　　　　　　　　　　　　　　辐射防护通讯　　　　　　　　　　　1996年第16卷第3期有或无显著性差异进一步作统计推断时,必须了解:(i)测量或调查数据准确程度(即测量或调查阶段能够鉴别的最小差异是多大)。如在致死性流行病学调查中,要了解在一定时期特定人群中调查关注的某种致死性疾病发病数误差是多大?在无死亡证书调查人群中为多大?在有死亡证书而无解剖学实验验证情况下误差为多大?在医疗条件落后的农村误差又为多大?在不了解这些基本数据的可靠程度情况下,统计推断的可靠性也无法确定。(ii)所用统计检验方法灵敏度如何(这需知道统计检验的势函数),即它能有效分辨的最小差异是多大?(iii)对预计到可能产生较大干扰的一些因素,是否在测量或调查中已考虑并使之减弱至可毫不含糊地给出“归因”的回答。这需要对研究问题有关领域的知识有相当广泛而又深入的了解,包括足够的经验。强调对统计推断要慎之又慎,无论从概念上,还是来自实践应用的反馈,都是不过分的,不严密的、导致虚伪甚而荒唐结论的统计推断,国内外均屡见不鲜。因此,近年国际上强调对统计推断要有专家判断,以防虚伪结论。4.2.2,医学上,为了探索某种处理的效果,需要把其它的偶然变差减少到实际可能的最低程度,以便不同处理的效果之差异能更灵敏地显示出来,常常采用配对比较法。如选10对白鼠,每对都是近交系的同胎鼠,而且出生重量也大致相等。再在每对白鼠中,随机取一个作对照(测量值为x对,i);另一个作处理(测量值为x处,i)。以实验所得的每对数据之差di=x处,i-x对,i的平均值d=∑di/n与0作比较,来检验对照组与处理组间有否显著性差异。当差数d1,d2……dn近似满足正态分布时,用t=d/Sd　　　　　df=n-1Sd=[∑(di-d)2/n(n-1)]1/2检验,当ûtût0.05/2,df(双侧检验),则两组间差异显著,否则,为未发现有显著性差异,它不仅可用于医、农类,也可广义地用于其它类同情况(4.3有实例),这比成组数据平均值比较法更灵敏。4.2.3,FF0.05/2,df,,究竟哪些组之间有显著性差异及其显著性水平A为多少?哪些组之间未出现有显著性差异等还需进一步去比较,即要作多重比较。常用的方法Newman-Keuls氏检验法(参见:高玉堂主编.环境监测常用统计方法(第七章).原子能出版社,1981.p.90及4.3节实例1)。因此,单因素多组的方差分析,常常不如用其它方法(如置信区间判断法,成组或配对数据的t检验法)更方便。笔者曾发现有本公开出版的教科书,将FF0.05/2,df情况,判为各组间均有显著性差异;在来稿中,也曾发现多次这类误解所致的错误。4.2.4,,()从原理上讲,置信区间是对参数设定的上、下两个设定值,作了两次统计检验的结果,因而能提供更多信息,这是涉及置信区间与统计检验的两重性问题,可详见文献:李德平等.37胡逢全:数据处理中常用统计方法的基本原理及重要概念(Ⅱ)置信区间与探测下限(第2节:置信区间及其与统计检验关系).辐射防护,1994.4(4):303。这里给出以下几点在显著性检验中有用的结论:¹对配对数据差数d(或比值m)总体期望值的(1-A)×100%置信区间“未扣住”和“扣住”0(或1),就分别相当于以A(双侧检验的分位数)显著水平“发现”和“尚未发现”的差数d(或比值m)的期望值E(d)〔或E(m)〕与0(或1)有显著性差异。º两组数据总体均数之差L(L=L1-L2)的(1-A)×100%置信区间“未扣住”和“扣住”0,就分别相当于以A显著水平“发现”和“尚未发现”两组数据总体间有显著性差异。»由两组数据(x1、S1、n1,x2、S2、n2)得到的各自总体均值的(1-A)×100%置信区间之间,若完全没有相重区域,则可以在A显著水平上肯定L1与L2有显著性差异;若两者有较大的相重区,一般不能排除L1与L2未见显著性差异(严格的检验应按º中的由L1-L2之置信区间是否“扣住”0来判断)。当两数