9.3方差分析

两个变量相关的检验1.X2检验及其相关测量法；2.Gamma及其他级序相关的验；3.单因方差分析与F检验；4.非参数检验：U检验与H检验；两个变量相关的检验两个变量在样本中相关并不能肯定它们在总体中也相关，因为样本中的相关可能是由抽样误差造成的。我们关心的是总体情况，因此用根据抽样理论，用样本资料检验两变量在总体中是否相关。在选用相关的检验法时，要注意检验法所要求的变量的测量层次；X2检验及其相关测量法X2检验法（非参数检验法）：要求：（1）随机样本；（2）两定类变量假设：H0:总体中X与Y不相关；H1:总体中X与Y相关；公式：X2＝sum[(f-e)2/e]自由度为Df=(r-1)(c-1)；f为样本观测的实际次数，e是预期次数。X2检验及其相关测量法预期次数：总体中两变量无关时，每格所应有的次数；算法：相应的两边缘次数的乘积除以样本量。eg:e11=B1*A1/ne12=B1*A2/ne21=B2*A1/ne22=B2*A2/nX2越大，H0的正确可能性愈大，即在总体中X与Y越可能是相关的。X2没有负值，用右端检定的方式。X2的抽样分布取决于自由度。自由度为Df=(r-1)(c-1)与卡方相关的测量法PHI系数：Φ相关系数的大小，表示两因素之间的关联程度。当Φ值小于0.3时，表示相关较弱；当Φ值大于0.6时，表示相关较强。C系数（列联相关系数）：0-1Cramer’sV相关系数:0-1以上三个系数都没有消灭误差比例的意义Gamma及其他级序相关的检验基本逻辑：以Gamma系数来求出样本中X与Y的相关，然后以Z检验法或t检验法来推论在总体中的Gamma是否等于0。方法：对于随机样本中两个定序变量，若n大于100，G值的抽样分布近似正态分布，若样本较小，G值的抽样分布近似t分布。Gamma及其他级序相关的检验直接检验S因子（S=Ns-Nd）：较为精确。方法（了解）：1.为使S的抽样分布近似正态分布，S——S’；2.S’的标准误se的求法；3.检验值Z=S’/se；凡是以S=Ns-Nd作为分子的级序相关系数，都可以通过S的检定来推论总体情况。单因方差分析与F检验单方差分析中的F检验：目的：1)推算不同（特征）总体中的均值是否相等;2)推断一个定类和一个数量型变量的相关关系方法：通过对各观察数据误差来源的分析来判断多个总体均值是否相等。要求：1.随机样本；2.有一个变量是定距变量；3.各组总体都是正态分布；4.各组总体具有相等的方差；什么是方差分析?（一个例子）表8-1该饮料在五家超市的销售情况超市无色粉色橘黄色绿色1234526.528.725.129.127.231.228.330.827.929.627.925.128.524.226.530.829.632.431.732.8【例8.1】某饮料生产企业研制出一种新型饮料。饮料的颜色共有四种，分别为橘黄色、粉色、绿色和无色透明。这四种饮料的营养含量、味道、价格、包装等可能影响销售量的因素全部相同。现从地理位置相似、经营规模相仿的五家超级市场上收集了前一时期该饮料的销售情况，见表8-1。试分析饮料的颜色是否对销售量产生影响什么是方差分析?（例子的进一步分析）•检验饮料的颜色对销售量是否有影响，即检验颜色与销售量之间的是否有关系；也就是四种颜色饮料的平均销售量是否相同•设1为无色饮料的平均销售量，2粉色饮料的平均销售量，3为橘黄色饮料的平均销售量，4为绿色饮料的平均销售量，也就是检验下面的假设H1:1,2,3,4不全相等H0:1234•检验上述假设所采用的方法就是方差分析方差分析中的基本概念1.因素或因子所要检验的对象称为因子要分析饮料的颜色对销售量是否有影响，颜色是要检验的因素或因子2.水平因素的具体表现称为水平A1、A2、A3、A4四种颜色就是因素的水平3.观察值在每个因素水平下得到的样本值每种颜色饮料的销售量就是观察值4.总体因素的每一个水平可以看作是一个总体比如A1、A2、A3、A4四种颜色可以看作是四个总体方差分析的基本思想和原理1.随机误差在因素的同一水平(同一个总体)下，样本的各观察值之间的差异，随机抽样带来的误差，无处不在！如同一种颜色的饮料在不同超市上的销售量是不同的不同超市销售量的差异可以看成是随机因素的影响，或者说是由于抽样的随机性所造成的。2.系统误差在因素的不同水平(不同总体)下各观察值之间的差异，或有无实验刺激所导致的差异。如同一家超市，不同颜色饮料的销售量也是不同的这种差异可能是由于抽样的随机性所造成的，也可能是由于颜色本身所造成的，后者所形成的误差是由系统性因素造成的。方差分析的基本思想和原理“误差”即可理解为差异、变异或变化。从两类误差的比较中来判断系统误差是否在总体中显著存在；系统误差是由于分类或分组造成的，因此：如果系统误差显著存在，则说明系统影响存在，即不同类别总体存在显著的差异；如果系统误差不存在，则说明系统影响不存在或影响很小（可以忽略不计），即不同类别总体不存在显著差异；通过系统误差和随机误差的比较来解决这个问题。两类误差的测量方法方差测量法方差是衡量“变异”的重要指标；两类方差：组内方差组间方差消减误差比例测量法消减误差比例是由一个（组）变量解释另一个（组）变量所减少的误差占总误差的百分比。两类比例：消减误差比例；不能消减的误差比例方差分析的基本思想和原理1.组内方差因素的同一水平(同一个总体)下样本数据的方差比如，无色饮料A1在5家超市销售数量的方差组内方差只包含随机误差2.组间方差因素的不同水平(不同总体)下各样本之间的方差比如，A1、A2、A3、A4四种颜色饮料销售量之间的方差组间方差既包括随机误差，也包括系统误差方差比较如果不同颜色(水平)对销售量(结果)没有影响，那么在组间方差中只包含有随机误差，而没有系统误差。这时，组间方差与组内方差就应该很接近，两个方差的比值就会接近1如果不同的水平对结果有影响，在组间方差中除了包含随机误差外，还会包含有系统误差，这时组间方差就会大于组内方差，组间方差与组内方差的比值就会大于1当这个比值大到某种程度时，就可以说不同水平之间存在着显著差异。方差分析中的基本假定1.每个总体都应服从正态分布对于因素的每一个水平，其观察值是来自服从正态分布总体的简单随机样本比如，每种颜色饮料的销售量必需服从正态分布2.各个总体的方差必须相同对于各组观察数据，是从具有相同方差的总体中抽取的如四种颜色饮料的销售量的方差都相同3.观察值是独立的如每个超市的销售量都与其他超市的销售量独立方差分析中的基本假定1.在上述假定条件下，判断颜色对销售量是否有显著影响，实际上也就是检验具有同方差的四个正态总体的均值是否相等的问题2.如果四个总体的均值相等，可以期望四个样本的均值也会很接近四个样本的均值越接近，我们推断四个总体均值相等的证据也就越充分样本均值越不同，我们推断总体均值不同的证据就越充分方差分析中的研究假设若研究假设成立，即H1:i(i=1，2，3，4)不全相等至少有一个总体的均值是不同的有系统误差这意味着四个样本分别来自均值不同的四个正态总体Xf(X)3124方差分析中的虚无假设如果虚无假设成立，即H0:1=2=3=4四种颜色饮料销售的均值都相等没有系统误差这意味着每个样本都来自均值为、方差为2的同一正态总体Xf(X)1234单因素方差分析的步骤•提出假设•构造检验统计量•统计决策提出假设1.一般提法H1:1，2，…，k不全相等H0:1=2=…=k(因素有k个水平）2.对前面的例子H1:1，2，3，4不全相等•颜色对销售量有影响•H0:1=2=3=4•颜色对销售量没有影响构造检验的统计量•为检验H0是否成立，需确定检验的统计量•F分布恰好是两个样本方差之比的抽样分布，因此，构造F统计量进行检验；•F分布由两个自由度决定；•构造统计量需要计算水平的均值全部观察值的总均值离差平方和均方(MS)两个样本方差比的抽样分布：F分布设X1，X2，…，Xn1是来自正态总体N~(μ1,σ12)的一个样本，Y1，Y2，…，Yn2是来自正态总体N~(μ2,σ22)的一个样本，且Xi(i=1,2,…，n1)，Yi(i=1,2,…，n2)相互独立，则将F(n1-1,n2-1)称为第一自由度为(n1-1)，第二自由度为(n2-1)的F分布)1,1(~21222212222122nnFssssyxyx单因方差分析与F检验（以一个定类和一个定距变量为例）检验过程：H1：总体中，定类变量对定距变量有影响，即存在相关关系，那么E2不等于0。H0:总体中两个变量没有关系，即E2=0，故F=0；根据H0确定抽样分布。两个自由度：（k-1）和（n-k）若H0正确，则在F的抽样分布中，F值越大出现的机会就越小；故根据样本数据算出的F值越大，越容易否定H0。单因方差分析与F检验例题：20名同学的家庭职业背景对语文水平的影响语文水平（得分）干部工人农民7852838259759173829061788580808151836454各组个案数785各组均值84.2961.7579.60各组方差4.409.642.87单因方差分析与F检验问题：总体中三组家庭背景的学生是否有不同的语文成绩？步骤：H0:M1=M2=M3;H1:不完全相同；E=0.84,n=20,k=3F=E2(n-k)/(1-E2)(k-1)=19.83在所要求的显著度下查表得Fa。若F大于Fa，则拒绝H0，即总体中三类家庭背景的学生的语文成绩存在差别。方差分析：将全部方差分解为两部分：消减方差和剩余方差F=总体之消减方式/总体之剩余方差=BSS/df1:betweengroupssumofsquaresWSS/df2:withingroupssumofsquares积距相关与回归系数的检定H1：总体中r和b不等于0H0：总体中r=b=0用F检定检定假设方法的共同点只适用于随机抽样，不能用于分析非随机样本其关心的都是总体情况，而不是样本情况目的都在了解总体中是否想过，而不是样本的强弱程度非参数检验：U检验与H检验检验一个二分变量与一个定序变量关系的非参数检验法：U检验、K-S检验、走动检验；三个或以上组在级序上的差异检验：H检验分析一个定类与一个定距变量关系时，可用t检验或F检验；若定类变量为二分变量，可用随机化检验法。非参数检验：U检验与H检验U检验;适于分析一个二分定类变量与一个定序变量的关系，即分析两个随机样本的等级排列是否有显著差别。U1=n1n2+n1(n1+1)/2-R1;U2=n1n2–U1;U值是U1、U2中的较小者。n1,n2都大于10时，U值的抽样分布近似正态分布，可用Z分布来检验；Z=(U-M)/SE;M=n1n2/2;SE=[n1n2/12+(n1+n2+1)/12]1/2非参数检验：U检验与H检验H检验：若超过样本两个样本，可用单因级序方差分析；公式：P204H的抽样分布近似卡方分布，自由度为k-1;例题：P204