如何选择数据分析方法

如何选择数据分析方法?吴喜之2数据和目的相结合的出发点•1.相关分析及回归类模型（相关、简单的回归、Logistic回归、对数线性模型、方差分析和一般线性模型）•2.经典多元分析内容（主成分分析、因子分析、聚类分析、判别分析、对应分析）3主要涉及的相关问题•什么是相关？•列联表中定性变量的相关(Fisher&c2检验)•定量变量的相关(Pearson相关系数(r)，Kendall’st、Spearman’r)基本统计书中的估计和假设检验所涉及的仅仅是对一些互相没有关系的变量的描述。但是现实世界的问题都是相互联系的。不讨论变量之间的关系，就无从谈起任何有深度的应用；而没有应用，前面讲过的那些基本概念就仅仅是摆设而已。5变量间的关系•人们每时每刻都在关心事物之间的关系。•比如，职业种类和收入之间的关系、政府投入和经济增长之间的关系、广告投入和经济效益之间的关系、治疗手段和治愈率之间的关系等等。•这些都是二元的关系。•还有更复杂的诸多变量之间的相互关系，•比如企业的固定资产、流动资产、预算分配、管理模式、生产率、债务和利润等诸因素的关系是不能用简单的一些二元关系所描述的。6例1广告投入和销售之间的关系（数据ads.sav）AD14121086420SALE7060504030201007这是什么关系？•这两个变量是否有关系？显然，它们有关系；这从散点图就很容易看出。基本上销售额是随着广告投入的递增而递增。•如果有关系，它们的关系是否显著？这也可以从散点图得到。当广告投入在6万元以下，销售额增长很快；但大于这个投入时，销售额增长就不明显了。因此，这两个变量的关系是由强变弱。•这些关系是什么关系，是否可以用数学模型来描述？本例看上去是可以拟合一个回归模型（后面会介绍），但绝不是线性的（用一条直线可以描述的）。具体细节需要进一步的分析8这是什么关系？•这个关系是否带有普遍性？也就是说，仅仅这一个样本有这样的关系，还是对于其他企业也有类似的规律。这里的数据还不足以回答这个问题。可能需要考虑更多的变量和收集更多的数据。一般来说，人们希望能够从一些特殊的样本，得到普遍的结论，以利于预测。•这个关系是不是因果关系？在本问题中，看来似乎有因果关系。这类似于一种试验；而试验时是容易找到因果关系的。但是，一般来说，变量之间有关系但绝不意味着存在因果关系。这里充满了危险和未知！9定性变量间的关系（关于某项政策调查所得结果:table7.sav）观点：赞成观点：不赞成低收入中等收入高收入低收入中等收入高收入男201055810女25157279大致可以看出女性赞成的多，低收入赞成的多（还有吗？）10opinion*incomeCrosstabulationCount71519414525128252403112301opinionTotal123incomeTotal观点：赞成(1)观点:不赞成(0)低收入(1)中等收入(2)高收入(3)低收入(1)中等收入(2)高收入(3)男1201055810女025157279sex*opinionCrosstabulationCount184765233558418212301sexTotal01opinionTotal11列联表(contingencytable).•前面就是一个所谓的三维列联表这些变量中每个都有两个或更多的可能取值。这些取值也称为水平；比如收入有三个水平，观点有两个水平，性别有两个水平等。该表为3×2×2列联表•在SPSS数据中，表就不和课本印的一样，收入的“低”、“中”、“高”用代码1、2、3代表；性别的“女”、“男”用代码0、1代表；观点“赞成”和“不赞成”用1、0代表。有些计算机数据对于这些代码的形式不限（可以是数字，也可以是字符串）。12Table7.sav数据13列联表•列联表的中间各个变量不同水平的交汇处，就是这种水平组合出现的频数或计数（count）。•列联表可以有很多维。维数多的叫做高维列联表。•注意前面这个列联表的变量都是定性变量;但列联表也会带有定量变量作为协变量。14二维列联表的检验•研究列联表的一个主要目的是看这些变量是否相关。比如前面例子中的收入和观点是否相关。•这需要形式上的检验15二维列联表的检验•对于上面那样的二维表。我们检验的零假设和备选假设为•H0:观点和收入这两个变量不相关;H1:这两个变量相关。•这里的检验统计量在零假设下有（大样本时）近似的c2分布。•当该统计量很大时或p-值很小时，就可以拒绝零假设，认为两个变量相关。•实际上有不止一个c2检验统计量。包括Pearsonc2统计量和似然比（likelihoodratio）c2统计量；它们都有渐近的c2分布。•根据计算可以得到（对于这两个统计量均有）p-值小于0.001。因此可以说，收入高低的确影响观点。1621niiiiOEQE12lnniiiiOTOEPearsonc2统计量似然比c2统计量Oi代表第i个格子的计数，Ei代表按照零假设（行列无关）对第i格子的计数的期望值17二维列联表的检验•刚才说，这些c2统计量是近似的，那么有没有精确的统计量呢？•当然有。这个检验称为Fisher精确检验；它不是c2分布，而是超几何分布。•对本问题,计算Fisher统计量得到的p-值也小于0.001。•既然有精确检验为什么还用近似的c2检验？•这是因为当数目很大时，超几何分布计算相当缓慢（比近似计算会差很多倍的时间）；而且在计算机速度不快时，根本无法计算。因此人们多用大样本近似的c2统计量。而列联表的有关检验也和c2检验联系起来了。18Fisher精确检验19Chi-SquareTests10.288b1.001.002.0019.1071.00310.4961.001.002.001.002.001113PearsonChi-SquareContinuityCorrectionaLikelihoodRatioFisher'sExactTestNofValidCasesValuedfAsymp.Sig.(2-sided)ExactSig.(2-sided)ExactSig.(1-sided)Computedonlyfora2x2tablea.0cells(.0%)haveexpectedcountlessthan5.Theminimumexpectedcountis23.45.b.SPSS:Weight-Describ-crosstab-exact…20Chi-SquareTests20.456a2.000.00021.1902.000.00020.713.00020.290b1.000.000.000.000123PearsonChi-SquareLikelihoodRatioFisher'sExactTestLinear-by-LinearAssociationNofValidCasesValuedfAsymp.Sig.(2-sided)ExactSig.(2-sided)ExactSig.(1-sided)PointProbability0cells(.0%)haveexpectedcountlessthan5.Theminimumexpectedcountis10.33.a.Thestandardizedstatisticis-4.504.b.下面为SPSS对于table7.savs数据产生的下面二维列联表相关分析的输出opinion*incomeCrosstabulationCount71519414525128252403112301opinionTotal123incomeTotal21两个定量变量的相关•如果两个定量变量没有关系，就谈不上建立模型或进行回归。•但怎样才能确定两个变量有没有关系呢?•最简单的办法就是画出它们的散点图。22例1有50个从初中升到高中的学生.为了比较初三的成绩是否和高中的成绩相关,得到了他们在初三和高一的各科平均成绩(数据:highschool.sav)50名同学初三和高一成绩的散点图初三成绩110100908070605040高一成绩100908070605040从这张图可以看出什么呢?23问题是•怎么判断这两个变量是否相关?•如何相关?•相关的度量是什么?•进一步的问题是能否以初三成绩为自变量，高一成绩为因变量来建立一个回归模型以描述这样的关系，或用于预测。四组数据(每个有两个变量的样本)的散点图-3-2-1012-2-1012(a)xy-2-1012-2-1012(b)xy-2-1012-2-1012(c)xy-3-2-1012302468(d)xy25几种相关的度量•Pearson相关系数,又叫相关系数或线性相关系数。它一般用字母r表示.•Kendallt相关系数(Kendall’st)这里的度量原理是把所有的样本点配对,看每一对中的x和y是否都增加来判断总体模式.•Spearman秩相关系数,它和Pearson相关系数定义有些类似,只不过在定义中把点的坐标换成各自样本的秩.•它们各自都有以不相关为零假设的检验,即p-值小则相关.但各自的相关含义不尽相同.•现在再来看例1的数据(highschool.sav).关于初三和高一成绩的相关系数的结果是Pearson相关系数，Kendallt和Spearman秩相关系数分别为0.795,0.595和0.758。27例子•x=-20:20•y=x^2-20-10010200100200300400xy28例子•x=-20:20•y=x^2Correlations1.0001.0004141.00011.0004141PearsonCorrelationSig.(2-tailed)NPearsonCorrelationSig.(2-tailed)NVAR00002VAR00003VAR00002VAR00003Correlations1.000.000.1.0004141.0001.0001.000.41411.000.000.1.0004141.0001.0001.000.4141CorrelationCoefficientSig.(2-tailed)NCorrelationCoefficientSig.(2-tailed)NCorrelationCoefficientSig.(2-tailed)NCorrelationCoefficientSig.(2-tailed)NVAR00002VAR00003VAR00002VAR00003Kendall'stau_bSpearman'srhoVAR00002VAR00003-20-10010200100200300400xy29例子•x=1:41•y=x^530例子Correlations1.824**.0004141.824**1.0004141PearsonCorrelationSig.(2-tailed)NPearsonCorrelationSig.(2-tailed)NVAR00007y6VAR00007y6Correlationissignificantatthe0.01level(2-tailed).**.•x=1:41•y=x^5Correlations1.0001.000**..41411.000**1.000..41411.0001.000**..41411.000**1.000..4141CorrelationCoefficientSig.(2-tailed)NCorrelationCoefficientSig.(2-tailed)NCorrelationCoefficientSig.(2-tailed)NCorrelationCoefficientSig.(2-tailed)NVAR00007y6VAR00007y6Kendall'stau_bSpearman'srhoVAR00007y6Correlationissignificantatthe0.01level(2-tailed).**.31多个（定性或定量）变量间的关系