因子分析的基本概念和步骤

因子分析的基本概念和步骤一、因子分析的意义在研究实际问题时往往希望尽可能多地收集相关变量，以期望能对问题有比较全面、完整的把握和认识。例如，对高等学校科研状况的评价研究，可能会搜集诸如投入科研活动的人数、立项课题数、项目经费、经费支出、结项课题数、发表论文数、发表专著数、获得奖励数等多项指标；再例如，学生综合评价研究中，可能会搜集诸如基础课成绩、专业基础课成绩、专业课成绩、体育等各类课程的成绩以及累计获得各项奖学金的次数等。虽然收集这些数据需要投入许多精力，虽然它们能够较为全面精确地描述事物，但在实际数据建模时，这些变量未必能真正发挥预期的作用，“投入”和“产出”并非呈合理的正比，反而会给统计分析带来很多问题，可以表现在：计算量的问题由于收集的变量较多，如果这些变量都参与数据建模，无疑会增加分析过程中的计算工作量。虽然，现在的计算技术已得到了迅猛发展，但高维变量和海量数据仍是不容忽视的。变量间的相关性问题收集到的诸多变量之间通常都会存在或多或少的相关性。例如，高校科研状况评价中的立项课题数与项目经费、经费支出等之间会存在较高的相关性；学生综合评价研究中的专业基础课成绩与专业课成绩、获奖学金次数等之间也会存在较高的相关性。而变量之间信息的高度重叠和高度相关会给统计方法的应用带来许多障碍。例如，多元线性回归分析中，如果众多解释变量之间存在较强的相关性，即存在高度的多重共线性，那么会给回归方程的参数估计带来许多麻烦，致使回归方程参数不准确甚至模型不可用等。类似的问题还有很多。为了解决这些问题，最简单和最直接的解决方案是削减变量的个数，但这必然又会导致信息丢失和信息不完整等问题的产生。为此，人们希望探索一种更为有效的解决方法，它既能大大减少参与数据建模的变量个数，同时也不会造成信息的大量丢失。因子分析正式这样一种能够有效降低变量维数，并已得到广泛应用的分析方法。因子分析的概念起源于20世纪初KarlPearson和CharlesSpearmen等人关于智力测验的统计分析。目前，因子分析已成功应用于心理学、医学、气象、地址、经济学等领域，并因此促进了理论的不断丰富和完善。因子分析以最少的信息丢失为前提，将众多的原有变量综合成较少几个综合指标，名为因子。通常，因子有以下几个特点：因子个数远远少于原有变量的个数原有变量综合成少数几个因子之后，因子将可以替代原有变量参与数据建模，这将大大减少分析过程中的计算工作量。因子能够反映原有变量的绝大部分信息因子并不是原有变量的简单取舍，而是原有变量重组后的结果，因此不会造成原有变量信息的大量丢失，并能够代表原有变量的绝大部分信息。因子之间的线性关系并不显著由原有变量重组出来的因子之间的线性关系较弱，因子参与数据建模能够有效地解决变量多重共线性等给分析应用带来的诸多问题。因子具有命名解释性通常，因子分析产生的因子能够通过各种方式最终获得命名解释性。因子的命名解释性有助于对因子分析结果的解释评价，对因子的进一步应用有重要意义。例如，对高校科研情况的因子分析中，如果能够得到两个因子，其中一个因子是对科研人力投入、经费投入、立项项目数等变量的综合，而另一个是对结项项目数、发表论文数、获奖成果数等变量的综合，那么，该因子分析就是较为理想的。因为这两个因子均有命名可解释性，其中一个反映了科研投入方面的情况，可命名为科研投入因子，另一个反映了科研产出方面的情况，可命名为科研产出因子。总之，因子分析是研究如何以最少的信息丢失将众多原有变量浓缩成少数几个因子，如何使因子具有一定的命名解释性的多元统计分析方法。二、因子分析的基本概念1、因子分析模型因子分析模型中，假定每个原始变量由两部分组成：共同因子（commonfactors）和唯一因子（uniquefactors）。共同因子是各个原始变量所共有的因子，解释变量之间的相关关系。唯一因子顾名思义是每个原始变量所特有的因子，表示该变量不能被共同因子解释的部分。原始变量与因子分析时抽出的共同因子的相关关系用因子负荷（factorloadings）表示。因子分析最常用的理论模式如下：jmjmjjjjUFaFaFaFaZ332211（j=1,2,3…,n，n为原始变量总数）可以用矩阵的形式表示为UAFZ。其中F称为因子，由于它们出现在每个原始变量的线性表达式中（原始变量可以用jX表示，这里模型中实际上是以F线性表示各个原始变量的标准化分数jZ），因此又称为公共因子。因子可理解为高维空间中互相垂直的m个坐标轴，A称为因子载荷矩阵，)...3,2,1,...3,2,1(minjaji称为因子载荷，是第j个原始变量在第i个因子上的负荷。如果把变量jZ看成m维因子空间中的一个向量，则jia表示jZ在坐标轴iF上的投影，相当于多元线性回归模型中的标准化回归系数；U称为特殊因子，表示了原有变量不能被因子解释的部分，其均值为0，相当于多元线性回归模型中的残差。其中，（1）jZ为第j个变量的标准化分数；（2）iF（i=1,2,…,m）为共同因素；（3）m为所有变量共同因素的数目；（4）jU为变量jZ的唯一因素；（5）jia为因素负荷量。2、因子分析数学模型中的几个相关概念因子载荷（因素负荷量factorloadings）所谓的因子载荷就是因素结构中，原始变量与因素分析时抽取出共同因素的相关。可以证明，在因子不相关的前提下，因子载荷jia是变量jZ和因子iF的相关系数，反映了变量jZ与因子iF的相关程度。因子载荷jia值小于等于1，绝对值越接近1，表明因子iF与变量jZ的相关性越强。同时，因子载荷jia也反映了因子iF对解释变量jZ的重要作用和程度。因子载荷作为因子分析模型中的重要统计量，表明了原始变量和共同因子之间的相关关系。因素分析的理想情况，在于个别因素负荷量jia不是很大就是很小，这样每个变量才能与较少的共同因素产生密切关联，如果想要以最少的共同因素数来解释变量间的关系程度，则jU彼此间或与共同因素间就不能有关联存在。一般说来，负荷量为0.3或更大被认为有意义。所以，当要判断一个因子的意义时，需要查看哪些变量的负荷达到了0.3或0.3以上。变量共同度（共同性，Communality）变量共同度也就是变量方差，就是指每个原始变量在每个共同因子的负荷量的平方和，也就是指原始变量方差中由共同因子所决定的比率。变量的方差由共同因子和唯一因子组成。共同性表明了原始变量方差中能被共同因子解释的部分，共同性越大，变量能被因子说明的程度越高，即因子可解释该变量的方差越多。共同性的意义在于说明如果用共同因子替代原始变量后，原始变量的信息被保留的程度。因子分析通过简化相关矩阵，提取可解释相关的少数因子。一个因子解释的是相关矩阵中的方差，而解释方差的大小称为因子的特征值。一个因子的特征值等于所有变量在该因子上的负荷值的平方总和。变量jZ的共同度2h的数学定义为：mijiah122，该式表明变量jZ的共同度是因子载荷矩阵A中第j行元素的平方和。由于变量jZ的方差可以表示成122uh，因此变量jZ的方差可由两个部分解释：第一部分为共同度2h，是全部因子对变量jZ方差解释说明的比例，体现了因子全体对变量jZ的解释贡献程度。变量共同度2h越接近1，说明因子全体解释说明了变量jZ的较大部分方差，如果用因子全体刻画变量jZ，则变量jZ的信息丢失较少；第二部分为特殊因子U的平方，反应了变量jZ方差中不能由因子全体解释说明的比例，2u越小则说明变量jZ的信息丢失越少。总之，变量d共同度刻画了因子全体对变量jZ信息解释的程度，是评价变量jZ信息丢失程度的重要指标。如果大多数原有变量的变量共同度均较高（如高于0.8），则说明提取的因子能够反映原有变量的大部分信息（80％以上）信息，仅有较少的信息丢失，因子分析的效果较好。因子，变量共同度是衡量因子分析效果的重要依据。因子的方差贡献（特征值eigenvalue）因子的方差贡献（特征值）的数学定义为：212njjiiaS，该式表明，因子iF的方差贡献是因子载荷矩阵A中第i列元素的平方和。因子iF的方差贡献反映了因子iF对原有变量总方差的解释能力。该值越高，说明相应因子的重要性越高。因此，因子的方差贡献和方差贡献率是衡量因子重要性的关键指标。为了便于说明，以三个变量抽取两个共同因素为例，三个变量的线性组合分别为：12121111UFaFaZ22221212UFaFaZ32321313UFaFaZ转换成因素矩阵如下：变量1F（共同因素一）2F（共同因素二）共同性（2h）唯一因素（2d）1X11a12a212211aa211h2X21a22a222221aa221h3X31a32a232231aa231h特征值231221211aaa231221211aaa解释量3231221211aaa3231221211aaa所谓共同性，就是每个变量在每个共同因素之负荷量的平方总和（一横列中所有因素负荷量的平方和），也就是个别变量可以被共同因素解释的变异量百分比，这个值是个别变量与共同因素间多元相关的平方。从共同性的大小可以判断这个原始变量与共同因素之间关系程度。而各变量的唯一因素大小就是1减掉该变量共同性的值。（在主成分分析中，有多少个原始变量便有多少个“component”成分，所以共同性会等于1，没有唯一因素）。至于特征值是每个变量在某一共同因素之因素负荷量的平方总和（一直行所有因素负荷量的平方和）。在因素分析之共同因素抽取中，特征值大的共同因素会最先被抽取，其次是次大者，最后抽取的共同因素之特征值最小，通常会接近0（在主成分分析中，有几个题项，便有几个成分，因而特征值的总和刚好等于变量的总数）。将每个共同因素的特征值除以总题数，为此共同因素可以解释的变异量，因素分析的目的，即在因素结构的简单化，希望以最少的共同因素，能对总变异量作最大的解释，因而抽取的因素越少越好，但抽取因素之累积解释的变异量则越大越好。3、社会科学中因素分析通常应用在三个层面：（1）显示变量间因素分析的组型（pattern）（2）侦测变量间之群组（clusters），每个群组所包括的变量彼此相关很高，同构型较大，亦即将关系密切的个别变量合并为一个子群。（3）减少大量变量数目，使之称为一组涵括变量较少的统计自变量（称为因素），每个因素与原始变量间有某种线性关系存在，而以少数因素层面来代表多数、个别、独立的变量。因素分析具有简化数据变量的功能，以较少层面来表示原来的数据结构，它根据变量间彼此的相关，找出变量间潜在的关系结构，变量间简单的结构关系称为“成份”（components）或“因素”（factors）.三、因素分析的主要方式围绕浓缩原有变量提取因子的核心目标，因子分析主要涉及以下五大基本步骤：1、因子分析的前提条件由于因子分析的主要任务之一是对原有变量进行浓缩，即将原有变量中的信息重叠部分提取和综合成因子，进而最终实现减少变量个数的目的。因此它要求原有变量之间应存在较强的相关关系。否则，如果原有变量相互独立，相关程度很低，不存在信息重叠，它们不可能有共同因子，那么也就无法将其综合和浓缩，也就无需进行因子分析。本步骤正是希望通过各种方法分析原有变量是否存在相关关系，是否适合进行因子分析。SPSS提供了四个统计量可帮助判断观测数据是否适合作因子分析：（1）计算相关系数矩阵CorrelationMatrix在进行提取因子等分析步骤之前，应对相关矩阵进行检验，如果相关矩阵中的大部分相关系数小于0.3，则不适合作因子分析；当原始变量个数较多时，所输出的相关系数矩阵特别大，观察起来不是很方便，所以一般不会采用此方法或即使采用了此方法，也不方便在结果汇报中给出原始分析报表。（2）计算反映象相关矩阵Anti-imagecorrelationmatrix反映象矩阵重要包括负的协方差和负的偏相关系数。偏相关系数是在控制了其他变量对两变量影响的条件下计算出来的净相关系数。如果原有变量之间确实存在较强的相互重叠以及传递影响，