因子分析ppt课件分解

因子分析FactorAnalysis因子分析的基本理论1、什么是因子分析？因子分析是主成分分析的推广，也是利用降维的思想，由研究原始变量相关矩阵或协方差矩阵的内部依赖关系出发，把一些具有错综复杂关系的多个变量归结为少数几个综合因子的一种多元统计分析方法。2、因子分析的基本思想：把每个研究变量分解为几个影响因素变量，将每个原始变量分解成两部分因素，一部分是由所有变量共同具有的少数几个公共因子组成的，另一部分是每个变量独自具有的因素，即特殊因子。因子分析的基本理论3、因子分析的目的：因子分析的目的之一，简化变量维数。即要使因素结构简单化，希望以最少的共同因素（公共因子），能对总变异量作最大的解释，因而抽取得因子愈少愈好，但抽取因子的累积解释的变异量愈大愈好。在因子分析的公共因子抽取中，应最先抽取特征值最大的公共因子，其次是次大者，最后抽取公共因子的特征值最小，通常会接近0。因子分析的基本理论例：在企业形象或品牌形象的研究中，消费者可以通过一个有24个指标构成的评价体系，评价百货商场的24个方面的优劣。但消费者主要关心的是三个方面，即商店的环境、商店的服务和商品的价格。因子分析方法可以通过24个变量，找出反映商店环境、商店服务水平和商品价格的三个潜在的因子，对商店进行综合评价。而这三个公共因子可以表示为：称是不可观测的潜在因子,称为公共因子。24个变量共享这三个因子，但是每个变量又有自己的个性，不被包含的部分，称为特殊因子。iiiiiiFFFx332211321FFF、、i因子分析的基本理论4、主成分分析分析与因子分析的联系和差异：联系：（1）因子分析是主成分分析的推广，是主成分分析的逆问题。（2）二者都是以‘降维’为目的，都是从协方差矩阵或相关系数矩阵出发。区别：（1）主成分分析模型是原始变量的线性组合，是将原始变量加以综合、归纳，仅仅是变量变换；而因子分析是将原始变量加以分解，描述原始变量协方差矩阵结构的模型；只有当提取的公因子个数等于原始变量个数时，因子分析才对应变量变换。（2）主成分分析，中每个主成分对应的系数是唯一确定的；因子分析中每个因子的相应系数即因子载荷不是唯一的。（3）因子分析中因子载荷的不唯一性有利于对公因子进行有效解释；而主成分分析对提取的主成分的解释能力有限。因子分析的基本理论5、因子分析模型：设个变量，如果表示为iX),,2,1(pip11iiiimmiXaFaF)(pm11111211122212222212mmpppppmpmXFXFXF或XμAF或（1）（2）称为公共因子，是不可观测的变量，他们的系数称为因子载荷。是特殊因子，是不能被前m个公共因子包含的部分。其中：mFFF,,,21icov(,)0,F,F相互独立即不相关；IFD111)(mFFF,,,21即互不相关，方差为1。（3）22221)(pD即互不相关，方差不一定相等，。满足以上条件的，称为正交因子模型．如果（2）不成立，即，各公共因子之间不独立，则因子分析模型为斜交因子模型．),0(~2iiNIFD)(公因子F1公因子F2共同度hi特殊因子δix1=代数10.8960.3410.9190.081x2=代数20.8020.4960.8890.111x3=几何0.5160.8550.9970.003x4=三角0.8410.4440.9040.096x5=解析几何0.8330.4340.8820.118特征值G3.1131.4794.9590.409方差贡献率（变异量）62.26%29.58%91.85%因子分析案例F1体现逻辑思维和运算能力，F2体现空间思维和推理能力因子分析的基本理论6、因子分析模型中的几个重要统计量的意义：（1）因子负荷量（或称因子载荷）----是指因子结构中原始变量与因子分析时抽取出的公共因子的相关程度。imim2i21i1*iFFFxijijm1ijm1ij*iFj),cov()F,cov()F,cov()F,Cov(xkikikikFF)var(*)var()*,cov(rijjijiFxFxr在各公共因子不相关的前提下，（载荷矩阵中第i行，第j列的元素）是随机变量xi*与公共因子Fj的相关系数，表示xi*依赖于Fj的程度。反映了第i个原始变量在第j个公共因子上的相对重要性。因此绝对值越大，则公共因子Fj与原有变量xi的关系越强。ijij（2）共同度----又称共性方差或公因子方差（community或commonvariance）就是变量与每个公共因子之负荷量的平方总和（一行中所有因素负荷量的平方和）。变量的共同度是因子载荷矩阵的第i行的元素的平方和。记为从共同性的大小可以判断这个原始实测变量与公共因子间之关系程度。如因子分析案例中共同度h12=0.8962+0.3412=0.919特殊因子方差（剩余方差）----各变量的特殊因素影响大小就是1减掉该变量共同度的值。如=1-0.919=0.081iX。mjijiah1222i（3）特征值----是第j个公共因子Fj对于X*的每一分量Xi*所提供的方差的总和。又称第j个公共因子的方差贡献。即每个变量与某一共同因素之因素负荷量的平方总和（因子载荷矩阵中某一公共因子列所有因子负荷量的平方和）。如因子分析案例中F1的特征值G=（0.896）平方+（0.802）平方+（0.516）平方+（0.841）平方+（0.833）平方=3.113（4）方差贡献率----指公共因子对实测变量的贡献，又称变异量方差贡献率=特征值G/实测变量数p，是衡量公共因子相对重要性的指标，Gi越大，表明公共因子Fj对X*的贡献越大，该因子的重要程度越高如因子分析案例中F1的贡献率为3.113/5=62.26%因子的基本内容1、因子分析的基本步骤：（1）因子分析的前提条件鉴定考察原始变量之间是否存在较强的相关关系，是否适合进行因子分析。因为：因子分析的主要任务之一就是对原有变量中信息重叠的部分提取和综合成因子，最终实现减少变量个数的目的。所以要求原有变量之间应存在较强的相关关系。否则，如果原有变量相互独立，不存在信息重叠，也就无需进行综合和因子分析。（2）因子提取研究如何在样本数据的基础上提取综合因子。（3）因子旋转通过正交旋转或斜交旋转使提取出的因子具有可解释性。（4）计算因子得分通过各种方法求解各样本在各因子上的得分，为进一步分析奠定基础。2、因子分析前提条件——相关性分析：分析方法主要有：（1）计算相关系数矩阵(correlationcoefficientsmatrix)如果相关系数矩阵中的大部分相关系数值均小于0.3，即各变量间大多为弱相关，原则上这些变量不适合进行因子分析。（2）计算反映象相关矩阵（Anti-imagecorrelationmatrix)（3）巴特利特球度检验（Bartletttestofsphericity)该检验以原有变量的相关系数矩阵为出发点，其零假设H0是：相关系数矩阵为单位矩阵，即相关系数矩阵主对角元素均为1，非主对角元素均为0。（即原始变量之间无相关关系）。（4）KMO(Kaiser-Meyer-Olkin)检验KMO检验的统计量是用于比较变量间简单相关系数矩阵和偏相关系数的指标，数学定义为：KMO值越接近1，意味着变量间的相关性越强，原有变量适合做因子分析；越接近0，意味变量间的相关性越弱，越不适合作因子分析。Kaiser给出的KMO度量标准：0.9以上非常适合；0.8表示适合；0.7表示一般；0.6表示不太适合；0.5以下表示极不适合。3、因子提取和因子载荷矩阵的求解：因子载荷矩阵求解的方法：（1）基于主成分模型的主成分分析法（2）基于因子分析模型的主轴因子法（3）极大似然法（4）最小二乘法（5）a因子提取法（6）映象分析法（1）基于主成分模型的主成分分析法Principalcomponents设随机向量的均值为，协方差为,为的特征根，为对应的标准化特征向量，则pxxx,,,21x021pp21u,,u,u12pΣ=UUAA+D上式给出的表达式是精确的，然而，它实际上是毫无价值的，因为我们的目的是寻求用少数几个公共因子解释，故略去后面的p-m项的贡献，有：p2uuuuuuppp21122111100p212ppuuuuuu21111mmmmmmp1122ppuuuuuuuuuu上式有一个假定，模型中的特殊因子是不重要的，因而从的分解中忽略了特殊因子的方差。12ˆˆˆˆmmm1122ΣAA+DuuuuuuD22212ˆˆˆˆ(,,,)pdiagD其中221ˆmiiiijjsa1121122ˆˆˆˆmmpmpmmp2uuuuuDAADu（2）基于因子分析模型的主轴因子法Principalaxisfactoring是对主成分方法的修正，假定我们首先对变量进行标准化变换。则R=AA’+DR*=AA’=R-D称R*为约相关矩阵，R*对角线上的元素是,而不是1。2ih直接求R*的前p个特征根和对应的正交特征向量。得如下的矩阵：2112122122212ˆˆˆˆppppphrrrhrRrrhR-D******1122ppAuuu***10pR特征根：***12,,,puuu正交特征向量：当特殊因子的方差已知：i21222pRR＝**11********221122**ppppuuuuuu******1122mmAuuu212ˆ1ˆ100phhD4、因子旋转：为什么要旋转因子？建立了因子分析数学目的不仅仅要找出公共因子以及对变量进行分组，更重要的要知道每个公共因子的意义，以便进行进一步的分析，如果每个公共因子的含义不清，则不便于进行实际背景的解释。由于因子载荷阵是不惟一的，所以应该对因子载荷阵进行旋转。目的是使每个变量在尽可能少的因子上有比较高的载荷，让某个变量在某个因子上的载荷趋于1，而在其他因子上的载荷趋于0。即：使载荷矩阵每列或行的元素平方值向0和1两极分化。奥运会十项全能运动项目得分数据的因子分析百米跑成绩跳远成绩铅球成绩跳高成绩400米跑成绩百米跨栏铁饼成绩撑杆跳远成绩标枪成绩1500米跑成绩1X2X3X4X5X6X7X8X9X10X相关矩阵102.017.002.001.039.018.008.009.007.0124.034.018.013.017.044.021.011.0124.033.023.039.024.036.020.0132.017.027.073.031.028.0134.046.036.052.040.0129.019.049.063.0138.051.034.0142.035.0159.01因子载荷矩阵因子载荷矩阵可以看出，除第一因子在所有的变量在公共因子上有较大的正载荷，可以称为一般运动因子。其他的3个因子不太容易解释。似乎是跑和投掷的能力对比，似乎是长跑耐力和短跑速度的对比。于是考虑旋转因子，得下表变量共同度0.6910.217-0.58-