主成分分析法总结

主成分分析法总结在实际问题研究中，多变量问题是经常会遇到的。变量太多，无疑会增加分析问题的难度与复杂性，而且在许多实际问题中，多个变量之间是具有一定的相关关系的。因此，人们会很自然地想到，能否在相关分析的基础上，用较少的新变量代替原来较多的旧变量，而且使这些较少的新变量尽可能多地保留原来变量所反映的信息？一、概述在处理信息时，当两个变量之间有一定相关关系时，可以解释为这两个变量反映此课题的信息有一定的重叠，例如，高校科研状况评价中的立项课题数与项目经费、经费支出等之间会存在较高的相关性；学生综合评价研究中的专业基础课成绩与专业课成绩、获奖学金次数等之间也会存在较高的相关性。而变量之间信息的高度重叠和高度相关会给统计方法的应用带来许多障碍。为了解决这些问题，最简单和最直接的解决方案是削减变量的个数，但这必然又会导致信息丢失和信息不完整等问题的产生。为此，人们希望探索一种更为有效的解决方法，它既能大大减少参与数据建模的变量个数，同时也不会造成信息的大量丢失。主成分分析正式这样一种能够有效降低变量维数，并已得到广泛应用的分析方法。主成分分析以最少的信息丢失为前提，将众多的原有变量综合成较少几个综合指标，通常综合指标（主成分）有以下几个特点：主成分个数远远少于原有变量的个数原有变量综合成少数几个因子之后，因子将可以替代原有变量参与数据建模，这将大大减少分析过程中的计算工作量。主成分能够反映原有变量的绝大部分信息因子并不是原有变量的简单取舍，而是原有变量重组后的结果，因此不会造成原有变量信息的大量丢失，并能够代表原有变量的绝大部分信息。主成分之间应该互不相关通过主成分分析得出的新的综合指标（主成分）之间互不相关，因子参与数据建模能够有效地解决变量信息重叠、多重共线性等给分析应用带来的诸多问题。主成分具有命名解释性总之，主成分分析法是研究如何以最少的信息丢失将众多原有变量浓缩成少数几个因子，如何使因子具有一定的命名解释性的多元统计分析方法。主成分分析的具体步骤如下：（1）计算协方差矩阵计算样品数据的协方差矩阵：Σ=(sij)pp，其中11()()1nijkiikjjksxxxxni，j=1，2，…，p（2）求出Σ的特征值i及相应的正交化单位特征向量iaΣ的前m个较大的特征值12…m0,就是前m个主成分对应的方差，i对应的单位特征向量ia就是主成分Fi的关于原变量的系数，则原变量的第i个主成分Fi为：Fi='iaX主成分的方差（信息）贡献率用来反映信息量的大小，i为：1/miiii（3）选择主成分最终要选择几个主成分，即F1,F2,……,Fm中m的确定是通过方差（信息）累计贡献率G(m)来确定11()/pmikikGm当累积贡献率大于85%时，就认为能足够反映原来变量的信息了，对应的m就是抽取的前m个主成分。（4）计算主成分载荷主成分载荷是反映主成分Fi与原变量Xj之间的相互关联程度，原来变量Xj（j=1，2，…，p）在诸主成分Fi（i=1，2，…，m）上的荷载lij（i=1，2，…，m；j=1，2，…，p）。：(,)(1,2,,;1,2,,)ijiijlZXaimjp在SPSS软件中主成分分析后的分析结果中，“成分矩阵”反应的就是主成分载荷矩阵。（5）计算主成分得分计算样品在m个主成分上的得分：1122...iiipipFaXaXaXi=1，2，…，m实际应用时，指标的量纲往往不同，所以在主成分计算之前应先消除量纲的影响。消除数据的量纲有很多方法，常用方法是将原始数据标准化，即做如下数据变换：*1,2,...,;1,2,...,ijjijjxxxinjps其中：11njijixxn，2211()1njijjisxxn根据数学公式知道，①任何随机变量对其作标准化变换后，其协方差与其相关系数是一回事，即标准化后的变量协方差矩阵就是其相关系数矩阵。②另一方面，根据协方差的公式可以推得标准化后的协方差就是原变量的相关系数，亦即，标准化后的变量的协方差矩阵就是原变量的相关系数矩阵。也就是说，在标准化前后变量的相关系数矩阵不变化。根据以上论述，为消除量纲的影响，将变量标准化后再计算其协方差矩阵，就是直接计算原变量的相关系数矩阵，所以主成分分析的实际常用计算步骤是：☆计算相关系数矩阵☆求出相关系数矩阵的特征值i及相应的正交化单位特征向量ia☆选择主成分☆计算主成分得分总结：原指标相关系数矩阵相应的特征值i为主成分方差的贡献，方差的贡献率为1/piiii，i越大，说明相应的主成分反映综合信息的能力越强，可根据i的大小来提取主成分。每一个主成分的组合系数（原变量在该主成分上的载荷）ia就是相应特征值i所对应的单位特征向量。主成分分析法的计算步骤1、原始指标数据的标准化采集p维随机向量x=(x1,X2,...,Xp)T)n个样品xi=(xi1,xi2,...,xip)T，i=1,2,…,n，n＞p，构造样本阵，对样本阵元进行如下标准化变换：其中，得标准化阵Z。2、对标准化阵Z求相关系数矩阵其中,。3、解样本相关矩阵R的特征方程得p个特征根,确定主成分按确定m值，使信息的利用率达85%以上，对每个λj,j=1,2,...,m,解方程组Rb=λjb得单位特征向量。4、将标准化后的指标变量转换为主成分U1称为第一主成分,U2称为第二主成分,…,Up称为第p主成分。5、对m个主成分进行综合评价对m个主成分进行加权求和，即得最终评价值，权数为每个主成分的方差贡献率二、主成分分析的计算步骤1、计算相关系数矩阵rij（i，j=1，2，…，p）为原变量xi与xj的相关系数，rij=rji，其计算公式为2、计算特征值与特征向量解特征方程，常用雅可比法（Jacobi）求出特征值，并使其按大小顺序排列；分别求出对应于特征值的特征向量，要求=1，即其中表示向量的第j个分量。3、计算主成分贡献率及累计贡献率贡献率：累计贡献率：一般取累计贡献率达85%-95%的特征值，所对应的第1、第2、…、第m（m≤p）个主成分。4、计算主成分载荷pppppprrrrrrrrrR212222111211nknkjkjikinkjkjikiijxxxxxxxxr11221)()())((0RI021pi),,2,1(pieiLie112pjijeijeie),,2,1(1pipkkiL),,2,1(11pipkkikkLm,,,21L5、各主成分得分三、主成分分析法在SPSS中的操作1、指标数据选取、收集与录入（表1）2、Analyze→DataReduction→FactorAnalysis，弹出FactorAnalysis对话框：3、把指标数据选入Variables框，Descriptives:CorrelationMatrix框组),,2,1,(),(pjiexzplijijiijLnmnnmmzzzzzzzzzZ212222111211中选中Coefficients,然后点击Continue,返回FactorAnalysis对话框，单击OK。注意：SPSS在调用FactorAnalyze过程进行分析时,SPSS会自动对原始数据进行标准化处理,所以在得到计算结果后的变量都是指经过标准化处理后的变量,但SPSS并不直接给出标准化后的数据,如需要得到标准化数据,则需调用Descriptives过程进行计算。从表3可知GDP与工业增加值,第三产业增加值、固定资产投资、基本建设投资、社会消费品零售总额、地方财政收入这几个指标存在着极其显著的关系,与海关出口总额存在着显著关系。可见许多变量之间直接的相关性比较强,证明他们存在信息上的重叠。主成分个数提取原则为主成分对应的特征值大于1的前m个主成分。特征值在某种程度上可以被看成是表示主成分影响力度大小的指标,如果特征值小于1,说明该主成分的解释力度还不如直接引入一个原变量的平均解释力度大,因此一般可以用特征值大于1作为纳入标准。通过表4(方差分解主成分提取分析)可知,提取2个主成分,即m=2,从表5(初始因子载荷矩阵)可知GDP、工业增加值、第三产业增加值、固定资产投资、基本建设投资、社会消费品零售总额、海关出口总额、地方财政收入在第一主成分上有较高载荷,说明第一主成分基本反映了这些指标的信息;人均GDP和农业增加值指标在第二主成分上有较高载荷,说明第二主成分基本反映了人均GDP和农业增加值两个指标的信息。所以提取两个主成分是可以基本反映全部指标的信息,所以决定用两个新变量来代替原来的十个变量。但这两个新变量的表达还不能从输出窗口中直接得到,因为“ComponentMatrix”是指初始因子载荷矩阵,每一个载荷量表示主成分与对应变量的相关系数。用表5(主成分载荷矩阵)中的数据除以主成分相对应的特征值开平方根便得到两个主成分中每个指标所对应的系数。将初始因子载荷矩阵中的两列数据输入(可用复制粘贴的方法)到数据编辑窗口(为变量B1、B2),然后利用“Transform→ComputeVariable”,在ComputeVariable对话框中输入“A1=B1/SQR(7.22)”[注:第二主成分SQR后的括号中填1.235,即可得到特征向量A1(见表6)。同理,可得到特征向量A2。将得到的特征向量与标准化后的数据相乘,然后就可以得出主成分表达式[注:因本例只是为了说明如何在SPSS进行主成分分析,故在此不对提取的主成分进行命名,有兴趣的读者可自行命名。标准化：通过Analyze→DescriptiveStatistics→Descriptives对话框来实现:弹出Descriptives对话框后,把X1～X10选入Variables框,在Savestandardizedvaluesasvariables前的方框打上钩,点击“OK”,经标准化的数据会自动填入数据窗口中,并以Z开头命名。以每个主成分所对应的特征值占所提取主成分总的特征值之和的比例作为权重计算主成分综合模型,即用第一主成分F1中每个指标所对应的系数乘上第一主成分F1所对应的贡献率再除以所提取两个主成分的两个贡献率之和,然后加上第二主成分F2中每个指标所对应的系数乘上第二主成分F2所对应的贡献率再除以所提取两个主成分的两个贡献率之和,即可得到综合得分模型:根据主成分综合模型即可计算综合主成分值,并对其按综合主成分值进行排序,即可对各地区进行综合评价比较,结果见表8。具体检验还需进一步探讨与学习利用Matlab编程实现主成分分析1.1主成分分析计算步骤①计算相关系数矩阵pppppprrrrrrrrrR212222111211（1）在（3.5.3）式中，rij（i，j=1，2，…，p）为原变量的xi与xj之间的相关系数，其计算公式为nknkjkjikinkjkjikiijxxxxxxxxr11221)()())((（2）因为R是实对称矩阵（即rij=rji），所以只需计算上三角元素或下三角元素即可。②计算特征值与特征向量首先解特征方程0RI，通常用雅可比法（Jacobi）求出特征值),,2,1(pii，并使其按大小顺序排列，即0,21p；然后分别求出对应于特征值i的特征向量),,2,1(piei。这里要求ie=1，即112pjije，其中ije表示向量ie的第j个分量。③计算主成分贡献率及累计贡献率主成分iz的贡献率为),,2,1(1pipkki累计贡献率为),,2,1(11pipkkikk一般取累计贡献率达85—95%的特征值m,,,21所对应的第一、第二，…，第m（m≤p）个主成分。④计算主成分载荷其计算公式为),,2,1,(),(pjiexzplij