浙江大学数学建模主成分分析经典

1本章教学目标：掌握主成分分析的基本概念、基本原理及其分析应用的基本步骤；掌握使用软件进行主成分分析；能应用主成分分析方法解决实际问题主成分分析2本章主要内容：§10.1主成分分析的概念§10.2主成分计算§10.3样本主成分§10.4主成分的选取§10.5案例分析§10.6上机实现本章内容重点：主成分分析的概念;主成分的选取；上机实现31.在实证数据分析研究中，人们为了尽可能完整地搜集信息，对于每个样本往往要观测它的很多项指标，少者四、五项，多则几十项，这些指标之间通常不是相互独立而是相关的。2.因此，从统计分析或推断的角度来说，人们总是希望能把大量的原始指标组合成较少的几个综合指标，从而使分析简化。3.案例：一个人的身材需要用好多项指标才能完整地描述，诸如身高、臂长、腿长、肩宽、胸围、腰围、臀围等，但人们购买衣服时一般只用长度和肥瘦两个指标就够了，这里长度和肥瘦就是描述人体形状的多项指标组合而成的两个综合指标。§10.1主成分的概念41.假设观测指标共有p个，分别用x1,x2,…,xp,表示，将这些指标综合为一个指标的方法显然有很多，但最简单的方法是将这些指标用线性组合的方法将它们组合起来。因此，可设定其综合指标的形式为这些指标的线性组合，即2.我们希望构造少数几个这样的综合指标，并且这几个综合指标之间是不相关的。3.其中反映原始观测指标的变动程度最大的综合指标最重要，我们称其为原始观测指标的第一主成分；而反映原始观测指标变动程度次大的综合指标，称为原始观测指标的第二主成分；反映原始观测指标变动程度第三大的综合指标，称为第三主成分；……，T1122ppyaxaxaxax5§10.2主成分计算设p个指标(随机变量)是p维随机变量，其协方差矩阵为式中，协方差当求的最大值。实际上，这就是求的的值111212122212......COV()...ppppppppΣX[()][()]ijiijjEEXEXXXT(1)(1)1aaT(1)()aXCOV(1)T(1)(1)T(1)0maxaaaaa6根据线性代数的理论，我们知道这就是矩阵的最大特征根，并且就是相应的特征向量。就为随机向量X的第一主成分。X的第二主成分不应该再重复反映第一主成分已经反映的内容，所以求第二主成分时，除了有类似于第一主成分的约束条件外，还必须加上第二主成分与第一主成分不相关这一条件，即要使也就是要使即第二主成分的特征向量必须于第一主成分的特征向量正交。Σ1(1)aT(1)aX(2)T(1)T(2)(1)(,)0aXaXaΣaCOV(2)T(1)T(,)0aXaXCOV(2)(1)0aa7事实上，由于协方差矩阵Σ为非负定矩阵，故有p个非负特征根，从而可求出p个特征向量将每一个特征向量作为一个主成分的系数向量，就可得出p个主成分。若记p个主成分组成的主成分向量为特征向量组成的矩阵为A，即则可写成主成分向量的表达形式为：(1)(2)(),,paaaT12(,,,)pYYYY(1)(2)(),,paaa(1)(2)()(,,,)pAaaaTYAX8我们有即不相关各自的方差为总的方差是我们从中，选出对方差贡献最大的部分指标，就达到了主成分分析的目的。1T0()()0pYAXACOVCOV1,,pYY1,,ptriΣ1,,pYY9案例10.1假设市场上肉类、鸡蛋、水果3种商品价格的月份资料的协方差矩阵为：试求这3种价格的主成分。解：根据上述协方差矩阵，可写出其特征多项式为令此特征多项式为0，则得特征方程，解此特征方程，从而得Σ的特征值为222254245Σ2222254(1)(10)245IΣ12310,110得这些特征根分别代入特征方程，然后求解就可得到相应的各个特征向量，将这些特征向量单位化，就得到相应于上述3个特征根的3个单位特征向量分别为：于是，3种商品价格的3个主成分分别为T(1)T(2)T(3)122333220222222366aaa(1)T1123(2)T223(3)T312312233322222222366XXXXXXXXYaXYaXYaX11在解决实际问题时，总体的协方差和相关阵往往都是未知的，需要通过样本来进行估计。设样本数据矩阵为则样本协方差矩阵为样本相关矩阵记为§10.3样本主成分1112121222T1,212......(,,)...ppnnnnpxxxxxxxxxxxxXT11()()()1niiijixxxxsnS*T*1()1ijrnRXX12由主成分分析的基本思想和计算过程可以看出，主成分分析是把p个随机变量的总方差tr(Σ)分解为p个不相关的随机变量的方差之和。各个主成分的方差即相应的特征根表明了该主成分的方差，方差的值越大，表明主成分综合原始变量的能力越强。累计贡献率：在研究实际问题时，一般要求累计贡献率不小于85％。§10.4主成分的选取11miimpii13虽然主成分的贡献率这一指标给出了选取主成分的一个准则，但是累计贡献率只是表达了前m个主成分提取了的多少信息，它并没有表达某个变量被提取了多少信息，因此仅仅使用累计贡献率这一准则，并不能保证每个变量都被提取了足够的信息。因此，有时还往往需要另一个辅助的准则。由于，所以显然是第j个主成分所能说明的第i个原始变量的方差，即第j个主成分从第i个原始变量中所提取的信息。(1)(2)()12piiiipXaYaYaY222(1)(2)()12()piiiipiiDaaaX14原始变量的信息提取率定义为：我们选取主成分时，不仅要使前m个主成分的累计贡献率达到一定的程度，而且还要使每个原始变量的信息提取率也达到一定的程度。iX2()1mjjijiiiaΩ15案例：假设某商场运动鞋、凉鞋、皮鞋3种消费量的协方差矩阵为试求各主成分，并对各主成分的贡献率及各个原始观测变量的信息提取率进行讨论。【解】由上述协方差矩阵，写出其特征多项式为120250002Σ120250002IΣ－－＝－－16令此特征多项式为0，得特征方程。求解特征方程，得三个特征根分别为将各个特征根代入特征方程，求解相应的齐次线性方程，得到各个特征向量，经过单位化处理，就得到相应的三个单位化特征向量分别为1233225.83,2.00,3220.17(1)(2)(3)0.3830.92400010.9240.3830aaa17如果我们只取一个主成分，则累计贡献率为效果似乎已经很理想。但是，如果我们进一步计算每个变量的信息提取率，则1315.830.7287572.875%5.832.000.17ii2222(1)111112(1)212222(1)313335.83(0.383)/0.85515.83(0.924)/0.99655.830/02ΩaΩaΩa18需再取第2个主成分，此时累计贡献率为各个变量的信息提取率分别为12315.832.0097.875%8ii22222()1111122()22221222()333315.83(0.383)2.000/0.85515.83(0.924)2.000/0.96655.83021/1.0002jjjjjjjjjΩaΩaΩa19在制定服装标准的过程中，对128名成年男子的身材进行了测量，每人测得的指标中含有这样6项：身高、坐高、胸围、手臂长、肋围和腰围。所得相关矩阵如表10.1所示。§10.5案例分析X1X2X3X4X5X6X11.00X20.791.00X30.360.311.00X40.760.550.351.00X50.250.170.640.161.00X50.510.350.580.380.631.0020前三个主成分分别为******11234560.4690.4040.3940.4080.3370.427XXXXXXY******21234560.3650.3970.3970.3650.5690.308XXXXXXY******31234560.0920.6130.2790.7050.1640.119XXXXXXY表10.2ˆR的前三个特征值、特征向量以及贡献率特征向量指标(1)ˆa(2)ˆa(3)ˆa*1X身高0.469-0.3650.092*2X坐高0.404-0.3970.613*3X胸围0.3940.397-0.279*4X手臂长0.408-0.365-0.705*5X肋围0.3370.5690.164*6X腰围0.4270.3080.119特征值3.2871.4060.459贡献率0.5480.2340.077累计贡献率0.5480.7820.85921SPSS软件FACTOR模块提供了主成分分析的功能。下面，我们以SPSS软件包自带的数据Employeedata为例，介绍主成分分析的上机实现方法，在SPSS软件的安装目录下可以找到该数据集。数据Employeedata为Midwestern银行在1969—1971年之间雇员情况的数据，共包括474条观测及以下10个变量：Id(观测号)、Gender(性别)、Bdate(出生日期)、Educ(受教育程度)、Jobcat(工作种类)、Salary(目前年薪)、Salbegin(开始受聘时年薪)、Jobtime(受雇时间(月))、Prevexp(受雇以前的工作时间(月))、Minority(是否少数民族)。下面我们用主成分分析方法处理该数据，以期用少量的变量来描述该地区居民的雇用情况。§10.6主成分分析的上机实现22进入SPSS软件，打开数据集Employeedata后，依次执行Analyze→DataReduction→Factor命令,系统弹出选择变量和分析内容的主窗口，如图10.1所示。23依次选中变量Educ，Salary，Salbegin，Jobtime，Prevexp并单击向右的箭头按钮，这5个变量变进入了图1中variable窗口。单击右侧的OK按钮，即可得到输出结果1。24Communalities1.000.7541.000.8961.000.9161.000.9991.000.968EducationalLevel(years)CurrentSalaryBeginningSalaryMonthssinceHirePreviousExperience(months)InitialExtractionExtractionMethod:PrincipalComponentAnalysis.Communalties给出了从每个原始变量提取的信息，比如从CurrentSalary中提取的信息为89.6％.25TotalVarianceExplained2.47749.54149.5412.47749.54149.5411.05221.04670.5871.05221.04670.5871.00320.07090.6561.00320.07090.656.3657.29997.955.1022.045100.000Component12345Total%ofVarianceCumulative%Total%ofVarianceCumulative%InitialEigenvaluesExtractionSumsofSquaredLoadingsExtractionMethod:PrincipalComponentAnalysis.从上面表格中可以看