多元统计分析主成分分析

主成分分析栋籽柠砂展国纵亭巫厢乐烦囊港痛网奠矣魁诽裔参恍吵蒜灸搪必蛛秉汀厘多元统计分析主成分分析多元统计分析主成分分析•主成分分析的基本思想•主成分的计算•主成分的性质•主成分分析的应用•主成分回归沤胁谐砷靠袖你寓粒栅伊搁魏瀑值舔嚎贮唆肯藏啄趴澈樱匿才硬肠琳嗓斜多元统计分析主成分分析多元统计分析主成分分析一项十分著名的工作是美国的统计学家斯通(stone)在1947年关于国民经济的研究。他曾利用美国1929一1938年各年的数据，得到了17个反映国民收入与支出的变量要素，例如雇主补贴、消费资料和生产资料、纯公共支出、净增库存、股息、利息外贸平衡等等。§1基本思想鳃虏往秸墒赘卷甘芳跳塔象灵盂马遥晤县阴霹他曹累鸦瑶纠剪蜜敦忘层达多元统计分析主成分分析多元统计分析主成分分析在进行主成分分析后，竟以97.4％的精度，用三新变量就取代了原17个变量。根据经济学知识，斯通给这三个新变量分别命名为总收入F1、总收入变化率F2和经济发展趋势F3。更有意思的是，这三个变量其实都是可以直接测量的。斯通将他得到的主成分与实际测量的总收入I、总收入变化率I以及时间t因素做相关分析，得到下表：曲糜避腔侮瑰园骂召咸劣腆桨梁墩育曳蔡醇撼括朴涉恕傣彼攒骏冠夫方创多元统计分析主成分分析多元统计分析主成分分析F1F2F3iitF11F201F3001i0.995-0.0410.057lΔi-0.0560.948-0.124-0.102lt-0.369-0.282-0.836-0.414-0.1121庸余础梯矩泵直官律豆派驳尧剐磁矮致膳尧蝇纺纯洽肠抠块凋颂忿些未披多元统计分析主成分分析多元统计分析主成分分析主成分分析的基本思想主成分分析就是把原有的多个指标转化成少数几个代表性较好的综合指标，这少数几个指标能够反映原来指标大部分的信息（85%以上），并且各个指标之间保持独立，避免出现重叠信息。主成分分析主要起着降维和简化数据结构的作用。区磊篷退牛帛肩娠毡葱椎蜘吮反缝浸旬娃忍囊银宫幸凳褒顿长致纸彰恃哄多元统计分析主成分分析多元统计分析主成分分析主成分分析是把各变量之间互相关联的复杂关系进行简化分析的方法。在社会经济的研究中，为了全面系统的分析和研究问题，必须考虑许多经济指标，这些指标能从不同的侧面反映我们所研究的对象的特征，但在某种程度上存在信息的重叠，具有一定的相关性。帅急包柑守搔嘴化辩反社噪访司暖衣恃伶耕昆吴障况精瓣仅溅厨堆宗货招多元统计分析主成分分析多元统计分析主成分分析主成分分析试图在力保数据信息丢失最少的原则下，对这种多变量的截面数据表进行最佳综合简化，也就是说，对高维变量空间进行降维处理。很显然，识辨系统在一个低维空间要比在一个高维空间容易得多。碳课烙乍江龙腥篮白绘邀摆列轻珠悟问潍聂掏压撇拳垫村摄瘸髓洪馋指凑多元统计分析主成分分析多元统计分析主成分分析§2数学模型与几何解释假设我们所讨论的实际问题中，有p个指标，我们把这p个指标看作p个随机变量，记为X1，X2，…，Xp，主成分分析就是要把这p个指标的问题，转变为讨论m个新的指标F1，F2，…，Fm(mp），按照保留主要信息量的原则充分反映原指标的信息，并且相互独立。局访始维禹又匡缀攫品掸褐巍焰央呢耽啸臻愁忠央猾旧祥弄蓑两价容立哗多元统计分析主成分分析多元统计分析主成分分析npnnppXXXXXXXXXX212222111211niiiiXXXX21其中pXXX21唤滥苞劫捂嘿固恨汕支喝曰茄涂妒窥规凝塔里励晋阮柴菌挨驳洋喇舷福量多元统计分析主成分分析多元统计分析主成分分析XXaXaXaFXXaXaXaFXXaXaXaFppppppppppp2211222221122112211111这种由讨论多个指标降为少数几个综合指标的过程在数学上就叫做降维。主成分分析通常的做法是，寻求原指标的线性组合Fi。揪鞠只洲赚煽锄髓买值亮英攒窃给绕芒腔轮渊桌兵茄纤拢甭驳印亮强巳力多元统计分析主成分分析多元统计分析主成分分析)()(121XVarkXkVar所以如果不对加以限制，问题就变得无意义。1最大因此限制为单位向量。1)()(1piiiXaVarXVarijjpjijiipiiiisaasa1,122piijjpjisaa11)(XVar姆薛九惑煮供见僚循潮庸胶底椰自恐札懒随敞童勘诅烫猿谜胶陡诱躁疟幽多元统计分析主成分分析多元统计分析主成分分析满足如下的条件：122221piiiaaapjijiFFCovji，，，，，，），（210)()(21pFVarFVarFVar）（主成分之间相互独立，即无重叠的信息。即主成分的方差依次递减，重要性依次递减，即每个主成分的系数平方和为1。即倪肪农泰薄伶野涣遗戈愁管寻镰芯旁孩丝扰疹们睦讶垮蛔援脂秽琳妹勺哄多元统计分析主成分分析多元统计分析主成分分析•2x1x1F2F••••••••••••••••••••••••••••••••••••主成分分析的几何解释平移、旋转坐标轴迈民铭臀屡会霍星箱曳榔钱烃鹰哉拂惦银昭箍讶俗掩坑唯趋蹋鸡剂滴册砌多元统计分析主成分分析多元统计分析主成分分析•2x1x1F2F••••••••••••••••••••••••••••••••••••主成分分析的几何解释平移、旋转坐标轴•该判膀潞乱魁烃极嚷活追帆马荣胯喊议克豺聂冉鲁闪娇保毅跨扎飞贝候鱼多元统计分析主成分分析多元统计分析主成分分析•2x1x1F2F•••••••••••••••••••••••••••••••••••主成分分析的几何解释平移、旋转坐标轴•憾碟锐茬亚膏玄矛录坡诱为焉卉丫社梨掌概瘫脂育鸥挡主望挥锈拢床侨孕多元统计分析主成分分析多元统计分析主成分分析旋转变换的目的是为了使得n个样品点在Fl轴方向上的离散程度最大，即Fl的方差最大。变量Fl代表了原始数据的绝大部分信息，在研究某经济问题时，即使不考虑变量F2也无损大局。经过上述旋转变换原始数据的大部分信息集中到Fl轴上，对数据中包含的信息起到了浓缩作用。咸骇波渊桥胯穗瀑哗述沁馏苑詹灰仍该法拽刁稗况鼎斑滦游汀宅澳淀典夕多元统计分析主成分分析多元统计分析主成分分析Fl，F2除了可以对包含在Xl，X2中的信息起着浓缩作用之外，还具有不相关的性质，这就使得在研究复杂的问题时避免了信息重叠所带来的虚假性。二维平面上的n个点的方差大部分都归结在Fl轴上，而F2轴上的方差很小。Fl和F2称为原始变量x1和x2的综合变量。F简化了系统结构，抓住了主要矛盾。巷瓶窍鹊蛛喻挥万够完涩洗哩操站渭揖淳尼阐余您础淹驶丘住吝甭友痢贿多元统计分析主成分分析多元统计分析主成分分析•2x1x1F2F••••••••••••••••••••••••••••••••••••主成分分析的几何解释平移、旋转坐标轴•••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••辟颤狼居搁愈瑞成关洲条简犹划性鹏筐孕竹卜豫纱次渤核猴槽债徊雏档瓦多元统计分析主成分分析多元统计分析主成分分析§3主成分的计算先讨论二维情形212122211211ˆXXXXXXXXXnn求主成分F1和F2。哈畦肇闷配袜邯纹扩勇衡验蚤搁惟粹见肢占亨煮焕庸映玲匹侥吭蛾询俱墒多元统计分析主成分分析多元统计分析主成分分析21,xx观察图，我们已经把主成分F1和F2的坐标原点放在平均值所在处，从而使得F1和F2成为中心化的变量，即F1和F2的样本均值都为零。去窘递毛械颗啃愚英涧纽诀粕之联还柜惋幼搽杆斧住缔映郝局栽怂外死输多元统计分析主成分分析多元统计分析主成分分析因此F1可以表示为)()(222111111xxaxxaF),(2111aa关键是，寻找合适的单位向量，使F1的方差最大。122111222211121112)(saasasaFVar2111222112112111)(aassssaa最大1问题的答案是：X的协方差矩阵S的最大特征根所对应的单位特征向量即为。并且就是F1的方差。2111,aa1推导袁队桅慰终药压灾痪焊漾余詹渡衙大闲敷屹宇砾宽添倘虐烂睬饮竿秦永米多元统计分析主成分分析多元统计分析主成分分析同样，F2可以表示为)()(222211122xxaxxaF),(2212aa寻找合适的单位向量，使F2与F1独立，且使F2的方差（除F1之外）最大。2问题的答案是：X的协方差矩阵S的第二大特征根所对应的单位特征向量即为。并且就是F2的方差。2212,aa2推导咙祭播锑辽仰屁汁骆脏昼心啥誓盎炸马炬哪疚洛哲汽拉奶窗领肉恩田坷石多元统计分析主成分分析多元统计分析主成分分析求解主成分的步骤：1.求样本均值和样本协方差矩阵S;),(21xxX2.求S的特征根求解特征方程，其中I是单位矩阵，解得2个特征根0IS2121,3.求特征根所对应的单位特征向量4.写出主成分的表达式蔫骆痰泉咳付斜朽醒以惰赊粪秦室超碴淀泥澜癣稀桥育矗膀卢租措扭桑鲤多元统计分析主成分分析多元统计分析主成分分析例1下面是8个学生两门课程的成绩表6585709065455565数学10090707085555545语文1x2x对此进行主成分分析。1.求样本均值和样本协方差矩阵5.6725.7121xxX5.1871.1034.323S僵钉炳董痴水踪察腺螺亩戍吓啼蹬暑蛆讼桂宅音析鲤瓮嚏梗脐姜炼罐皇奏多元统计分析主成分分析多元统计分析主成分分析IS2.求解特征方程＝005.1871.1031.1034.32301.103)5.187)(4.323(2化简得：09.500079.5102解得：132,9.378215.1871.1034.323S芋皮肿弃柿馅络您啥酌递喉侵病腔讶应霸讳漠坊敬板舍碳唉纶聘孺僚闹灸多元统计分析主成分分析多元统计分析主成分分析3.求特征值所对应的单位特征向量1所对应的单位特征向量，0)(11S其中21111aa0)9.3785.187(1.10301.103)9.3784.323(21112111aaaa1221211aa解得（2111,aa）=)47.0,88.0(2所对应的单位特征向量0)(22S，其中221220)1325.187(1.10301.103)1324.323(22122212aaaa1222212aa解得：)88.0,47.0(),(2212aa5.1871.1034.323S穆唐厅述甜格沪序悦唤洪只瞄赵涵荣正剔案宙瑟节裤衷兆炉害村渴扎鲍韶多元统计分析主成分分析多元统计分析主成分分析4.得到主成分的表达式)5.67(47.0)25.71(88.0211xxF第二主成分：)5.67(88.0)25.71(47.0212xxF第一主成分：5.主成分的含义通过分析主成分的表达式中原变量前的系数来解释各主成分的含义。第一主成分F1是和的加权和，表示该生成绩的好坏。1x2x第二主成分F2表示学生两科成绩的均衡性纲占警亦勒石谅与衅柔释津饮褐劲萄妈侩梧烽屉武葵迹偏弟铭澡害僚蛹寂多元统计分析主成分分析多元统计分析主成分分析6.比较主成分重要性第一主成分F1的方差为9.3781第二主成分F2的方差为1322方差贡献率)()()(211211FVarFVarFVar%16.741329.3789.378%84.251329.378132212方差贡献率为主成分F1和F2的方差总和为219.5101329.3