主成分分析课件

2020/11/231主成分分析•§1主成分分析的基本思想与理论•§2主成分分析的几何意义•§3总体主成分及其性质•§4样本主成分的导出•§5有关问题的讨论•§6主成分分析步骤及框图•§7主成分分析的上机实现2020/11/232主成分分析目录上页下页返回结束主成分分析（principalcomponentsanalysis）也称主分量分析，是由霍特林（Hotelling）于1933年首先提出的。主成分分析是利用降维的思想，在损失很少信息的前提下把多个指标转化为几个综合指标的多元统计方法。通常把转化生成的综合指标称之为主成分，其中每个主成分都是原始变量的线性组合，且各个主成分之间互不相关，这就使得主成分比原始变量具有某些更优越的性能。这样在研究复杂问题时就可以只考虑少数几个主成分而不至于损失太多信息，从而更容易抓住主要矛盾，揭示事物内部变量之间的规律性，同时使问题得到简化，提高分析效率。本章主要介绍主成分分析的基本理论和方法、主成分分析的计算步骤及主成分分析的上机实现。2020/11/233目录上页下页返回结束§1主成分分析的基本思想与理论§1.1主成分分析的基本思想§1.2主成分分析的基本理论2020/11/234目录上页下页返回结束§1.1主成分分析的基本思想在对某一事物进行实证研究中，为了更全面、准确地反映出事物的特征及其发展规律，人们往往要考虑与其有关系的多个指标，这些指标在多元统计中也称为变量。这样就产生了如下问题：一方面人们为了避免遗漏重要的信息而考虑尽可能多的指标，而另一方面随着考虑指标的增多增加了问题的复杂性，同时由于各指标均是对同一事物的反映，不可避免地造成信息的大量重叠，这种信息的重叠有时甚至会抹杀事物的真正特征与内在规律。基于上述问题，人们就希望在定量研究中涉及的变量较少，而得到的信息量又较多。主成分分析正是研究如何通过原来变量的少数几个线性组合来解释原来变量绝大多数信息的一种多元统计方法。2020/11/235目录上页下页返回结束§1.1主成分分析的基本思想既然研究某一问题涉及的众多变量之间有一定的相关性，就必然存在着起支配作用的共同因素，根据这一点，通过对原始变量相关矩阵或协方差矩阵内部结构关系的研究，利用原始变量的线性组合形成几个综合指标（主成分），在保留原始变量主要信息的前提下起到降维与简化问题的作用，使得在研究复杂问题时更容易抓住主要矛盾。一般地说，利用主成分分析得到的主成分与原始变量之间有如下基本关系：1.每一个主成分都是各原始变量的线性组合；2.主成分的数目大大少于原始变量的数目2020/11/236目录上页下页返回结束§1.1主成分分析的基本思想3.主成分保留了原始变量绝大多数信息4.各主成分之间互不相关通过主成分分析，可以从事物之间错综复杂的关系中找出一些主要成分，从而能有效利用大量统计数据进行定量分析，揭示变量之间的内在关系，得到对事物特征及其发展规律的一些深层次的启发，把研究工作引向深入。2020/11/237目录上页下页返回结束§1.2主成分分析的基本理论设对某一事物的研究涉及个指标，分别用表示，这个指标构成的维随机向量为。设随机向量的均值为，协方差矩阵为。pPXXX,,,21pp)',,,(21pXXXXXμΣ对进行线性变换，可以形成新的综合变量，用表示，也就是说，新的综合变量可以由原来的变量线性表示，即满足下式：XYpppppppppXuXuXuXuXuXuYXuXuXuY2211p2222121212121111Y(5.1)2020/11/238目录上页下页返回结束§1.2主成分分析的基本理论由于可以任意地对原始变量进行上述线性变换，由不同的线性变换得到的综合变量的统计特性也不尽相同。因此为了取得较好的效果，我们总是希望的方差尽可能大且各之间互相独立，由于YX'uiiYiY)var()var(X'uiiYiiu'u=而对任给的常数，有c)var(X'uiccciiu'u2ciiu'u2020/11/239目录上页下页返回结束§1.2主成分分析的基本理论因此对不加限制时，可使任意增大，问题将变得没有意义。我们将线性变换约束在下面的原则之下：iu)var(iY1'iiuu122221ipiiuuu。),....2,1(pi1．，即：2．与iY相互无关jY;(ji。),....2,1,pji3.是的一切满足原则1的线性组合中方差最大者；是与不相关的所有线性组合中方差最大者；…,是与都不相关的的所有线性组合中方差最大者。1Y1Y2YPXXX,,,21121,,,PYYYpYPXXX,,,21PXXX,,,212020/11/2310目录上页下页返回结束§1.2主成分分析的基本理论基于以上三条原则决定的综合变量分别称为原始变量的第一、第二、…、第个主成分。其中，各综合变量在总方差中占的比重依次递减，在实际研究工作中，通常只挑选前几个方差最大的主成分，从而达到简化系统结构，抓住问题实质的目的。PYYY,,,21p2020/11/2311目录上页下页返回结束§2主成分分析的几何意义由第一节的介绍我们知道，在处理涉及多个指标问题的时候，为了提高分析的效率，可以不直接对个指标构成的维随机向量进行分析，而是先对向量进行线性变换，形成少数几个新的综合变量，使得各综合变量之间相互独立且能解释原始变量尽可能多的信息，这样，在以损失很少部分信息为代价的前提下，达到简化数据结构，提高分析效率的目的。这一节，我们着重讨论主成分分析的几何意义，为了方便，我们仅在二维空间中讨论主成分的几何意义，所得结论可以很容易地扩展到多维的情况。pp)',,,(21pXXXXXPYYY,,,212020/11/2312目录上页下页返回结束§2主成分分析的几何意义设有个样品，每个样品有两个观测变量，这样，在由变量组成的坐标空间中，个样品点散布的情况如带状，见图5-1。N21,XX21,XXN图5-12020/11/2313目录上页下页返回结束§2主成分分析的几何意义由图可以看出这个样品无论沿轴方向还是沿轴方向均有较大的离散性，其离散程度可以分别用观测变量的方差和的方差定量地表示，显然，若只考虑和中的任何一个，原始数据中的信息均会有较大的损失。我们的目的是考虑和的线性组合，使得原始样品数据可以由新的变量和来刻画。在几何上表示就是将坐标轴按逆时针方向旋转角度，得到新坐标轴和，坐标旋转公式如下：N1X2X1X2X1X2X1X2X1Y2Y1Y2Ycossinsincos212211XXYXXY2020/11/2314目录上页下页返回结束§2主成分分析的几何意义其矩阵形式为：1122cossinsincosYXYXUX其中，为旋转变换矩阵，由上式可知它是正交阵，即满足U,U'U1IUU'2020/11/2315目录上页下页返回结束§2主成分分析的几何意义经过这样的旋转之后，个样品点在轴上的离散程度最大，变量代表了原始数据绝大部分信息，这样，有时在研究实际问题时，即使不考虑变量也无损大局。因此，经过上述旋转变换就可以把原始数据的信息集中到轴上，对数据中包含的信息起到了浓缩的作用。进行主成分分析的目的就是找出转换矩阵，而进行主成分分析的作用与几何意义也就很明了了。下面我们用遵从正态分布的变量进行分析，以使主成分分析的几何意义更为明显。为方便，我们以二元正态分布为例。对于多元正态总体的情况，有类似的结论。N1Y1Y2Y1YU2020/11/2316目录上页下页返回结束§2主成分分析的几何意义设变量遵从二元正态分布，分布密度为:21XX、]})())((2)[()1(21exp{121),(2222122112221222112222122121XXXXXXf令为变量的协方差矩阵，其形式如下：21XX、2221212121XXX21μ令则上述二元正态分布的密度函数有如下矩阵形式：2020/11/2317目录上页下页返回结束§2主成分分析的几何意义)()'(2/12/1211||21),(μXΣμXΣeXXf考虑（为常数），为方便，不妨设21)()'(dμXΣμXd0μ上式有如下展开形式：222222112112211dXXXX令，则上面的方程变为：,/111XZ222/XZ).1(222222121dZZZZ2020/11/2318目录上页下页返回结束§2主成分分析的几何意义这是一个椭圆的方程，长短轴分别为：12d又令为的特征值，为相应的标准正交特征向量.021Σ21,则为正交阵，有：),(21PP,00Λ21'PΛP'PPΛ,11因此有：XΣ'X)μX(Σ)'μX(112d)0μ(XPPΛX)'('1XX)'1'1('222111222211)'(1)'(1XX222121YY2020/11/2319目录上页下页返回结束§2主成分分析的几何意义与上面一样，这也是一个椭圆方程，且在构成的坐标系中，其主轴的方向恰恰正是坐标轴的方向。因为所以，就是原始变量的两个主成分，它们的方差分别为，在方向上集中了原始变量的变差，在方向上集中了原始变量的变差，经常有远大于，这样，我们就可以只研究原始数据在方向上的变化而不致于损失过多信息，而就是椭圆在原始坐标系中的主轴方向，也是坐标轴转换的系数向量。对于多维的情况，上面的结论依然成立。21,YY21,YY,X'γ11Y,X'γ22Y21,YY21,XX21,1Y12Y2121Y21,γγ这样，我们就对主成分分析的几何意义有了一个充分的了解。主成分分析的过程无非就是坐标系旋转的过程，各主成分表达式就是新坐标系与原坐标系的转换关系，在新坐标系中，各坐标轴的方向就是原始数据变差最大的方向。2020/11/2320目录上页下页返回结束§3总体主成分及其性质由上面的讨论可知，求解主成分的过程就是求满足三条原则的原始变量的线性组合的过程。本节先从总体出发，介绍求解主成分的一般方法及主成分的性质，然后介绍样本主成分的导出。PXXX,,,212020/11/2321目录上页下页返回结束§3.1总体主成分主成分分析的基本思想就是在保留原始变量尽可能多的信息的前提下达到降维的目的，从而简化问题的复杂性并抓住问题的主要矛盾。而这里对于随机变量而言，其协方差矩阵或相关矩阵正是对各变量离散程度与变量之间的相关程度的信息的反应，而相关矩阵不过是将原始变量标准化后的协方差矩阵。我们所说的保留原始变量尽可能多的信息，也就是指的生成的较少的综合变量（主成分）的方差和尽可能接近原始变量方差的总和。因此在实际求解主成分的时候，总是从原始变量的协方差矩阵或相关矩阵的结构分析入手。一般地说，从原始变量的协方差矩阵出发求得的主成分与从原始变量的相关矩阵出发求得的主成分是不同的。下面我们分别就协方差矩阵与相关矩阵进行讨论。PXXX,,,212020/11/2322目录上页下页返回结束§3.1总体主成分(1)从协方差矩阵出发求解主成分引论：设矩阵，将的特征值依大小顺序排列，不妨设，为矩阵各特征值对应的标准正交特征向量，则对任意向量，有：AA'An，，，21n21pγγγ，，，21A1maxxx'Axx'0xnxx'Axx'0xmin（5.2）证明：对与单位阵进行谱分解，可以写成下面的式子：AI'1niiiiγγA'1niiiγγI而对任意向量，有，于是有xniiia1γx