典型相关分析---多元统计分析课件(人大何晓群)

2019/10/14中国人民大学六西格玛质量管理研究中心1多元统计分析何晓群中国人民大学出版社2019/10/14中国人民大学六西格玛质量管理研究中心2•§8.1典型相关分析的基本理论及方法•§8.2典型相关分析的步骤及逻辑框图•§8.3典型相关分析的上机实现•§8.4社会经济案例研究第八章典型相关分析2019/10/14中国人民大学六西格玛质量管理研究中心3目录上页下页返回结束第八章典型相关分析•典型相关分析（canonicalcorrelationanalysis）是研究两组变量之间相关关系的多元分析方法。它借用主成分析降维的思想，分别对两组变量提取主成分，且使从两组变量提取的主成分之间的相关程度达到最大，而从同一组内部提取的各主成分之间互不相关，用从两组之间分别提取的主成分的相关性来描述两组变量整体的线性相关关系。典型相关分析的思想首先由Hotelling于1936年提出，计算机的发展解决了典型相关分析在应用中计算方面的困难，目前成为普遍应用的进行两组变量之间相关性分析的技术。本章主要介绍典型相关分析的思想，基本理论及分析方法，并介绍利用SPSS软件进行典型相关分析的方法。2019/10/14中国人民大学六西格玛质量管理研究中心4目录上页下页返回结束§8.1典型相关分析的基本理论及方法8.1.1典型相关分析的统计思想典型相关分析研究两组变量之间整体的线性相关关系，它是将每一组变量作为一个整体来进行研究而不是分析每一组变量内部的各个变量。所研究的两组变量可以是一组变量是自变量，而另一组变量是因变量的情况，两组变量也可以处于同等的地位，但典型相关分析要求两组变量都至少是间隔尺度的。2019/10/14中国人民大学六西格玛质量管理研究中心5目录上页下页返回结束§8.1典型相关分析的基本理论及方法典型相关分析是借助于主成分分析的思想，对每一组变量分别寻找线性组合，使生成的新的综合变量能代表原始变量大部分的信息，同时，与由另一组变量生成的新的综合变量的相关程度最大，这样一组新的综合变量称为第一对典型相关变量，同样的方法可以找到第二对，第三对，…，使得各对典型相关变量之间互不相关，典型相关变量之间的简单相关系数称为典型相关系数，典型相关分析就是用典型相关系数衡量两组变量之间的相关性。2019/10/14中国人民大学六西格玛质量管理研究中心6目录上页下页返回结束§8.1典型相关分析的基本理论及方法2019/10/14中国人民大学六西格玛质量管理研究中心7目录上页下页返回结束§8.1典型相关分析的基本理论及方法2019/10/14中国人民大学六西格玛质量管理研究中心8目录上页下页返回结束§8.1典型相关分析的基本理论及方法8.1.2典型相关分析的基本理论及方法1.总体典型相关和典型变量2019/10/14中国人民大学六西格玛质量管理研究中心9目录上页下页返回结束§8.1典型相关分析的基本理论及方法2019/10/14中国人民大学六西格玛质量管理研究中心10目录上页下页返回结束§8.1典型相关分析的基本理论及方法2019/10/14中国人民大学六西格玛质量管理研究中心11目录上页下页返回结束§8.1典型相关分析的基本理论及方法2019/10/14中国人民大学六西格玛质量管理研究中心12目录上页下页返回结束§8.1典型相关分析的基本理论及方法2019/10/14中国人民大学六西格玛质量管理研究中心13目录上页下页返回结束§8.1典型相关分析的基本理论及方法2019/10/14中国人民大学六西格玛质量管理研究中心14目录上页下页返回结束§8.1典型相关分析的基本理论及方法2019/10/14中国人民大学六西格玛质量管理研究中心15目录上页下页返回结束§8.1典型相关分析的基本理论及方法2019/10/14中国人民大学六西格玛质量管理研究中心16目录上页下页返回结束§8.1典型相关分析的基本理论及方法2019/10/14中国人民大学六西格玛质量管理研究中心17目录上页下页返回结束§8.1典型相关分析的基本理论及方法2019/10/14中国人民大学六西格玛质量管理研究中心18目录上页下页返回结束§8.1典型相关分析的基本理论及方法2019/10/14中国人民大学六西格玛质量管理研究中心19目录上页下页返回结束§8.1典型相关分析的基本理论及方法2019/10/14中国人民大学六西格玛质量管理研究中心20目录上页下页返回结束§8.1典型相关分析的基本理论及方法2.样本典型相关和典型变量2019/10/14中国人民大学六西格玛质量管理研究中心21目录上页下页返回结束§8.1典型相关分析的基本理论及方法2019/10/14中国人民大学六西格玛质量管理研究中心22目录上页下页返回结束§8.1典型相关分析的基本理论及方法3.典型相关系数的显著性检验2019/10/14中国人民大学六西格玛质量管理研究中心23目录上页下页返回结束§8.1典型相关分析的基本理论及方法2019/10/14中国人民大学六西格玛质量管理研究中心24目录上页下页返回结束§8.1典型相关分析的基本理论及方法2019/10/14中国人民大学六西格玛质量管理研究中心25目录上页下页返回结束§8.2典型相关分析的步骤及逻辑框图典型相关分析的步骤有以下6步：（1）确定典型相关分析的目标；（2）设计典型相关分析；（3）检验典型相关分析的基本假设；（4）估计典型模型，评价模型拟合情况；（5）解释典型变量；（6）验证模型。见参考文献[5]。它实现的逻辑框图如下：2019/10/14中国人民大学六西格玛质量管理研究中心26目录上页下页返回结束§8.2典型相关分析的步骤及逻辑框图第1步：确定典型相关分析的目标典型相关分析所适用的数据是两组变量。我们假定每组变量都能赋予一定的理论意义，通常一组可以定义为自变量，另一组可以定义为因变量。典型相关分析可以达到以下目标：(1)确定两组变量是相互独立，或者相反，确定两组变量间存在关系的大小。(2)为每组变量推导出一组权重，使得每组变量的线性组合达到最大程度相关。最大化余下的相关关系的其他的线性函数是与前面的线性函数独立的。(3)解释自变量与因变量组中存在的相关关系，通常是通过测量每个变量对典型函数的相对贡献来衡量。2019/10/14中国人民大学六西格玛质量管理研究中心27目录上页下页返回结束§8.2典型相关分析的步骤及逻辑框图第2步：设计典型相关分析典型相关分析作为一种多元分析方法，与其他的多元分析技术有共同的基本的要求。其它方法（尤其是多元回归、判别分析和方差分析）所讨论的测量误差的影响、变量类型及变换也与典型相关分析有很大关系。样本大小的影响和每个变量需要足够的观测都是典型相关分析经常遇到的。研究者容易使自变量组和因变量组包含很多的变量，而没有认识到样本量的含义。小的样本不能很好的代表相关关系，这样掩盖了有意义的相关关系。建议研究者至少保持每个变量10个观测，以避免数据的“过度拟合”。2019/10/14中国人民大学六西格玛质量管理研究中心28目录上页下页返回结束§8.2典型相关分析的步骤及逻辑框图第3步：典型相关分析的基本假定线性假定影响典型相关分析的两个方面。首先，任意两个变量间的相关系数是基于线性关系的。如果这个关系不是线性的，一个或者两个变量需要变换。其次，典型相关是变量间的相关。如果关系不是线性的，典型相关分析将不能测量到这种关系。典型相关分析能够包容任何没有严格正态性假定的度量变量。正态性是有意义的，因为它标准化了分布，允许变量间的更高程度的相关。但在严格意义上，如果变量的分布形式（比如高度偏态）不会降低与其他变量的相关关系，典型相关分析是可以包含这种非正态变量的。这就允许使用非正态变量。然而，对于每个典型函数的多元正态性的统计检验是必要的。由于多元正态性检验不一定可行，流行的准则是保证每个单变量的正态性。这样，尽管不严格要求正态性，建议所有变量都检验正态性，如有必要，对变量进行变换。2019/10/14中国人民大学六西格玛质量管理研究中心29目录上页下页返回结束§8.2典型相关分析的步骤及逻辑框图第4步：推导典型函数、评价整体拟合情况每个典型函数都包括一对变量，通常一个代表自变量，另一个代表因变量。可从变量组中提取的典型变量（函数）的最大数目等于最小数据组中的变量数目。比如，一个研究问题包含5个自变量和3个因变量，可提取的典型函数的最大数目是3。2019/10/14中国人民大学六西格玛质量管理研究中心30目录上页下页返回结束§8.2典型相关分析的步骤及逻辑框图1.推导典型函数典型函数的推导类似于没有旋转的因子分析的过程[参见前面推导]。典型相关分析集中于说明两组变量间的最大相关关系，而不是一组变量。结果是第一对典型变量在两组变量中有最大的相关关系。第二对典型变量得到第一对典型变量没有解释的两组变量间的最大相关关系。简言之，随着典型变量的提取，接下来的典型变量是基于剩余残差，并且典型相关系数会越来越小。每对典型变量是正交的，并且与其他的典型变量是独立的。典型相关程度是通过相关系数的大小来衡量的。典型相关系数的平方表示一个典型变量通过另外一个典型变量所解释的方差比例，也可称作两个典型变量间共同方差的比例。典型相关系数的平方称作典型根或者特征值。2019/10/14中国人民大学六西格玛质量管理研究中心31目录上页下页返回结束§8.2典型相关分析的步骤及逻辑框图2.典型函数的解释一般来讲，实际提取的典型函数都是典型相关系数在某个水平（比如0.05）上显著的函数。对显著的典型变量的解释是基于这样的假设，即认为相关的函数中，每组中的变量都对共同方差有较大贡献。Hair(1984)等人推荐三个准则结合使用来解释典型函数。这三个准则是（1）函数的统计显著性水平，（2）典型相关的大小，（3）两个数据集中方差解释的冗余测量。2019/10/14中国人民大学六西格玛质量管理研究中心32目录上页下页返回结束§8.2典型相关分析的步骤及逻辑框图通常认为一个有统计显著性的相关系数可接受显著性水平是0.05（也有0.01的水平）。统计软件所提供的最常见的检验是基于Rao近似的F统计量。除了对每个典型函数分别的检验以外，全部典型根的多元检验也可以用来评价典型根的显著性。许多评价判别函数显著性的测量，包括Wilks’Lamada、Hotelling迹、Pillai迹和Roy’sgcr，这里也可以给出。典型函数的实际重要性是由典型相关系数的大小代表的。当决定解释哪些函数时，应当考虑典型相关系数。2019/10/14中国人民大学六西格玛质量管理研究中心33目录上页下页返回结束§8.2典型相关分析的步骤及逻辑框图前面讲到典型相关系数的平方可以提供典型变量间共同方差的一个估计。尽管这是对共同方差的一个简单明了的估计，它可能引起一些误解，因为典型相关系数的平方表示由因变量组和自变量组的线性组合所共享的方差，而不是来自两组变量的方差。这样，即使两个典型变量可能并没有从它们各自的变量组中提取显著方差，但这两个典型变量（线性组合）间仍可能得到一个相对较强的典型相关系数。2019/10/14中国人民大学六西格玛质量管理研究中心34目录上页下页返回结束§8.2典型相关分析的步骤及逻辑框图2019/10/14中国人民大学六西格玛质量管理研究中心35目录上页下页返回结束§8.2典型相关分析的步骤及逻辑框图2019/10/14中国人民大学六西格玛质量管理研究中心36目录上页下页返回结束§8.2典型相关分析的步骤及逻辑框图（2）解释的方差比例。第二步是要计算通过自变量典型变量能够解释的因变量典型变量的方差比例。这也就是自变量典型变量与因变量典型变量间相关系数的平方，也就是典型相关系数的平方。（3）冗余指数。一个典型变量的冗余指数就是这个变量的共同方差比例乘以平方典型相关系数，可以得到每个典型函数可以解释的共同方差部分。要得到较高的冗余指数，必须有较高的典型相关系数和由因变量典型变量解释的较高的共同方差比例。研究者应注意虽然在典型函数中两个典型变量的典型相关系数是相同的，但是两个典型变量的冗