《应用多元统计分析》第五版PPT(第十章)

第十章典型相关分析§10.1引言§10.2总体典型相关§10.3样本典型相关§10.4典型相关系数的显著性检验1§10.1引言典型相关分析是研究两组变量之间相关关系的一种统计分析方法，它能够有效地揭示两组变量之间的相互线性依赖关系。典型相关分析是由霍特林（Hotelling,1935,1936）首先提出的。2典型相关分析的应用例子在工厂里，考察产品的q个质量指标(y1,y2,⋯,yq)与原材料的p个质量指标(x1,x2,⋯,xp)之间的相关关系；牛肉、猪肉的价格与按人口平均的牛肉、猪肉的消费量之间的相关关系；初一学生的阅读速度、阅读才能与数学运算速度、数学运算才能之间的相关关系；硕士研究生入学考试的各科成绩与本科阶段一些主要课程成绩之间的相关关系；一组政府政策变量与一组经济目标变量之间的相关关系。3§10.2总体典型相关一、典型相关的定义及导出二、典型变量的性质三、从相关矩阵出发计算典型相关4一、典型相关的定义及导出设x=(x1,x2,⋯,xp)′和y=(y1,y2,⋯,yq)′是两组随机变量，且V(x)=Σ11(0)，V(y)=Σ22(0)，Cov(x,y)=Σ12，即有其中Σ21=Σ12′。我们研究u=a′x与v=b′y之间的相关关系，其中a=(a1,a2,⋯,ap)′，b=(b1,b2,⋯,bq)′Cov(u,v)=Cov(a′x,b′y)=a′Cov(x,y)b=a′Σ12bV(u)=V(a′x)=a′V(x)a=a′Σ11aV(v)=V(b′y)=b′V(y)b=b′Σ22b11122122VΣΣxΣΣy5所以附加约束条件V(u)=1，V(v)=1即a′Σ11a=1，b′Σ22b=1在此约束条件下，求a∈Rp和b∈Rq，使得ρ(u,v)=a′Σ12b达到最大。121122,uvaΣbaΣabΣb(10.2.5)6都有着相同的非零特征值，可记为，这里m为Σ12的秩。这是因为，记ρi是的算术平方根，i=1,2,⋯,m。11111211211122221222111121112222111,,(0)ΣΣΣΣΣΣΣΣΣΣΣΣΣ121122221111222(0)ΣΣΣΣΣ和222120m121121212222111122211122212rankrankrankmΣΣΣΣΣΣΣΣΣ2i7设相应于的正交单位特征向量为β1,β2,⋯,βm，令α1,α2,⋯,αm为相应于的正交单位特征向量。a1,a2,⋯,am为相应于的特征向量。b1,b2,⋯,bm为相应于的特征向量。121122221111222ΣΣΣΣΣ22212,,,m1212121211122211221,,1,2,,iiiiiiiimαΣΣΣβaΣαbΣβ121121112222111ΣΣΣΣΣ1122211112ΣΣΣΣ1111122221ΣΣΣΣ22212,,,m22212,,,m22212,,,m8当取a=a1，b=b1时，满足约束条件(10.2.5)，且ρ(u,v)=a′Σ12b达到最大值ρ1，显然ρ1≤1。我们称为第一对典型变量，称a1，b1为第一对典型系数向量，称ρ1为第一典型相关系数。第一对典型变量u1,v1提取了x与y之间相关的最主要部分，如果这一部分还显得不够，可以在剩余相关中再求出第二对典型变量u2=a′x,v2=b′y，也就是a,b应满足标准化条件且应使得第二对典型变量不包括第一对典型变量所含的信息，即ρ(u2,u1)=ρ(a′x,a1′x)=Cov(a′x,a1′x)=a′Σ11a1=0ρ(v2,v1)=ρ(b′y,b1′y)=Cov(b′y,b1′y)=b′Σ22b1=01111uvaxby，9在这些约束条件下使得ρ(u2,v2)=ρ(a′x,b′y)=a′Σ12b达到最大。一般地，第i（1i≤m）对典型变量ui=a′x,vi=b′y是指，找出a∈Rp,b∈Rq，在约束条件a′Σ11a=1，b′Σ22b=1a′Σ11ak=0，b′Σ22bk=0，k=1,2,⋯,i−1下，使得ρ(ui,vi)=ρ(a′x,b′y)=a′Σ12b达到最大。当取a=ai，b=bi时，能满足上述约束条件，并使ρ(ui,vi)达到最大值ρi，称它为第i典型相关系数，称ai，bi为第i对典型系数向量。10二、典型相关变量的性质1.同一组的典型变量互不相关2.不同组的典型变量之间的相关性3.原始变量与典型变量之间的相关系数4.典型相关系数也是某种复相关系数5.简单相关、复相关和典型相关之间的关系111.同一组的典型变量互不相关设x,y的第i对典型变量为ui=ai′x，vi=bi′y，i=1,2,⋯,m则有V(ui)=ai′Σ11ai=1，V(vi)=bi′Σ22bi=1，i=1,2,⋯,mρ(ui,uj)=Cov(ui,uj)=ai′Σ11aj=0，1≤i≠j≤mρ(vi,vj)=Cov(vi,vj)=bi′Σ22bj=0，1≤i≠j≤m122.不同组的典型变量之间的相关性ρ(ui,vi)=ρi，i=1,2,⋯,m记u=(u1,u2,⋯,um)′，v=(v1,v2,⋯,vm)′，则上述两个性质可用矩阵表示为V(u)=I，V(v)=I，Cov(u,v)=Λ或其中Λ=diag(ρ1,ρ2,⋯,ρm)。1212111222,Cov,Cov,Cov,01ijijijijijjijuvuvijmaxbyaxybαΣΣΣβαα，VuIΛvΛI133.原始变量与典型变量之间的相关系数记A=(a1,a2,⋯,am)，B=(b1,b2,⋯,bm)，则u=A′x，v=B′y原始变量与典型变量之间的协方差矩阵为Cov(x,u)=Cov(x,A′x)=Σ11ACov(x,v)=Cov(x,B′y)=Σ12BCov(y,u)=Cov(y,A′x)=Σ21ACov(y,v)=Cov(y,B′y)=Σ22B14原始变量与典型变量之间的相关矩阵为其中1111111212211222,,,,,,xuDΣAxvDΣByuDΣAyvDΣB1121diag,,,diag,,pqVxVxVyVyDD(10.2.18)15(10.2.18)式的证明现证明第一个等式，其余三个等式的证明是完全类似的。令其中μ1=E(x)，μ2=E(y)，即对x和y的各分量作标准化变换，于是*1*11122xDxμyDyμ,**111111111,,Cov,CovCov,xuxuxuDxμuDxuDΣA,164.典型相关系数也是某种复相关系数与y的复相关系数为与x的复相关系数为iiuax,1,2,,iuiimyiivby,1,2,,iviimx175.简单相关、复相关和典型相关之间的关系当p=q=1时，x与y之间的（唯一）典型相关就是它们之间的简单相关。当p=1或q=1时，x与y之间的（唯一）典型相关就是它们之间的复相关。可见，复相关是典型相关的一个特例，而简单相关是复相关的一个特例。第一典型相关系数至少同x（或y）的任一分量与y（或x）的复相关系数一样大，即使所有这些复相关系数都较小，第一典型相关系数仍可能很大；同样，当p=1（或q=1）时，x（或y）与y（或x）之间的复相关系数也不会小于x（或y）与y（或x）的任一分量之间的相关系数，即使所有这些相关系数都较小，复相关系数仍可能很大。18三、从相关矩阵出发计算典型相关有时，x和y的各分量的单位不全相同，我们希望在对各分量作标准化变换之后再作典型相关分析。设为的相关矩阵，现来求x*和y*的典型相关变量。11122122RRRRRxy****,1,2,,iiimaxby，*111111111111*111122222222**111112112212**111121221121Cov,Cov,Cov,Cov,VVVVyxxDxDDΣDRyDyDDΣDRxyDxyDDΣDRDyxDDΣDR19于是因为所以式中，有。同理式中，有。1111111111111112222111111122222222111111111222211RRRRDΣDDΣDDΣDDΣDDΣΣΣΣD112111222211112111122221111iiiiiiΣΣΣΣaaDΣΣΣΣDDaDa11*2*11122221iiiRRRRaa*1iiaDa**111111111iiiiiiaRaaDRDaaΣa11*2*22211112iiiRRRRbb*2iibDb**222222221iiiiiibRbbDRDbbΣb20由此可见，为x*和y*的第i对典型系数，其第i典型相关系数仍为ρi，在标准化变换下具有不变性，这一点与主成分分析有所不同。由于故x*和y*的第i对典型变量是x和y的第i对典型变量ui=ai′x，vi=bi′y的中心化值，自然都具有零均值。例10.2.1设x,y有如下相关矩阵：这里|α|＜1,|γ|＜1，可以保证存在。**,iiab******,iiiiuvaxby11221211,11RRR,11111122,RR***111111***122222iiiiiiiiiiiiiiuuvvaxaDDxμaxaμaμbybDDyμbybμbμ21由于11′有唯一的非零特征值1′1=2，故有唯一非零特征值在约束条件下，相应于特征值的特征向量为。同理，在约束条件下，111112222122222221111111111,111121111RRRR1111111111111111122221RRRR221411211/2*121a1**11111aRa**12211bRb22相应于特征值的特征向量为。所以，第一对典型变量为第一典型相关系数为。由于|α|1，|γ|1，故ρ1|β|，表明第一典型相关系数大于两组原始变量之间的相关系数。1122211112RRRR211/2*121b11/21/2******1121,21axxbyy111/2121123§10.3样本典型相关设数据矩阵为则样本协方差矩阵为S可用来作为Σ的估计。当np+q时，可分别作为的估计；它们的非零特征值可用来估计；1111111111pqnnnnpnnqxxyyxxyyxyXYxy11122122SSSSS11111112222122211112SSSSSSSS和11111112222122211112ΣΣΣΣΣΣΣΣ和22212mrrr22212m24相应的特征向量作为a1,a2,⋯,am的估计，作为b1,b2,⋯,bm的估计。的正平方根rj称为第i样本典型相关系数，称为第i对样本典型相关变量,i=1,2,⋯,m