多元统计分析矩阵代数

附1矩阵代数§1.1定义§1.2矩阵的运算§1.3行列式§1.4矩阵的逆§1.5矩阵的秩§1.6特征值、特征向量和矩阵的迹§1.7正定矩阵和非负定矩阵§1.8特征值的极值问题§1.1定义111212122212qqpppqaaaaaaAaaap×q矩阵：12paaaap维列向量：q维行向量：向量a的长度：22212paaaaaa单位向量：1a/12()(,,,)Tqaaaaa若A的所有元素全为零则称A为零矩阵，记作A=0pq或A=0。若p=q，则称A为p阶方阵，a11,a22,⋯,app称为它的对角线元素，其他元素aij(i≠j)称为非对角线元素。若方阵A的对角线下方的元素全为零，则称A为上三角矩阵。显然，aij=0,ij。若方阵A的对角线上方的元素全为零，则称A为下三角矩阵。显然，aij=0,ij。若方阵A的所有非对角线元素均为零，则称A为对角矩阵，简记为A=diag(a11,a22,⋯,app)。若p阶对角矩阵A的所有p个对角线元素均为1，则称A为p阶单位矩阵，记作A=Ip或A=I。若将矩阵A的行与列互换，则得到的矩阵称为A的转置，记作A′，即若方阵A满足A′=A，则称A为对称矩阵。显然，aij=aji。112111222212ppqqpqaaaaaaAaaa§1.2矩阵的运算若A=(aij)：p×q，B=(bij)：p×q,则A与B的和定义为A+B=(aij+bij)：p×q若c为一常数，则它与A的积定义为cA=(caij)：p×q若A=(aij)：p×q，B=(bij)：q×r,则A与B的积定义为1qikkjkABabpr：运算规律(1)(A+B)′=A′+B′。(2)(AB)′=B′A′。(3)A(B1+B2)=AB1+AB2。(4)。(5)c(A+B)=cA+cB。11kkiiiiABAB若两个p维向量a和b满足a′b=a1b1+a2b2+⋯+apbp=0,则称a和b正交。几何上，正交向量之间相互垂直。若方阵A满足AA′=I，则称A为正交矩阵。显然，，i=1,2,⋯,p,即A的p个行向量为单位向量；，即A的p个行向量相互正交。又从A′A=I得：(j≠k)，即A的p个列向量也是一组正交单位向量。若方阵A满足A2=A，则称A为幂等矩阵。对称的幂等矩阵称为投影矩阵。211pijja10,pijkjjaaik21110,ppijijkjiiaaa正交矩阵A的几何意义将p维向量x看作是在Rp中的一个点，则x的各分量是该点在相应各坐标轴上的坐标。正交变换y=Ax意味着对原p维坐标系作一刚性旋转(或称正交旋转)，y的各分量正是该点在新坐标系下的坐标。当p=2时，按逆时针方向将直角坐标系x1Ox2旋转一个角度θ，所得新坐标系y1Oy2与原坐标系之间的变换为当p=3时,同样有着直观的几何展示。由于y′y=(Ax)′(Ax)=x′A′Ax=x′x故在新、旧坐标系下，该点到原点的距离保持不变。1122cossinsincosyxyAxyx矩阵的分块设A=(aij)：p×q,将它分成四块，表示成其中A11：k×l，A12：k×(q−l)，A21：(p−k)×l，A22：(p−k)×(q−l)。若A和B有相同的分块，则11122122AAAAA1111121221212222ABABABABAB若C为q×r矩阵，分成其中C11：l×m，C12：l×(r−m)，C21：(q−l)×m，C22：(q−l)×(r−m)，则有11122122CCCCC111211122122212211111221111212222111222121122222AACCACAACCACACACACACACACAC矩阵的分块例1用矩阵分块方法证明,正交矩阵A：p×p的p个列向量和p个行向量都是一组正交单位向量。证明将矩阵A分别按列向量和行向量分块，并记由A′A=I，得1212,,,ppaaAaaaa1212,,,ppaaaaaIa于是故有即a1,a2,⋯,ap为一组正交单位向量。同理，由AA′=I可证a(1),a(2),⋯,a(p)也是一组正交单位向量。11121212121110101ppppppaaaaaaaaaaaaaaaaaa01,,1ijijaaijp若若§1.3行列式p阶方阵A=(aij)的行列式定义为这里表示对1,2,⋯,p的所有排列求和，τ(j1j2⋯jp)是排列j1,j2,⋯,jp中逆序的总数，称它为这个排列的逆序数，一个逆序是指在一个排列中一对数的前后位置与大小顺序相反，即前面的数大于后面的数。例如，τ(3142)=1+τ(1342)=3+τ(1234)=3。121212121pppjjjjjpjjjjaaaA12pjjj行列式的一些基本性质(1)若A的某行(或列)为零，则|A|=0。(2)|A′|=|A|。(3)若将A的某一行(或列)乘以常数c，则所得矩阵的行列式为c|A|。(4)若A是一个p阶方阵，c为一常数，则|cA|=cp|A|。(5)若互换A的任意两行(或列)，则行列式符号改变。(6)若A的某两行(或列)相同，则行列式为零。(7)若将A的某一行(或列)的倍数加到另一行(或列)，则所得行列式不变。(8)若A的某一行(或列)是其他一些行(或列)的线性组合，则行列式为零。(9)若A为上三角矩阵或下三角矩阵或对角矩阵，则(10)若A和B均为p阶方阵，则|AB|=|A||B|。(11)|AA′|≥0。(12)若A与B都是方阵，则(13)若A：p×q，B：q×p，则|Ip+AB|=|Iq+BA|1piiiAaACAABBCB00行列式的一些基本性质(13)若A：p×q，B：q×p，则|Ip+AB|=|Iq+BA|.作业设x,y为两个p维向量，则|Ip+xy′|=1+y′x.证明000pqpppqqIAIIABIABIABBIBI0ppqqpqIBIAIABIBII0.pqqIAIBAIBA代数余子式设A为p阶方阵，将其元素aij所在的第i行与第j列划去之后所得(p−1)阶矩阵的行列式，称为元素aij的余子式，记为Mij。Aij=(−1)i+jMij称为元素aij的代数余子式。有以下公式成立001111ppijijijijjippkjijikijjiAaAaAaAkiaAkj，§1.4矩阵的逆若方阵A满足|A|≠0，则称A为非退化方阵；若|A|=0，则称A为退化方阵。设A=(aij)是一非退化方阵，若方阵C满足AC=I，则称C为A的逆矩阵，记为C=A−1，A−1必是一个非退化矩阵。令B′=(Aij)/|A|其中Aij是aij的代数余子式，则容易验证AB=BA=I。由于C=BAC=B，因此A−1是惟一的，且(A−1)−1=A。逆矩阵的基本性质(1)AA−1=A−1A=I。(2)(A′)−1=(A−1)′。(3)若A和C均为p阶非退化方阵，则(AC)−1=C−1A−1(4)|A−1|=|A|−1。(5)若A是正交矩阵，则A−1=A′。(6)若A=diag(a11,a22,⋯,app)非退化(即aii≠0，i=1,2,⋯,p)，则(7)若A和B为非退化方阵，则11111221diag,,,ppAaaa11100.00AABB§1.5矩阵的秩一组同维向量a1,a2,⋯,an，若存在不全为零的常数c1,c2,⋯,cn，使得c1a1+c2a2+⋯+cnan=0则称该组向量线性相关。若向量a1,a2,⋯,an不线性相关，就称为线性无关。矩阵A的线性无关行向量的最大数目称为行秩，其线性无关列向量的最大数目称为列秩。矩阵的行秩和列秩必相等，故统一将其称为A的秩，记作rank(A)。矩阵秩的基本性质(1)rank(A)=0，当且仅当A=0。(2)若A为p×q矩阵,且A≠0，则1≤rank(A)≤min{p,q}(若rank(A)=p,则称A为行满秩的；若rank(A)=q,则称A为列满秩的)。(3)rank(A)=rank(A′)。(4)。(5)rank(AB)≤min{rank(A),rank(B)}。(6)若A和C为非退化方阵，则rank(ABC)=rank(B)(7)p阶方阵A是非退化的，当且仅当rank(A)=p(称作A满秩)。(8)rank(AA′)=rank(A′A)=rank(A)。00rankrank=rankrank00AAABBB设A是p阶方阵，若对于一个数λ，存在一个p维非零向量x，使得Ax=λx，则称λ为A的一个特征值或特征根，而称x为A的属于特征值λ的一个特征向量。依该定义有，(A−λI)x=0，而x≠0，故必有|A−λI|=0。|A−λI|是λ的p次多项式，称为特征多项式。上式有p个根(可能有重根)，记作λ1,λ2,⋯,λp，它们可能为实数，也可能为复数(虽然A是实数矩阵)。反过来，若λi是上式的一个根，则A−λiI为退化矩阵，故存在一个p维非零向量xi，使得(A−λiI)xi=0，即λi是A的一个特征值，而xi是相应的特征向量。今后，一般取xi为单位向量，即满足xi′xi=1。§1.6.1特征值、特征向量特征值和特征向量的基本性质(1)A和A′有相同的特征值。(2)若A和B分别是p×q和q×p矩阵，则AB和BA有相同的非零特征值。(3)若A为实对称矩阵，则A的特征值全为实数，p个特征值按大小依次表示为λ1≥λ2≥⋯≥λp。若λi≠λj，则相应的特征向量xi和xj必正交，即xi′xj=0。(4)若A=diag(a11,a22,⋯,app)，则a11,a22,⋯,app为A的p个特征值，相应的特征向量分别为e1=(1,0,⋯,0)′，e2=(0,1,0,⋯,0)′，⋯，ep=(0,⋯,0,1)′。(5)，即A的行列式等于其特征值的乘积。A为非退化矩阵，当且仅当A的特征值均不为零；A为退化矩阵，当且仅当A至少有一个特征值为零。1piiA(6)设方阵A：p×p的p个特征值为λ1,λ2,⋯,λp，试证：(i)若A可逆，相应于λ1,λ2,⋯,λp的特征向量分别为x1,x2,⋯,xp，则A−1的p个特征值为，相应的特征向量仍为x1,x2,⋯,xp；(ii)若A为幂等矩阵，则A的特征值为0或1；(iii)若A为正交矩阵，则A的特征值为1或−1。(7)若A为p阶对称矩阵，则存在正交矩阵T及对角矩阵Λ=diag(λ1,λ2,⋯,λp)，使得A=TΛT′上式两边右乘T，得AT=TΛ将T按列向量分块，并记作T=(t1,t2,⋯,tp)，于是有(At1,At2,⋯,Atp)=(λ1t1,λ2t2,⋯,λptp)11112,,,p特征值和特征向量的基本性质故Ati=λiti，i=1,2,⋯,p这表明λ1,λ2,⋯,λp是A的p个特征值，而t1,t2,⋯,tp为相应的(一组正交单位向量)特征向量。称之为A的谱分解。(8)若A为p×q实数矩阵，则存在p阶正交矩阵U和q阶正交矩阵V，使得A=UΛV′其中Λ的(i,i)元素λi≥0,i=1,2,⋯,min(p,q)，其他元素均为零。正数λi称为A的奇异值，上述分解式称为奇异值分解。100112212=,,,ppiiiippttATΛTtttttt设rank(A)=k，则矩阵Λ中只有k个正数，记为λ1,λ2,⋯,λk。将正交矩阵U和V按列分块有，