关于主成分分析的相关知识

关于主成分分析(相关数据中的独立分量分解)的相关知识设12(),(),...,()MXnXnXn为M个相互独立的零均值、单位方差平稳随机过程，现考察K(KM)个由12(),(),...,()MXnXnXn组成的、彼此相关的随机过程12(),(),...,()KYnYnYn，满足：1111211221222212()()()()()()MMKKKKMMYnaaaXnYnaaaXnYnaaaXn或()()YnAXn(1)若已知12()[(),(),...,()]TKYnYnYnYn的协方差矩阵YR，求矩阵A；(2)已知矩阵A、()Yn，求()Xn，12()[(),(),...,()]TMXnXnXnXn；(3)已知()Yn的若干观测值12{()[(),(),...,()]|1,2,...,}TKynynynynnN，如何估计出矩阵A以及()Xn的值12{()[(),(),...,()]|1,2,...,}TMxnxnxnxnnN解：(1)[()()][()()][()()]TTTYTTTTMMREYnYnEAXnXnAAEXnXnAAIAAA上述矩阵方程中共有KK个方程，KM个未知数，方程组是超定的，如果有解，则必有唯一解。考虑到矩阵A、TA的秩为M，则KK的矩阵TYRAA的秩为M，由于MK，则YR必为奇异矩阵，考虑到协方差矩阵的非负定性，则YR必存在M个大于0的特征根22212,,...,M(按从大到小的顺序排列)以及KM个为0的特征根，将YR的K个单位特征向量(每个向量中的所有元素值的平方和值为1)按对应的特征根的顺序构成特征向量矩阵U，则根据矩阵理论，有22211212[,,...,,0,0,...,0]MKMYRUdiagU由于YR为对称矩阵，则根据矩阵理论，1TUU。对矩阵U进行方块分解，设其前M列组成的矩阵为SU，后KM列构成的矩阵为GU，考虑到222121212121212[,,...,,0,0,...,0][,,...,,0,0,...,0][,,...,,0,0,...,0]MKMMKMMKMdiagdiagdiag令：12[,,...,]Mdiag(M行M列的对角矩阵)则有：12120[,,...,,0,0,...,0]00MKMdiag(K行K列的对角矩阵)00[,][,]0000()()()()TSGSGYTTTSSSSRUUUUUUUUAA由于SU(SU:KM,:MM)与A同为K行M列矩阵，根据唯一解性质，必有SAU，其中为由YR的M个非零特征根(按从大到小顺序排列)的根号值所组成的对角矩阵，SU为按相应顺序排列的特征向量组成的矩阵的前M列(KM的矩阵)。(2)()()YnAXn已知矩阵A、()Yn，如果超定方程有解，则必有唯一解。()()()TTAYnAAXnTAA为KK的可逆方阵，则：1()()()TTXnAAAYn。(3)可以根据()Yn的观测值12{()[(),(),...,()]|1,2,...,}TKynynynynnN得到相关矩阵[()()]TYREYnYn的估计值，即11[()()]NTYnRynynN根据大数定理，当N趋于无穷时，YR与YR等价。当N有限时，YR接近YR，因此，YR是接近奇异的，有M个较大的特征根以及K-M个接近于0的特征根，设为由YR的M个较大特征根(按从大到小顺序排列)的根号值所组成的对角矩阵，SU为YR的特征向量按相应顺序排列的组成的矩阵的前M列(KM的矩阵)。则可以得到A的估计值为SAU，进一步可以得到()xn的估计值为：11()()()()TTTSxnAAAynUyn(练习：根据对称矩阵单位特征向量的正交性证明)。