K-L变换及例题

第7章基于K-L展开式的特征提取7.1K-L变换的定义与性质7.2K-L变换特征提取的原理及应用7.3利用K-L变换进行人脸识别实现特征提取的途径考虑利用线性变换的方式实现降维本质上说是高维→低维的投影形式上可看是原始向量各分量的线性组合由上章内容，此处关键是选择合适的变换，使变换之后的数据保持足够的类别可分性TWxy111111DdddDDxwwyxwwy1122TiiiiDDixwywywywy实现特征提取的途径两类经典的处理方法多重判别分析：考虑模式类可分离性成分分析：用较少数量的特征对样本进行描述，减少或去除冗余信息（去相关、信息压缩）所谓成分分析，即有可能将认为是不重要的成分去除或用较少数据粗略表示，从而减少数据量，实现特征降维DKLT的性质：1.使变换后产生的新的分量不相关2.以部分新分量表示原向量均方误差最小3.使变换向量更趋确定、能量更趋集中离散K-L变换（DKLT），又称霍特林(Hotelling)变换或主分量分解，它是一种基于目标统计特性的最佳正交变换7.1K-L变换的定义与性质设n维随机向量rLxxxxn(,,,)12T，其均值向量[]rrxEx，相关矩阵[]RExxxrrrT，协方差矩阵[]CExxxxxrrrrr--()()T，rx经正交变换后产生向量rLyyyyn(,,,)12T设有标准正交变换矩阵T，（即T'T=I）)',(')('2121nnyyyxtttxTyLrrLrrrr-niiityyTyTx11)'(rrrrxtyiirr'),2,1(niL取前m项为的估计值xrrrxytiiim1nm1（称为的K-L展开式）xr其均方误差为2Tˆˆ()()()mExxxx--2'11[][]nniiiimimEyEyynmiiinmiiyyEyE112][][nmiixinmiiitRttxxEt11)(rrrrrr2()mxtyiirr'在T‘T=I的约束条件下,要使均方误差21ˆˆ()[()'()]'minnixiimmExxxxtRt----nmiiiinmiixitttRtJ11)1'('rrrrr为此设定准则函数nmi,...,10itJr0)(-iixtIRrr由可得iiixttRrrrnmi,...,1即iiixttRrrrnmi,...,1xRritri是的特征值，而是相应的特征向量。由表明:2111()''nnnixiiiiiimimimmtRttt利用上式有:用“截断”方式产生x的估计时，使均方误差最小的正交变换矩阵是其相关矩阵Rx的前m个特征值对应的特征向量构成的。DKLT的性质(1)变换后各特征分量不相关的自相关矩阵和协方差矩阵为①变换后的向量的各分量不相关的②i=E(yi2)，或i=E{[yi-E(yi)]2}(含义：方差)yr[][]nxyTRTxTxTEyyERrrrrrr21T'')')('([]--nxyTCTyyyyECrrrrrr21''))((1x2x1y2y1tr2trDKLT使新的分量y1和y2不相关两个新的坐标轴方向分别由和确定1t2t通过K-L变换，消除了原有向量x的各分量之间的相关性，从而有可能去掉那些带有较少信息的坐标轴以达到降低特征空间维数的目的。(2)最佳逼近性(3)使能量向某些分量相对集中，增强随机向量总体的确定性（即得到主要成分）min)(12nmiimnmmixtyii;,,2,1'LrrDKLT的性质采用同等维数进行表示，该结果与原始数据的均方误差最小何谓主轴及主成分表示主轴特征值大方差大主成分表示与类可分性OQ例:已知两类样本试用K-L变换做一维特征提取。})'5,6(,)'6,5(,)'5,4(,)'4,5(,)'5,5{(:1----------})'5,4(,)'4,5(,)'5,6(,)'6,5(,)'5,5{(:20515151)2(51)1(rrrriiiixxm解：（1）4.0,4.50025)4.25(||2122---IR-1121,112121,21tt,jttRjjjrrrr（3）求R的特征值、特征向量2/110/5)(ˆ)(ˆ21PP4.2525254.25]'51[21]'51[21]'[)(ˆ]'[51)2()2(51)1()1()()(21iiiiiiiiiixxxxxxEPxxERrrrrrrrr（2）（4）选1对应的作为变换矩阵1tr1121][1tTr得}211,211,29,29,210{:1-----}29,29,211,211,210{:21x2x1tr2tr55-5-50yxTyr'21055)1,1(21')1(1)1(1---xTyr211')1(5)1(5-xTyr由得变换后的一维模式特征为两组二维空间的数据（a）（b）如图所示，试用K-L变换来做一维的特征提取。2x1x212-1-2-1-12122x1x212-1-2-1-1212（a）（b）解：这两种情况下的期望向量对于数据（a），有41(())(())141212111221122121241010110104551552TTTiiiEEEE----------xaxxxxxxxx[]0Ex对于数据（b），有计算协方差矩阵的特征值和特征向量：对于数据（a）:对于数据（b）:411412121112211221212410653116103542Tiii--------xbxx125,0aa121122,1122aa-124,1bb121122,1122bb-课堂练习已知一组数据的协方差矩阵为试问：（1）协方差矩阵中各元素的含义。（2）求该组数据的两个主分量。（3）K-L变换为什么又被称作最佳变换？（4）为什么说经主分量分析后，消除了各分量之间的相关性。112121答：(1)对角元素是各分量的方差，非对角元素是各分量之间的协方差。(2)主分量，求协方差矩阵的特征值，对应的特征向量为,对应特征向量为，这两个特征向量即为主分量。(3)对一组数据进行按一组正交基分解，在只取相同数量分量的条件下，以均方误差计算K-L变换对应的截尾误差最小。(4)经K-L变换，协方差矩阵成为对角阵，因而各分量间协方差变为0，消除了的相关性。1231,221322121111-