特征提取与特征选择

第8章特征提取与特征选择Chapter8:Featureextractionandfeatureselection本章主要内容8.1特征提取的基本概念8.3特征选择的基本概念8.2常见特征提取方法(重点)(熟悉)(熟悉)8.1特征提取的基本概念8.1.1特征提取的必要性12345转化成列向量0101000123353433010011“1”特征提取35模式“1”的图片12xxx（原始特征）通过直接测量得到的特征称为原始特征；例1：数字识别8.1.1特征提取的必要性（续）例2：表情识别5010015020025050100150200250256×25632×32=10245101520253051015202530抽样11102411提取的特征个数（原始特征）特征提取原始特征过多，不利于识别；8.1.1特征提取的必要性（续）例3：指纹识别指纹图象虽然很复杂，但真正能用于识别的特征并不多；将这些特征找出来并进行合理表示就是特征提取的任务；特征提取(FeatureExtraction)：用映射（或变换）的方法把原始特征转换为数量较少的新特征的过程。8.1.2特征提取的定义与必要性(1)过多的原始特征使得模式识别的计算复杂度过高；(2)在原始特征中包含有对分类没有帮助甚至有害的冗余信息，需要去除；定义：必要性：8.2常见特征提取方法8.2.1主成分分析TjiijyvxiiiCvv前提:11NTiiiNCxx110NiiNx（1）求协方差矩阵：（2）协方差矩阵的特征值分解：（3）投影：步骤：iv为提取的第i个主方向jiy是测试样本的第i个主成分（特征）jx（首先检查样本的均值是否为0，若不为0，则进行零均值化）例：已知三个样本的坐标如下图所示，试用主成分分析方法进行特征提取。8.2.1主成分分析（续）123123零均值化：Tijijyvx2/31/31/32/3C（1）求协方差矩阵：（2）协方差矩阵的特征值分解：（3）投影：步骤：1v2v1x2x3x111x223x332x111x201x310x12/22/2v22/22/2v1121/311112Tyvx12210Tyvx8.2.1主成分分析（续）物理意义（二维情形）:1v2v各样本点到方向的距离的平方和最小；PCA的实质是对原坐标系进行平移和旋转变换，使得新坐标系的原点与给定样本集的均值点重合。1v方向与方向构成了新的坐标系；1v2v8.2.1主成分分析（续）物理意义（三维情形）:若样本呈椭球状分布，则三个主方向分别是椭球的三个轴。8.2.1主成分分析（续）源代码解析：function[v,latent,explained,xtest_project]=lpca(x,xtest,numpc)%x-学习样本%xtest-测试样本%numpc-提取的特征数目%v-提取的特征向量[n,m]=size(x);[ntest,mtest]=size(xtest);avg=mean(x);110NiiNx保证8.2.1主成分分析（续）centerx=(x-avg(ones(n,1),:));avgtest=mean(xtest);centerxtest=(xtest-avg(ones(ntest,1),:));[U,latent,v]=svd(centerx./sqrt(n-1),0);latent=diag(latent).^2;xtest_project=centerxtest*v(:,1:1:numpc);Tiyvx（3）投影：11NTiiiNCxx（1）求协方差矩阵：（2）特征值分解：iiiCvv,CovDDxyxy1,1abPabyx,Pppxyxy8.2.2独立成分分析预备知识：不相关与独立不相关独立相关系数：已知两个随机变量和，有xy0不相关两个随机变量不相关，它们不一定相互独立；两个随机变量相互独立，它们一定不相关；主成分分析提取的特征间不相关;独立成分分析提取的特征间相互独立;完全相关研究动机：鸡尾酒问题111121221222xaasxaasSpeaker(Sources)1s2sRecorder1x2x矩阵形式：Axs8.2.2独立成分分析（续）已知：1x2x未知：11122122aaaa待求：1s2sTyvxDyPCAICATyvxmaxmax投影求取原则算法KurtyJymaxor非线性数值优化特征值分解8.2.2独立成分分析（续）与主成分分析的区别gaussJHHyyylogHppdyyyy2423KurtEEyyyNegentropy准则：Kurtosis准则：111121312212223233132333xaaasxaaasxaaasSourcesMixture8.2.2独立成分分析（续）例：用独立成分分析分离混合信号8.2.3其它特征提取方法简介概率主成分分析（PPCA）：PCAPPCAPrincipalplaneLatentplanexwzε~0,pNzI/2222|2exp/2dpxzxwz2|~,pNzxxMz先验:给定：后验：xxx8.2.3其它特征提取方法简介（续）混合概率主成分分析（MPPCA）：PPCAMPPCAPPCA使得PCA具有概率背景；MPPCA具备更精细的特征分析功能；PCA主曲线HS(HastieandStuetzle,1988)PPC(K.Y.Chang,1998,)BR(BanfieldandRaftery,1992)T(Tibshirani,1992)D(Delicado,2001)K(Kégl,1999)RPM(Smola,1999)HS(HastieandStuetzle,1988)PPS(K.Y.Chang,2001,probabilisticprincipalsurfaces)APS(LeBlanc,1994,adaptiveprincipalsurfaces)SOM(Kohonen,1995,self-organizingmaps)GTM(Bishop,1998,generativetopographicalmapping)8.2.3其它特征提取方法简介（续）主曲面主曲线（PC）与主曲面（PS）分析：主曲线分析主成分分析8.2.3其它特征提取方法简介（续）三种特征提取方法比较混合概率主成分分析在三种特征提取方法中，主曲线分析方法效果最好；8.2.3其它特征提取方法简介（续）例：用主曲线提取手写数字特征人工提取上述特征容易，用计算机提取上述特征困难些；不同的主曲线提取方法对比用主曲线提取的特征8.2.3其它特征提取方法简介（续）核主成分分析（KPCA）：vRＰＣＡＫＰＣＡvF)(1x)(2xKPCA：在核空间中进行主成分分析FR8.2.3其它特征提取方法简介（续）.PCAKPCA原始样本第一主方向第二主方向第一主方向第二主方向第三主方向例：用核主成分分析方法进行特征提取8.3特征选择的基本概念特征选择(FeatureSelection)：从原始特征中挑选出一些最有代表性、可分性能最好的特征。8.3.1特征选择的必要性例：二维特征选择-1111111-11若只选择第1个特征若只选择第2个特征11-111特征选择面临的两个问题：（1）有一个选择的标准。即要选出使某一可分性达最大的一组特征；（2）找一个较好的算法。即要在允许的时间内找出最优的一组特征；特征选择的几种新方法：（教材P205）（1）模拟退火算法；（2）Tabu搜索算法；（3）遗传算法；8.3.2特征选择面临的问题及解决之道常用特征选择方法最优搜索算法；次优搜索算法；（教材P199）（教材P202）（1）最优化理论（3）离散数学（4）随机过程（5）多元分析（7）数学物理方程（6）计算方法（8）微分方程数值解（9）模糊数学（2）矩阵论附：向大家推荐的10门数学课：“学以致用”；（10）泛函分析数学是解决问题的利器；