第六章特征选择和特征提取

第6章特征抽取和选择12020年2月10日星期一第6章特征选择和特征提取6.1类别可分离性判据6.2特征提取6.3特征的选择6.4Karhunen-Loeve（K-L）变换第6章特征抽取和选择22020年2月10日星期一以前我们假定给出了维数为n的确定的模式样本集，代表模式的特征是选择好的。但在实际设计一个模式识别系统时，首先要解决的问题用各种可能的手段对识别对象的性质作各种可能的测量，并将这些测量值作为分类的特征。而为了设计出好的分类器，一般需要对原始的测量值集合进行分析，进行选择或变换，组成识别特征，在保证一定分类精度的前提下，减少特征维数，使分类器的工作又快又准确。要达到上述目的，关键是所提供的模式特征应具有很好的可分性（类别可分离性判据来衡量），同时去掉那些关联性较强的特征。下面我们看一下本章中涉及到的基本概念。第6章特征抽取和选择32020年2月10日星期一特征形成根据被识别的对象产生出来的一组基本特征。特征提取在原始特征的维数很高的情况下，通过映射（或变换）的方法用低维空间来表示样本，这个过程叫特征提取。特征选择从一组特征中挑选出一些最有效的特征以达到降低特征空间维数的目的，称为特征选择。第6章特征抽取和选择42020年2月10日星期一6.1类别可分离性判据我们可以依据某种准则进行特征提取和选择，为此，应当首先构造这样的准则——类别可分离性判据。这些判据应能反映各类在特征空间中的分布情况，应能刻画各特征分量在分类识别中的重要性或贡献。1类别可分离性判据满足的要求（1）与错误概率（或其的上下界）有单调关系；（2）当特征独立时有可加性121(,,,)()dijdijkkJxxxJx每维特征都对应有可分离性判据因为每维特征都为可分离性做贡献判据是识别结果的预判错误率是识别结果第6章特征抽取和选择52020年2月10日星期一（3）具有“距离”的某些特性，即（4）对特征数目是单调不减，即加入新的特征后，判据值不减。这里指出，所构造的可分离性判据并不一定同时具有上述的四个性质，但这并不影响它在实际使用中的性质。下面对几种常用的判据进行讨论。0,0,ijijijjiJijJijJJ12121(,,,)(,,,,)ijdijddJxxxJxxxx第6章特征抽取和选择62020年2月10日星期一2用于可分离性判据的类内类间距离我们说，各类样本可以分开是因为它们位于特征空间中的不同的区域，显然这些区域之间的距离越大类别可分离性就越大。两个类区和之间的平均距离多类情况下，各类之间的平均距离()()111()(,)jinnijdklijklJnnxxxij()()()()()()(,)()()ijijijTklklklxxxxxx()()111111()(,)2jinnccijdijklijijklJPPnnxxxiinPn第6章特征抽取和选择72020年2月10日星期一定义第i类样本集的均值向量所有各类的样本集总平均向量各类之间的平均距离又可表示为()11iniikiknmx1111ccciiiiiiiiinPnnnmmmm()()111()()()()()inciiTTdiiiiikkiikJPnxxmxmmmmm加权证明见附件第6章特征抽取和选择82020年2月10日星期一()()111()()11[]1()()()()()()()[1()()iinciiTTdiiiiikkiikcTbiiiinciiTwiiikiibbkiiiikwwJPnSPSSSPSSxEnExxmxmmmmmmmmmxmmxmm()()11]()()()()cciiTTbiiiwiiiikkiixSPSPExx第6章特征抽取和选择92020年2月10日星期一11111()tr(+)tr(+)tr()dbwbwnnnnniiiJSSSSaaAaaAax方阵的主对角线元素之和称为这个方阵的迹，它是一个离散度矩阵大小最简单的度量方法第6章特征抽取和选择102020年2月10日星期一3基于概率分布的可分性判据下面我们以两类问题为例，来分析一下基于概率分布的可分性判据。先来看一下面的一个简单的例子。由上启发我们可用两类概率密度函数的重叠程度（相似程度）来度量可分性，构造基于类概率的可分性判据。它可以是概率密度函数的乘积、比或差的积分来刻画重叠程度。1()px2()px12()()PP12()()ppxx12()()PP第6章特征抽取和选择112020年2月10日星期一构造的基于类概率的可分性判据应满足的条件：（1）；（2）当两类不重叠时，；（3）当两类概率密度完全重合时，；（4）相对于两个概率密度具有“对称性”；下面我们介绍三个判据一、（Bhattacharyya判据）它与错误率的上界有直接关系：0PJmaxPJ0PJ,,BCDJJJBJ1212ln()()BJppdxxx1212()()()expBPPPJe第6章特征抽取和选择122020年2月10日星期一二、（Chernoff判据）（1）对一切，；（2）对一切，；（3）当的各分量彼此独立时，（4）当的各分量彼此独立时，112ln()()0,1ssCJppdsxxx01sCJ0CJx120()()CJppxx01s121(;,,,)(;)nCnCiiJsxxxJsx12121(;,,,)(;,,,,)CkCkkJsxxxJsxxxxx第6章特征抽取和选择132020年2月10日星期一三、（Divergence判据）122112121121121122221221()()()(()()()()ln()()()()()()())()ln()()lnDJIIppdIppppppppppEpdIEpdxxxxxxxxxxxxxxxxxxxxxDJ第6章特征抽取和选择142020年2月10日星期一散度具有的性质：（1）；（2）；（3）当的各分量彼此独立时，（4）当的各分量彼此独立时，（5）；0DJ120()()DJppxx121(,,,)()nDnDiiJxxxJx12121(,,,)(,,,,)DkDkkJxxxJxxxxxx1221(,)(,)DDJJ第6章特征抽取和选择152020年2月10日星期一6.2特征提取前面我们提到了基于类内类间矩阵的可分离性判据和基于概率分布的可分离性判据。我们可以依据这些判据进行特征的提取，为此，设原特征向量，对作线性变换，产生d维向量，即矩阵，称为特征提取矩阵或变换矩阵，称为二次特征。按欧氏距离度量的特征提取1tr(+)bwJSS12(,,,)TDyyyyy12(,,,)TdxxxxdDTWyxDdWx第6章特征抽取和选择162020年2月10日星期一12534lntrt()trrwbwbwbwbwJSSSSJSSJSSJS()()111()()()()cciiTTbiiiwiiiikkiiciiiSPSPEPxx第6章特征抽取和选择172020年2月10日星期一下面我们着重讨论选择的情况。在线性变换矩阵的作用下在变换后的子空间非奇异线性变换的不变性2JJW112()tr()tr()TTbbTwwTTwbwbWySWSWSWSWJdSSWSWWSWx12tr()wbJSS111111111trtr()tr()tr()trTTTTwbwbTTTTwbwbwbASAASAASAASAASSASSAASSFisher判别函数第6章特征抽取和选择182020年2月10日星期一这里不加证明的给出一下结论：和分别为和对应的本征值。这样，要选则最佳变换是要选择一个d维子空间，使得在此子空间中，的本征值121121()tr()()tr()DwbiidwbiiJDSSJdSSi1wbSSi1wbSSDdW1wbSS12121,1,2,,,,,iiDdwbiiiidWSSuuuuu第6章特征抽取和选择192020年2月10日星期一例题6-1已知有两类数据,分别为试求：该组数据的类内及类间离散矩阵。解：12:(1,0),(2,0),(1,1):(1,0),(0,1),(1,1)wSbS1121114122(,),(,)3333121333112112()()112333333333114212631111112124369999TxSmmxmxm第6章特征抽取和选择202020年2月10日星期一2222121212631()()3691201012963663611()()6113393TxwTbSSSSSxmxmmmmm第6章特征抽取和选择212020年2月10日星期一第6章特征选择和特征提取6.1类别可分离性判据6.2特征提取6.3特征的选择6.4Karhunen-Loeve（K-L）变换第6章特征抽取和选择222020年2月10日星期一6.3特征选择设在D个可用作分类的特征中，为在不降低分类精度的前提下，从中直接选出d个作为分类特征。解决两个问题（1）选择的标准；（2）选择的算法；选择的标准（分两种情况进行讨论）（1）对于独立特征的选择准则—基于距离的可分性判据（2）一般特征的选择准则1离散度矩阵判据2散度和变换散度判据选择的算法分支定界搜索法第6章特征抽取和选择232020年2月10日星期一对于独立特征的选择准则—基于距离的可分性判据类别可分性判据的一般性质：对于基于距离的可分性判据来说，不同模式特征的均值向量之间的距离应最大，而属于同一类的模式特征，其方差和应最小。定义可分性判别函数0,0,ijijijjiJijJijJJ222()()ikjkkikjkmmJx第6章特征抽取和选择242020年2月10日星期一——均值向量在k维方向的分量,ikjkmm22,ikjk,ijmm——在k维方向的方差按大小排列，选出开头最大的d个作为特征向量，就达到了特征选择的目的。上述的判据虽然简单，但其使用范围与模式特征的概率分布有关，几种特殊的情况：(),1,2,,kJxkD第6章特征抽取和选择252020年2月10日星期一()kpxikmjkmijkxikmjkm()kpxijkxikmjkm()kpxijkxiikm222()()0ikjkkikjkmmJx第6章特征抽取和选择262020年2月10日星期一一般特征的选择准则由于特征分量之间的相关性，各分量单独判别并不能获得最优的选择结果。这时可采用类内类间的离散度矩阵、散度等可分性判据。（1）离散度矩阵判据类内：类间：总体：离散度矩阵可分离性判据：1()()cTbiiiiSP()()1()()ciiTwiiiikkiSPExxwbSSS11det()wbiiJ