模式识别第五章FeatureSelection.

第五章特征选择和提取5.1特征选择和提取的基本概念5.2模式类别可分性的测度5.3特征提取5.4特征选择5.5离散K-L变换5.6采用K－L变换的分类特征提取5.1特征选择和提取基本概念特征形成根据被认识的对象产生出一组基本特征，这些基本特征可以是通过计算得到的，也可以是通过一定的工具测量出来的，这些特征我们叫做原始特征。通常到从物理量到原始特征需要经过很多的过程，如识别物体，要对物体影像进行数字化，得到数字图像，再对数字图像进行各种预处理，从而得到物体的几何的、颜色的特征。特征选择和提取是模式识别中的一个关键问题–前面讨论分类器设计的时候，一直假定已给出了特征向量维数确定的样本集，其中各样本的每一维都是该样本的一个特征；–这些特征的选择是很重要的，它直接影响到分类器的设计及其性能；–假若对不同的类别，这些特征的差别很大，则比较容易设计出具有较好性能的分类器。特征选择和提取是构造模式识别系统的一个重要课题–在很多实际问题中，往往不容易找到那些最重要的特征，或受客观条件的限制，不能对它们进行有效的测量；–因此在测量时，由于人们心理上的作用，只要条件许可总希望把特征取得多一些；–另外，由于客观上的需要，为了突出某些有用信息，抑制无用信息，有意加上一些比值、指数或对数等组合计算特征（在数据上作一些处理）；–如果将数目很多的测量值不做分析，全部直接用作分类特征，不但耗时，而且会影响到分类的效果，产生“特征维数灾难”问题。为了设计出效果好的分类器，通常需要对原始的测量值集合进行分析，经过选择或变换处理，组成有效的识别特征；在保证一定分类精度的前提下，减少特征维数，即进行“降维”处理，使分类器实现快速、准确和高效的分类。为达到上述目的，关键是所提供的识别特征应具有很好的可分性，使分类器容易判别。为此，需对特征进行选择。–应去掉模棱两可、不易判别的特征；–所提供的特征不要重复，即去掉那些相关性强且没有增加更多分类信息的特征。说明–实际上，特征选择和提取这一任务应在设计分类器之前进行；–但从通常的模式识别学习过程来看，在讨论分类器设计之后讲述特征选择和提取，更有利于加深对该问题的理解。信息获取预处理特征选取分类器设计模式分类错误率检测改进分类器(参数)识别结果输出所谓特征选择，就是从n个度量值集合{x1,x2,…,xn}中，按某一准则选取出供分类用的子集，作为降维（m维，mn）的分类特征；所谓特征提取，就是使(x1,x2,…,xn)通过某种变换，产生m个特征(y1,y2,…,ym)(mn)，作为新的分类特征（或称为二次特征）；其目的都是为了在尽可能保留识别信息的前提下，降低特征空间的维数，已达到有效的分类。特征选择和提取示例以细胞自动识别为例–通过图像输入得到一批包括正常细胞和异常细胞的图像，我们的任务是根据这些图像区分哪些细胞是正常的，哪些细胞是异常的；–首先找出一组能代表细胞性质的特征，为此可计算细胞总面积总光密度胞核面积核浆比细胞形状核内纹理……以细胞自动识别为例–这样产生出来的原始特征可能很多（几十甚至几百个），或者说原始特征空间维数很高，需要降低（或称压缩）维数以便分类；–一种方式是从原始特征中挑选出一些最有代表性的特征，称之为特征选择；–另一种方式是用映射（或称变换）的方法把原始特征变换为较少的特征，称之为特征提取。5.2模式类别可分性的测度特征选择和提取的任务都是找出一组最有效的特征，因此我们需要一个定量的准则来衡量特征对分类的有效性。具体的来说需要一个比较标准看我们选出来的哪一组特征对分类来说最有效。一个最自然的想法就是错误概率。但是错误概率求起来比较复杂。而且有时候条件概率密度很难求。用估计错误概率的方法又不是很准确。我们希望找出一些更实用的标准来衡量已知特征条件下各类的可分性。希望准则函数Jij具有如下性质：(i)散度与分类错误概率有比较密切的关系。(ii)Jij=Jji，当ωi和ωj的分布不同时，Jij0当ωi和ωj的分布完全同时，Jij＝0（iii）在模式特征的各个分量都相互独立的情况下,有：(iv)当新加入特征的时候，永远不会使散度减小mkkijmijijxJxxxJxJ121)(),...,,()(),,...,,(),...,,(12121mmijmijxxxxJxxxJ5.2模式类别可分性的测度5.2.1距离和散布矩阵–点到点之间的距离–点到点集之间的距离(距离平方、均方距离)babaD),(dkkktbabababaD122)()()(),(dkkkiaxiaxD122))(())(,(NidkkkNiiaxNiaxDNiaxD112122))((1))(,(1))(,(类内距离dkkiajaD1222)(,)(NikkkaiaN122)(11NikkiaNa1)(1K分量的无偏方差K分量的均值类内散布矩阵因为x(i)和x(j)是同一类中的不同样本，他们应该是独立的模式样本向量，因此样本距离的均方值为：其中R是该类模式分布的相关矩阵，m为均值向量，C为协方差矩阵。对属于同一类的模式样本，类内散布矩阵表示各样本点围绕其均值周围的散布情况，这里即为该分布的协方差矩阵。)(]))(((1[2][2][2222)}()()()({)}()()()({)]}()([)]()({[)(,)(1122wNitnkkttttttttttStrNtrCtrmmRtrmmxxEtrxExExxEjxixixjxEixixjxjxEixjxixjxEixjxDmx(i)mi)xijnknljlikjicjjciidnnPPJ1111),(121xx)()(),(jliktjlikjlikxxxxxxiniikin11xmiciiP1imminktiktikiciidnPJ11)()()()(1mmmmmxmxiiiidJ这三个式子带入inktikikiciiwcitibnPSPS111))((1~))((~iiiimxmxmmmmNitttwbdNSStrSStrJ1))((1~)~()~~(mxmxii)(xEii)(xEticiiwcitibEPSPS))(())((11iiiixx总的类内离散度矩阵总的类间离散度矩阵)(wbdSStrJ||||||||)()(||||)()(543121wbwwtwbwbbwwbSSSSSJStrStrJSSJSStrJSStrJ5.2.2基于类概率密度的可分性判据dxPPxpxpgJp)(),(),(),(21211)Jp为非负2)当两类完全不重叠时，Jp取得最大值3)当两类分布密度相同时，Jp为00pJ1.Bhattacharyya距离和Chernoff界限Bhattacharyya距离dxxpxpJB)|()|(ln21)exp()]()([)|()|()]()([)(5.021215.021BJPPdxxpxpPPeP下面讨论一些常用的概率距离度量：Chernoff界限：区间的一个参数，是]10[)|()|(ln211sdxxpxpJssccBJJs时，不难看出，取5.0dhhpshssPPePss)|()exp(ln)())(exp()]([)]([)(12112散度散度的定义前面定义过似然函数和似然比，这些都提供了两种模式可分的度量，也就是在错误概率最小意义下的模式样本的分类。求该式的值，需要和的确切的表达式，这个要求较高，我们转而求某类的平均可分性信息)|()|(ln)(jiijxpxpxl)|(ixp)|(jxpxjiiijiijdxxpxpxpxlExI)|()|(ln)|()]([)(同理定义散度该式子是散度的一般表达式。当ωi和ωj的分布是一些特殊的表达式子，那么对数似然比函数和散度可以得到一些很简单形式。xijjjijjidxxpxpxpxlExI)|()|(ln)|()]([)(xjijiijjiijdxxpxpxpxpIIJ)|()|(ln)]|()|([当ωi和ωj服从正态分布，散度为：),(~)|(),(~)|(jCNjjiiimxpCmNxp和))()21]2[21])))[(21)])([(2111111111jijiTjijiijTjijijiijjijiijijmmCCmmICCCCtrmmmmCCtrCCCCtrIIJ（（（（（1）如果Cj＝Ci＝C，那么这正好是两类模式之间的马氏距离平方))211jitjijimmCmmI（（)()1jitjiDijmmCmmJJ（（2）如果两类均为正态分布且数学期望值相等mi＝mj，那么当Ci和Cj之间越相近则散度越小。)]([21ln2111ijiijijCCCtrCCI)])([2111ijjiijCCCCtrJ（正态情况下Bhattacharyya距离我们把正态概率函数带入Bhattacharyya判据212112)(ln21)(2)(81CjCiCCmmCCmmJjijijitjiB距离也就是我们前面提到的（当两类协方差相等时sMahalanobiJJmmCmmJJMMjitjiDB)()81一般情况下，与错误概率没有明确的解析关系，但通过试验证明他们之间有单调关系。当两类先验概率相等且为正态等协方差分布时，则错误概率为：dyyePijr2exp21)(22DJ小散度增加，错误概率减也就是马氏距离。因此ijr5.2.2基于熵函数的可分性判据我们可以根据后验概率来设计分类器，所以可由特征的后验概率来衡量他对分类的有效性。如果给对于某些特征，各类后验概率相等，即：cxPi1)|(ceP11)(这个时侯错误概率为对另一种极端情况，如果有一组特征使得：此时x可以肯定的归为i类，而错误概率为0可见后验概率分布越集中，错误概率越小，后验概率越平缓则错误概率越大ijxPxPi0)|(,1)|(j且为了衡量后验概率的集中程度，我们借用信息熵的概念这个函数应该有以下特点：1）熵为正且对称：2）若,且3）4）对于任意概率分布5）对所有事件，熵函数是连续函数),...,,(1),...,2,1()|(211ccciiiiPPPJHPcixPP设：0),...,(...),...,,(),...,,(11221PPHPPPHPPPHcccccc1jP则),1(0jiciPi0),...,,(21ccPPPH),...,,()0,...,,(21211ccccPPPHPPPH，)1,...,1,1(),...,,(1),...,2,1(0211cccHPPPHPciPcccciii有满足上述性质的应该是以下形式：当a趋近1时：这就是我们在信息论中用到的shannon熵当a取2时得平方熵目标是使J的期望最小1,1)12(),...,,(11121aaPPPPJciaiacac为一个实的正参数，)](log[),...,,(21211iciiccPPPPPJciiccPPPPJ1221212),...,,(图像分割：Otsu灰度图像阈值算法(Otsuthresholding)图像有L阶灰度，ni是灰度为i的像素数，图像总像素数N=n1+n