PR15-8-1特征提取

2020/1/231第八讲特征提取秦中元东南大学信息科学与工程学院[e-mail]2015年东南大学硕士研究生课程模式识别(PatternRecognition)2020/1/232本讲内容特征提取的必要性类别可分性测度(ClassSeparabilityCriteria)使用K-L变换实现特征提取K-L变换的其他应用特征选择2020/1/233特征提取的必要性特征选择和提取是构造模式识别系统时的一个重要课题在很多实际问题中，往往不容易找到那些最重要的特征，或受客观条件的限制，不能对它们进行有效的测量；因此在测量时，由于人们心理上的作用，只要条件许可总希望把特征取得多一些；另外，由于客观上的需要，为了突出某些有用信息，抑制无用信息，有意加上一些比值、指数或对数等组合计算特征；如果将数目很多的测量值不做分析，全部直接用作分类特征，不但耗时，而且会影响到分类的效果，产生“特征维数灾难”问题。2020/1/234特征提取的必要性为了设计出效果好的分类器，通常需要对原始的测量值集合进行分析，经过选择或变换处理，组成有效的识别特征；在保证一定分类精度的前提下，减少特征维数，即进行“降维”处理，使分类器实现快速、准确和高效的分类。为达到上述目的，关键是所提供的识别特征应具有很好的可分性，使分类器容易判别。为此，需对特征进行选择。应去掉模棱两可、不易判别的特征；所提供的特征不要重复，即去掉那些相关性强且没有增加更多分类信息的特征。2020/1/235特征选择和特征提取的区别所谓特征选择，就是从n个度量值集合{x1,x2,…,xn}中，按某一准则选取出m维（mn）供分类用的子集，作为降维的分类特征；所谓特征提取，就是使(x1,x2,…,xn)通过某种变换，产生m个特征(y1,y2,…,ym)(mn)，作为新的分类特征（或称为二次特征）；其目的都是为了在尽可能保留识别信息的前提下，降低特征空间的维数，已达到有效的分类。(c)是具有分类能力的特征，故选(c)，扔掉(a)、(b)。BA解：[法1]①特征抽取：测量三个结构特征(a)周长(b)面积(c)两个互相垂直的内径比——特征选择：一般根据物理特征或结构特征进行压缩。②分析：例：特征选择与特征提取的区别：对一个条形和圆进行识别。[法2]：①特征抽取：测量物体向两个坐标轴的投影值，则A、B各有2个值域区间。可以看出，两个物体的投影有重叠，直接使用投影值无法将两者区分开。②分析：将坐标系按逆时针方向做一旋转变化，或物体按顺时针方向变，并适当平移等。根据物体在轴上投影的坐标值的正负可区分两个物体。'2x——特征提取，一般用数学的方法进行压缩。BA2x1x22Bx22Ax12Bx12Ax11Bx11Ax21Bx21AxA2x1x'2x'1x5.2类别可分性测度5.2.1基于距离的可分性测度类别可分性测度：衡量类别间可分性的尺度。相似性测度：衡量模式之间相似性的一种尺度类内距离和类间距离类概率密度函数类别可分性测度空间分布：随机模式向量：错误率与错误率有关的距离1．类内距离和类内散布矩阵1)类内距离：同一类模式点集内，各样本间的均方距离。平方形式：}||{||22jiEDXX)}(){(TjijiEXXXXXi,，Xj：n维模式点集{X}中的任意两个样本。特征选择和提取的结果应使类内散布矩阵的迹愈？愈好。特征选择和提取的结果应使类内散布矩阵的迹愈小愈好。}{}{2}{2TT2XXXXEEED]}{[2TTMMXXE][tr2TMMR][tr2Cnkk122若{X}中的样本相互独立，有式中，R：该类模式分布的自相关矩阵；M：均值向量；C：协方差矩阵；：C主对角线上的元素，表示模式向量第k个分量的方差；2ktr：矩阵的迹（方阵主对角线上各元素之和）。2)类内散布矩阵：表示各样本点围绕均值的散布情况——该类分布的协方差矩阵。类间散布矩阵的迹愈大愈有利于分类。2．类间距离和类间散布矩阵1)类间距离：模式类之间的距离，记为。bD每类模式均值向量与模式总体均值向量之间平方距离的先验概率加权和。ciiibPD1202||||)(MMciiiiP10T0)())((MMMM式中，)(iωP：i类的先验概率；iM：i类的均值向量；0M：所有c类模式的总体均值向量。XME0cii,,2,1,XciiiP1)(M2)类间散布矩阵：表示c类模式在空间的散布情况，记为Sb。ciiiibP1T00))()((MMMMS类间散布矩阵的迹愈？愈有利于分类。3)类间距离与类间散布矩阵的关系：}{tr2bbDS注意：与类间距离的转置位置不同。3．多类模式向量间的距离和总体散布矩阵1）两类情况的距离设1ω类中有q个样本，2ω类中有p个样本。q个p个1ω2共p×q个距离两个类区之间的距离=p×q个距离的平均距离多类间任意两个点间距离的平均距离类似地多类情况多类间任意两个点间平方距离的平均值inkjnljlikcjjijciidDnnPPJ11211),(1)()(21XX式中，)(iωP和)(jP：i和jω类先验概率；c：类别数；ikX：i类的第k个样本；jlX：jω类的第l个样本；in和jn：i和jω类的样本数；),(2jlikDXX：ikX和jlX间欧氏距离的平方。（5-8）inkikiin11XMi类的均值向量：（5-10）ciiiP10)(MMc类模式总体的均值向量：（5-11）2）多类情况的距离(2)Jd的另一种形式：将以下3式代入(5-8)式(1)多类模式向量间的平均平方距离Jd)()(),(T2jlikjlikjlikDXXXXXX（5-9）平方距离：任意类的组合特定两类间任意样本的组合得)()()()(1)(0T01T1MMMMMXMXiiiikinkiikiciidnPJ某类类内平方距离平均值某类类间平方距离多类模式向量之间的平方距离=各类平方距离的先验概率加权和某类的平方距离模式类间的距离模式类内的距离多类模式向量之间的距离3）多类情况的散布矩阵ciiiibP1T00))()((MMMMS多类类间散布矩阵：4）多类模式平均平方距离与总体散布矩阵的关系)(tr)(trwbtdJSSS多类类内散布矩阵：ciiiiwEP1T}))({()(MXMXSiXciinkiikiikinP11Ti))((1)(MXMX——各类模式协方差矩阵的先验概率加权平均值。多类模式的总体散布矩阵：wbtESSMXMXS}))({(T00得)()()()(1)(0T01T1MMMMMXMXiiiikinkiikiciidnPJ2020/1/2315离散K-L变换全称：Karhunen-Loeve变换（卡洛南-洛伊变换）简单删掉某n-k个特征的做法并不十分理想，因为一般来说，原来的n个数据各自在不同程度上反映了识别对象的某些特征，简单地删去某些特征可能会丢失较多的有用信息。如果将原来的特征做正交变换，获得的每个数据都是原来n个数据的线性组合，然后从新的数据中选出少数几个，使其尽可能多地反映各类模式之间的差异，而这些特征间又尽可能相互独立，则比单纯的选择方法更灵活、更有效。K-L变换就是一种适用于任意概率密度函数的正交变换。2020/1/2316正交变换对随机变量x(t)=[x(1),x(2),…,x(n)]t做离散正交展开，正交函数为，则对每一模式可分别写成：其中矩阵而且对各个模式类别，正交函数都是相同的，但其展开系数向量aj则因类别的不同模式分布而异。1njjjxaa[(1),(2),,()]tjjjjn12[,,,]nkjkjktj,0,1tax2020/1/2317利用K-L展开式实现特征选择原理：从n个特征向量中取出m个组成变换矩阵，即=(12…m)，mn此时，是一个n*m维矩阵，x是n维向量，经过tx变换，即得到降维为m的新向量。问题：如何选取变换矩阵，使得降维后的新向量在最小均方差条件下接近原来的向量x？2020/1/2318按K-L展开式选择特征K-L展开式系数aj也就是变换后的特征，用yj表示，写成向量形式：y=Tx。此时变换矩阵用m个特征向量组成。为使误差最小，不采用的特征向量，其对应的特征值应尽可能小。因此，将特征值按大小次序标号，即12…m…n=0若首先采用前面的m个特征向量，便可使变换误差最小。此时的变换矩阵为=(12…m)例5.3两个模式类的样本分别为1ω：T1]2,2[X，T2]3,2[X，T3]3,3[X2ω：T4]2,2[X，T5]3,2[X，T6]3,3[X利用自相关矩阵R作K-L变换，把原样本集压缩成一维样本集。解：第一步：计算总体自相关矩阵R。3.73.63.67.561}{61TTjjjEXXXXR第二步：计算R的本征值，并选择较大者。由得0||IR85.121，15.02，选择1λ。第三步：根据11uuR1计算1λ对应的特征向量1u，归一化后为TT]75.0,66.0[]14.1,1[3.211u离散K-L变换举例变换矩阵为75.066.0][1uU第四步：利用U对样本集中每个样本进行K-L变换。82.222]75.066.0[1T*1XUX……变换结果为：1ω：82.2*1X，57.3*2X，23.4*3X2ω：82.2*4X，57.3*5X，23.4*6XT]75.0,66.0[1uX3X1X2x1123012x23-1-2-3-1-2-3X4X5X6*3X*1X*2X0-1-5X*-4-3-212345*4X*6X*5X2020/1/2321K-L变换的应用通过屏幕上的图形显示来大致分析高维模式样本的聚类情况。降维和压缩对于一幅M行N列的图像，原始的特征空间维数为M*N。如果在K-L变换中只使用30个基，则维数降到30。降维可实现数据压缩。30个基(基是不是图像？)加上每幅图像的描述参数。2020/1/2322K-L变换的应用人脸识别收集要识别的人脸，组成人脸图像库；利用K-L变换确定人脸基图像；得到每幅图像的参数向量；对待识别的图像，经预处理后，进行K-L变换，得到参数向量；将该参数向量与人脸图像库中的参数向量进行比较，最相似的参数向量对应的人脸即为要识别的结果。2020/1/2323特征选择所谓特征选择，就是从n个度量值集合{x1,x2,…,xn}中，按某一准则选取出供分类用的子集，作为降维（m维，mn）的分类特征。穷举法。独立特征的选择准则适用场合：原始特征测量值统计独立，且类概率密度函数近似正态分布可分性准则函数为2)(22jkikjkikkmmG2020/1/2324特征选择一般特征的选择准则散布矩阵准则散度准则Battacharyyaja距离准则散布矩阵准则类内散布矩阵Sw，类间散布矩阵Sb，总体散布矩阵St。散布矩阵准则的形式wbwwbwbbtbwSSSJStrStrJSSJSStrJSStrJ)()()()ln()()(5431211本讲到此结束，谢谢大家！