面向人脸识别的特征提取技术研究

面向人脸识别的特征提取技术研究张旭2009年6月中图分类号：TP391UDC分类号：面向人脸识别的特征提取技术研究作者姓名张旭学院名称计算机学院指导教师刘玉树教授答辩委员会主席涂序彦教授申请学位级别工学博士学科专业计算机应用技术学位授予单位北京理工大学论文答辩日期2009年6月ResearchonFeatureExtractionTechniqueforFaceRecognitionCandidate：ZhangXuSupervisor：Prof.LiuYushuDepartment：SchoolofComputerScienceDate：June，6，2009研究成果声明本人郑重声明：所提交的学位论文是我本人在指导教师的指导下进行的研究工作获得的研究成果。尽我所知，文中除特别标注和致谢的地方外，学位论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得北京理工大学或其它教育机构的学位或证书所使用过的材料。与我一同工作的合作者对此研究工作所做的任何贡献均已在学位论文中作了明确的说明并表示了谢意。特此申明。签名：日期：关于学位论文使用权的说明本人完全了解北京理工大学有关保管、使用学位论文的规定，其中包括：①学校有权保管、并向有关部门送交学位论文的原件与复印件；②学校可以采用影印、缩印或其它复制手段复制并保存学位论文；③学校可允许学位论文被查阅或借阅；④学校可以学术交流为目的,复制赠送和交换学位论文；⑤学校可以公布学位论文的全部或部分内容（保密学位论文在解密后遵守此规定）。签名：日期：导师签名：日期：北京理工大学博士学位论文I摘要作为人脸识别的关键技术之一，特征提取对人脸识别的性能和效果起着至关重要的作用。在传统的人脸识别领域中，已经对特征提取技术进行了比较充分的研究。但是，针对人脸特征中存在的非线性和复杂的模式特征，以及特征提取的精度低等问题，已有研究存在如下问题：（1）在非线性特征提取方面：已有文献对此作了研究，如神经网络算法，流形学习算法等；但是，神经网络算法效率低下、收敛速度慢等，流形学习算法（如局部线性嵌入算法（LocallyLinearEmbedding,LLE），Isomap算法等）有out-of-sample等问题，都存在局限性；（2）传统的特征提取方法在提取判别特征时存在着某些局限性，如训练样例的高斯分布依赖性问题、小样本问题，复杂模式的数据处理问题，尽管已经有人进行了研究，但目前还没有人提出一个完整有效的解决方案。例如，二维判别分析（Two-dimensionalLinearDiscriminantAnalysis,2DLDA）方法在特征提取时具有样例的高斯依赖性问题，而现实应用中数据的特征维数可能很高，概率密度经常严重偏离高斯分布；非参数化特征分析方法（NonparametricFeatureAnalysis,NFA）具有小样本问题等；（3）多特征融合问题，存在的特征融合算法大多不能有效地融合不同的低维特征，在一些情况可能会产生融合后的特征性能退化问题。针对上述问题，本文运用显式映射的局部线性嵌入技术、矩阵空间模型的非参数化分析技术、张量空间模型的非参数化分析技术和典型相关分析技术提出了4个高效的特征提取方法。主要研究内容和创新成果总结如下：(一)提出基于显式映射的局部线性嵌入的特征提取方法方法的思想动机是基于下面命题：总是存在从高维空间到低维空间一个线性映射，使得在LLE算法中的全部约束得到满足。因此，在给定高维样例和低维嵌入的情况下，构造多个多元线性回归模型，然后，同时对这些模型进行参数估计，得到高维样例和输出低维嵌入之间的显式映射。实验表明，该方法解决了流形学习算法LLE中的out-of-sample问题，使得该算法可直接用于人脸识别和三维目标识别的非线性特征提取。(二)提出二维非参数化特征分析方法北京理工大学博士学位论文II基于线性判别分析的思想，重新定义了类内散射矩阵和类间散射矩阵。在散射矩阵中，使用了类内局部邻域和类间局部邻域对相应的散射矩阵进行有效估计，定义了一个大小可以调节的权值，控制边界结构对散射矩阵的影响。实验表明，该方法继承了传统二维判别分析的优势，解决了传统2DLDA方法中的训练样例的高斯依赖性问题，克服了一维特征提取方法中的小样本和维数困扰问题。(三)提出多重线性非参数化的特征分析方法运用多重线性代数的思想，定义了非参数化判别的张量标准。在这个判别标准中，利用类间邻域和类内邻域，构造了各个模式的数据展开矩阵的类内散射矩阵和类间散射矩阵，提出了推导各个模式投影矩阵的一个迭代算法，从而提取人脸识别中的判别特征。实验表明，该方法对散射度的更为真实有效的估计，保证了其提取特征的有效性和准确性，同时该方法也不依赖于数据的高斯分布特性。(四)提出二方向2DPCA方法的典型相关融合子空间学习方法该方法有效地融合了不同的二维线性特征提取方法，同时把子空间学习、基于向量空间模型典型相关分析方法和基于矩阵空间模型的特征提取方法有效地结合，以改进特征提取的有效性和可靠性。实验表明，该方法可以有效地对不同特征提取方法进行有效地融合。关键词：人脸识别特征提取局部线性嵌入显式映射二维非参数化特征分析多重线性非参数化特征分析典型相关分析北京理工大学博士学位论文IIIAbstractFeatureextractionisakeytechniqueinfacerecognition,whichplaysanimportantroleinimprovingtheperformanceoftherecognitionalgorithm.Manyresearchesonfeatureextractiontechniquehavebeendoneinfacerecognitionfield.However,thecurrenttechniquehassomelimitationsinextractingthenonlinearfeaturesandcomplicatedfeaturesofsamplesdata,aswellastheaccuracyrateshouldbeimproved.Specifically,therearesomeissuesasthefollowingshouldbestudied:(1)Extractionofthenonlinearfeatures:Alotofresearchhasbeendone,suchasneuralnetworks,manifoldlearningetc.However,eachmethodhasitslimitations.Neuralnetworksmethodisinefficientandhasalowconvergespeedinextractingthefeatures,somemanifoldlearningalgorithmshavetheout-of-sampleproblem.(2)Thetraditionalfeatureextractionmethodshavetheirlimitationsinapplications,suchasthedependenceoftheGaussiandistributionofthesamples,smallsamplesizeproblemandextractionfeatureofthecomplicatedsamplesdata.Althoughalotofworkhasbeendone,sofarthereisnotacompleteandefficientsolutionindealingwiththeaboveproblems.Suchas2DLDAhasthedependenceoftheGaussiandistributionofthesampleswhichisnotthecaseforthecomplicatedsamples,nonparametricfeatureanalysismethodhastheproblemofsmallsamplesize,etc.(3)Fusionofmultiplefeatures.Mostexistingmethodscannotfusedifferentmethodeffectively;InsomecasestheperformanceoffusionfeaturescanbedegradedInthepaper,weproposeamethodoflearningtheparametricmapoflocallylinearembedding,nonparametricfeatureanalysismethodbasedonmatrixspacemodel,nonparametricfeatureanalysismethodbasedontensorspacemodel,canonicalcorrelationanalysistechniquestodealingwiththeaboveproblem,themaincontributionofthethesismainlyincludesthefollowingseveralparts:(1)Featureextractiontechniquebasedonlearningtheexplicitmapbetweenthehigh-dimensionalsamplesspaceandthelow-dimensionalembeddedspaceofLLEisproposed.Thebasicideaistherealwaysexistsalinearmappingfromthehigh-dimensional北京理工大学博士学位论文IVspacetothelow-dimensionalspacesuchthatalltheconstraintconditionsinLLEcanbesatisfied.So,giventhehighdimensionalsamplesandthelow-dimensionalembeddingofLLE,wecandeducetheexplicitmapbetweentheinputandoutputofLLEbyconstructingandsolvingsomemultivariatelinearregressionsystems.Experimentalresultsindicatethattheproposedmethodsolvesthe“out-of-sample”problemofLLE.Soourmethodcanbedirectlyusedtoextractthenonlinearfeaturesinfacerecognitionapplication.(2)Two-dimensionalnonparametricfeatureanalysismethodisproposedwhichbasedonmatrixspacemodel.Themethodisbasedontheideaoflineardiscriminantanalysis.Betweenclassscattermatricesandwithinclassscattermatricesareredefined,andthebetweenclassneighborhoodandwithinclassneighborhoodarealsousedtoestimatethecorrespondingscattermatrices.Inaddition,aweightisusedtoemphasizetheboundaryinformation.Experimentalresultsindicatethattheproposedmethodinheritstheadvantagesofnonparametricfeatureanalysis,andovercomesth