多姿态人脸识别综述(1)

第28卷第7期模式识别与人工智能Vol.28No.72015年7月PR&AIJul.2015多姿态人脸识别综述*邹国锋1傅桂霞1李海涛1高明亮1王科俊21(山东理工大学电气与电子工程学院淄博255049)2(哈尔滨工程大学自动化学院哈尔滨150001)摘要多姿态人脸识别已成为人脸识别研究的重要方向之一.简要回顾人脸识别研究进展,针对近年来国内外出现的多姿态人脸识别技术和方法进行简单介绍和系统分类,分析各种方法的优缺点,并做出简要评价.阐明多姿态人脸识别技术所面临的挑战,展望未来多姿态人脸识别研究的发展方向.关键词多姿态人脸识别,二维单视图,二维多视图,三维多姿态人脸识别中图法分类号TP391.41DOI10.16451/j.cnki.issn1003-6059.201507005ASurveyofMulti-poseFaceRecognitionZOUGuo-Feng1,FUGui-Xia1,LIHai-Tao1,GAOMing-Liang1,WANGKe-Jun21(CollegeofElectricalandElectronicEngineering,ShandongUniversityofTechnology,Zibo255049)2(CollegeofAutomation,HarbinEngineeringUniversity,Harbin150001)ABSTRACTMulti-posefacerecognitionhasbecameoneofimportantresearchdirectionsoffacerecognition.Inthispaper,theresearchprogressoffacerecognitionisbrieflyreviewed.Multi-posefacerecognitiontechniquesandmethodsathomeandabroadinrecentyearsareintroducedbrieflyandcategorizedsystematically.Theadvantagesanddisadvantagesofeachmethodareanalyzed,andabriefevaluationismade.Thechallengesofmulti-posefacerecognitiontechnologyareelucidated,andthedevelopmentdi-rectionofthefutureresearchonmulti-posefacerecognitionisdiscussed.KeyWordsMulti-poseFaceRecognition,TwoDimensionalSingleView,TwoDimensionalMulti-view,3DMulti-poseFaceRecognition*国家自然科学基金项目(No.51407112)、山东省优秀中青年科学家科研奖励基金项目(No.BS2014DX009)资助收稿日期:2014-10-20;修回日期:2015-01-07作者简介邹国锋(通讯作者),男,1984年生,博士,讲师,主要研究方向为人脸识别、生物特征识别、智能监控.E-mail:[e-mail].傅桂霞,女,1985年生,博士,讲师,主要研究方向为智能监控、智能机器人.李海涛,男,1984年生,博士,讲师,主要研究方向为智能仪器仪表.高明亮,男,1984年生,博士,讲师,主要研究方向为运动目标检测与跟踪.王科俊,男,1962年生,教授,博士生导师,主要研究方向为模式识别、视频监控、神经网络、生物信息学等.614模式识别与人工智能28卷1引言人脸识别研究最早可追溯到1888年Galton[1]发表于Nature上的论文,他利用一组数字代表不同的侧面人脸特征,并从心理学的角度分析人类自身的人脸识别能力.1910年,Galton[2]提出利用人脸面部的关键点及关键点之间的距离构成表示人脸的特征向量,并利用该向量进行身份识别,这是基于几何特征人脸识别方法的雏形,但并不是真正的自动人脸识别(AutomaticFaceRecognition,AFR).最早的自动人脸识别研究起源于20世纪60年代,代表性成果是1965年Chan等[3]在PanoramicResearchIncorporated上发表的技术报告.国内人脸识别研究起步较晚,1979年《自动化学报》发表一篇“人工智能国外研究情况综述”[4],这是能检索的国内期刊第一次出现“人脸识别”的概念.1992年,洪子泉等[5]发表于《自动化学报》的“用于图象识别的图象代数特征抽取”及郑坚平等[6]发表于《计算机工程》的“标准正面人脸图像识别”,是国内人脸识别研究领域检索到最早的学术论文.在过去的几十年中,人脸识别技术越来越多受到国内外研究者的关注[7-8].尤其是20世纪90年代以来,人脸识别技术的研究和应用都取得巨大进步,涌现出一大批从事人脸识别研究的高校和科研院所,且每年都有大量的学术论文发表.与此同时,人脸识别技术逐渐走向产品化,不断有商业性人脸识别系统进入市场.但受到人脸识别方法的限制,大部分人脸识别产品只能在用户配合的情况下使用,这大大限制人脸识别技术的应用范围和发展步伐.目前,非配合、非受控环境下的人脸识别逐渐引起研究者的关注,但受限于采集环境,获取的人脸图像经常存在多种姿态变化、光照变化、表情变化、遮挡干扰等,针对这些干扰因素,研究者也开展大量相关的研究.由于姿态变化给人脸识别研究带来巨大的挑战及其本身具有的重要意义,近年来,多姿态人脸识别逐渐成为人脸识别研究领域的一个重要方向.在多姿态人脸识别的研究中,国内外学者取得众多的研究成果.基于这些研究成果,本文系统总结多姿态人脸识别研究的进展状况,并将当前已有的多姿态人脸识别方法概括为3类:1)基于二维单视图的多姿态人脸识别;2)基于二维多视图的多姿态人脸识别;3)基于三维人脸的多姿态人脸识别.同时,鉴于当前国内还没有与多姿态人脸识别研究相关的综述性论文,本文系统分析已有的相关方法,并展望未来多姿态人脸识别的发展方向,希望有助于国内从事多姿态人脸识别研究的人员快速了解本领域的研究状况和最新进展.2基于二维单视图的多姿态人脸识别自20世纪60年代自动人脸识别技术提出以后,到20世纪90年代末三维人脸识别技术成为人脸识别研究的热点,这30年间人脸识别方法的研究主要基于二维人脸图像.随着计算性能不断提高,二维人脸识别方法的研究得到飞速发展.与此同时,基于二维图像的多姿态人脸识别研究也涌现出众多的新思路和新成果.本文根据多姿态人脸识别中使用的标准人脸或训练人脸是否为单幅图像,将基于二维图像的多姿态人脸识别分为基于二维单视图的多姿态人脸识别和基于二维多视图的多姿态人脸识别.单视图(单样本)人脸识别,是指每人仅存储一幅人脸图像作为标准样本或训练样本,以此识别姿态、光照变化的人脸图像[9-10].而基于二维单视图的多姿态人脸识别是一种特殊单样本人脸识别问题.根据单视图人脸利用方式不同,基于单视图的多姿态人脸识别分为基于单视图生成虚拟多视图的多姿态人脸识别和基于单视图姿态校正的多姿态人脸识别.2.1基于单视图生成虚拟多视图的多姿态人脸识别因为基于二维单视图的多姿态人脸识别训练样本较少,无法充分获取人脸特征信息用于识别,所以研究者提出通过样本扩增将单视图人脸识别转化为多视图人脸识别的思路.按照样本扩增方法不同,本文将已有方法归类为直接针对二维人脸进行变换的样本扩增和通过三维人脸模型变换的样本扩增.2.1.1直接针对二维人脸变换的样本扩增2003年,朱长仁等[11]提出基于二元高次多项式函数的最小二乘拟合方法,利用单视图人脸通过变形生成多姿态人脸,并利用原有单视图人脸和生成的虚拟多姿态人脸构成训练样本库,最终通过融合决策进行多姿态人脸识别.此方法避免对人脸多个视角进行拍摄构造多视图训练集的困难,相比单视图人脸直接作为训练样本的经典人脸识别算法,识别正确率也有较大提高.张生亮[12]利用镜像变换和尺度变换产生虚拟样本作为训练样本集,采用2DPCA和2DLDA抽取人脸特征用于识别,获得较高识别率,但算法要求测试样本与训练样本具有较7期邹国锋等:多姿态人脸识别综述615好的一致性,否则识别效果下降.2013年,张尤赛等[13]采用局部加权平均算法,使用人脸正面单视图生成多姿态人脸图像(如图1所示),构成多姿态人脸样本库,然后采用PCA提取人脸特征用于识别,算法能在只拥有少量正面训练样本甚至单样本的情况下识别多姿态的人脸,在实际应用中具有良好的适应性.但算法产生虚拟样本的过程耗时较多,如果需要产生较多数量的多姿态人脸,则对算法的实时性有较大影响.(a)原图(b)虚拟样本(a)Originalimage(b)VirtualSamples图1基于2D单视图产生的部分虚拟样本Fig.1Partofthevirtualsamplesbasedon2Dsingleview2.1.2通过三维人脸模型变换的样本扩增2004年,武芒等[14]提出基于正投影视图的多姿态人脸识别算法,采用正投影视图生成特定的三维人脸模型,并对三维模型进行任意角度的投影,产生多姿态二维人脸,最后将正投影视图和产生的二维人脸都作为训练样本用于识别,较好地改善多姿态人脸识别的效果.2005年,Jiang等[15]提出基于三维重建人脸图像的多姿态人脸识别,该方法基于一幅正面、中性表情、正常光照二维人脸重构出一幅三维标准人脸模型,然后分别将姿态、光照、表情等干扰因素加入该标准模型,形成多样的复杂训练样本,并采用PCA、LDA完成特征提取.基于CMU-PIE人脸库的识别实验验证方法的可行性,但该方法需要原始二维人脸图像为正面、中性表情、正常光照,否则无法获得较好的三维人脸模型.胡峰松等[16]基于HMM提出单样本可变光照、姿态人脸识别算法,该算法利用单张正面人脸与Candide3模型建立特定人脸三维模型,然后对三维人脸模型进行各种角度的旋转,得到姿态不同的人脸,将产生的多姿态人脸同原始人脸都作为训练数据,为每人建立独特人脸的HMM用于识别.该算法能较好适应姿态不同条件下的人脸识别,但在三维模型构建时对自动配准的精度要求较高,而HMM是一个较复杂的模型,需要设置较多的参数,对于如何有效地将HMM与人脸识别相结合缺乏相应的理论依据.2.2基于单视图姿态校正的多姿态人脸识别因单样本人脸识别受样本数量不足的限制,故针对样本扩增的研究较多,而针对姿态变化二维单样本人脸进行姿态校正的难度较大,研究成果相对较少.根据校正是否针对某种特定姿态,校正方法分为不针对特定姿态变化的校正和针对某种特定姿态变化的校正.2.2.1不针对特定姿态变化的校正2004年,杜成等[17]基于线性物体类理论提出从单张旋转人脸合成正面人脸用于识别的方法,识别率有较大提高,但该方法适用于图像具有相同光照、自然表情的情况,对于旋转角度过大导致无法准确定位特征点的情况效果不佳.孙志远等[18]提出基于独立成分分析(IndependentComponentAnalysis,ICA)的正面人脸合成方法,首先利用ICA和PCA提取不同姿态人脸的特征子空间,然后利用通过训练得到的姿态转换矩阵合成其相对应的正面人脸,并在此基础上使用小波对人脸图像进行预处理,根据姿态转换矩阵得到的正面人脸特征系数直接进行分类对比,识别率得到提高.但当姿态人脸旋转角度较大时,正面人脸合成的效果并不明显.2.2.2针对某种特定姿态变化的校正2009年,Lin等[19]提出快速半三维垂直姿态校正方法,该方法通过单幅二维人脸图像计算垂直姿态变化角度,利用该角度将垂直旋转的人脸校正到接近正面的人脸,对校正后的人脸采用Gabor变换进行特征提取.该方法运算复杂度较低,实时性较好,但由于校正方法对于面部特征的要求较高,当人脸有较多特征被遮挡或不可见时,校正效果较差,识别效果相应变差.与人脸垂直姿态校正不同,2013年,王科俊等[20]提出人脸的平面旋转校正方