前沿人脸识别综述

人脸识别综述王军军（西安交通大学，西安，710086）摘要：人脸识别已成为多个学科领域的研究热点之一，本文对人脸识别的发展历史、研究现状进行了综述，系统地对目前主流人脸识别方法进行了分类针对人脸识别面临的挑战，着重对近几年来在光照和姿态变化处理方面的研究进展进行了详细沦述，并对未来人脸识别的发展方向进行了展望。关键词：人脸识别，人脸检测，模式识别一、引言人脸识别是近年来模式识别、图像处理、机器视觉、神经网络以及认知科学等领域研究的热点课题之一。所谓人脸识别，是指给定一个场景的静态图像或动态视频，利用存储有若干已知身份的人脸图像的数据库验证和鉴别场景中单个或者多个人的身份[1]。人脸识别按照人脸信息的来源可以分为两类:基于静态人脸图像的识别和基于包含人脸的动态视频信息的识别。因为动态视频信息并不能明显提高人脸识别的性能，因此本文只研究基于静态人脸图像的识别[2]。作为生物特征识别的一个重要方面，人脸识别在档案管理系统、安全验证系统、信用卡验证、公安系统的罪犯身份识别、银行和海关的监控、人机交互等领域具有广阔的应用前景。与指纹识别、视网膜识别、虹膜识别等[3]技术相比，人脸识别技术在数据采集方面手续比较简单，使用者更容易接受。人脸作为生物特征，虽然唯一性比指纹和虹膜要差[4]，在高安全性要求的系统中只能作为辅助手段。然而，对于一般安全性要求的身份验证和鉴别系统[5]，人脸识别技术已经足够应用了。人脸识别研究在二十世纪六七十年代引起了诸多学科领域研究者的浓厚兴趣。进人九十年代后，随着各行业对人脸识别系统的迫切需求，人脸识别研究再次成为热门课题。当前世界各国有许多研究机构在从事这方面的研究，这些研究受到军方、警方以及大公司的高度重视和资助[6]。美国军方还专门组织了人脸识别竞赛以促进人脸识别研究的发展。经过三十多年的研究，人脸识别已经成为图像分析与图像理解领域最成功的应用之一研究人员提出了很多识别方法，建成了一些实验系统，也有一些成功的人脸识别商业软件投人市场。人脸识别作为模式识别的一种，一般可以分为三个组成部分:从场景中检测并分割人脸;抽取人脸特征;匹配和识别人脸[7]。由于人脸检测已经发展成为一个独立的课题，具有特定的思想和方法，所以本文假定人脸已经被正确检测并从场景中分割出来。二、人脸识别的方法目前，人脸识别的方法大致可以分为以下几类：基于几何特征的方法、基于模型的方法、基于统计的方法、基于神经网络的方法和多分类器集成的方法[8]。目前主流的方法有基于几何特征的方法和基于模型的方法。2.1基于几何特征的方法文献中记载最早的人脸识别方法就是Bledsoe[9]提出的基于几何特征的方法。该方法以面部特征点之间的距离和比率作为特征，通过最近邻方法来识别人脸，以该方法建立的人脸识别系统是一个半自动系统，面部特征点必须由人手工定位。也正是由于人工的参与，该系统对光照变化和姿态变化不敏感[10]。侧影[11](Profile)识别也是早期基于几何特征人脸识别的一个重要方法，其基本原理是从人脸的侧影轮廓线上提取特征点，将侧影转化为轮廓曲线，从中提取基准点，根据这些点之间的几何特征来进行识别，由于侧影识别相对较简单且应用面小，对侧影识别的研究较少。基于几何特征的方法非常直观，识别速度快，内存要求较少，提取的特征在一定程度上对光照变化不太敏感[12]。但是，当人脸具有一定的表情或者姿态变化时，特征提取不精确，而且由于忽略了整个图像的很多细节信息，识别率较低，所以近年来已经很少有新的发展。2.2基于模型的方法隐马尔可夫模型[13](HiddenMarkovModel,HMM)是一种常用的模型，基于HMM的方法首先被用于声音识别等身份识别上，之后被Nefian和Hayes引人到人脸识别领域。它是用于描述信号统计特性的一组统计模型。HMM用马尔可夫链来模拟信号统计特性的变化，而这种变化又是间接通过观察序列来描述的，因此马尔可夫过程是一个双重的随机过程。在HMM中结点表示状态，有向边表示状态之间的转移，一个状态可以具有特征空间中的任意特征，对同一特征，不同形态表现出这一特征的概率不同[14]。在人脸识别过程中，Nefian首先采用两维离散余弦变换(DiscreteCosineTransform,DCT)抽取人脸特征，得到观察向量，构建HMM人脸模型，然后用EM(ExpectationMaximization)算法训练，利用该模型就可以算出每个待识别人脸。观察向量的概率，从而完成识别。HMM方法的鲁棒性较好，对表情、姿态变化不太敏感，识别率高[15]。主动形状模型[16](ActiveShapeModel,ASM)方法由Cootes等人提出，Cootes对形状和局部灰度表象建模，用建立的ASM在新的图像中定位易变的物体。后来，Lanitis等将其应用于解释人脸图像，在使用ASM找出人脸的形状后，将人脸切割并归一到统一的框架，对这个与形状无关的人脸采用亮度模型来进行解释和识别，其鲁棒性和识别效率均较高，但需要手动标会人脸的特征点，算法的自动化程度有待加强。主动表象模型[17](ActiveAppearanceModel,AAM)可以看成是对ASM的进一步扩展，是一种通用的非线性图像编码模式，通过变形处理将通用人脸模型与输人图像进行匹配，并将控制参数作为分类的特征向量。2.3基于统计的方法基于统计的方法将人脸图像视为随机向量，从而用一些统计方法来分析人脸模式，这类方法有着完备的统计学理论支持;得到了较好地发展，出现了一些较成功的算法。特征脸[18](Eigenface)方法由Turk和Pentland提出。对于每一幅人脸图像，按照从上到下、从左到右的顺序将所有像素的灰度值串成一个高维向量，然后通过主成分分析(PrincipalComponentAnalysis,PCA)将高维向量降低维数。用PCA[19]降维主要基于以下三点:(1)压缩功能，在低维空间内比较图像将提高计算效率;(2)人脸样本的分布近似正态分布，方差大的维可能与有用信号相关，而方差小的维可能对应噪声，因此去掉小方差对应的维将有利于提高识别精确率;(3)因为每幅图像都被减去均值，且被放缩成单位向量，两幅图像之间的相关性与特征空间中投影之间的距离成反比，因此特征空间中的最近邻匹配是图像相关性的有效近似。PCA技术首先由Kirby[20]和Sirovich引人到人脸识别领域，并且证明了PCA是使原始图像与重构图像之间的均方误差极小化的最佳压缩方式。一幅图像在各个特征脸上的投影组成了该图像的权值向量，将待识别图像的权值向量与人脸数据库中各图像的权值向量相比较，确定哪一幅图像与待识别图像的权值向量最接近。后来Pentland等人进一步扩展了特征脸方法，将类似的思想运用到面部特征上，分别得到了本征眼、本征鼻、本征嘴，并且将它们结合起来进行人脸识别。实验结果表明，这样比单独使用特征脸效果更好。特征脸方法计算量低，使用方便，并且效果良好，目前已经成为人脸识别的基准程序(Benchmark)和事实上的工业标准。但是它对于外界因素所带来的图像差异和人脸自身所造成的差异是不加区分的，因此外界因素(例如光照、姿态)变化会引起识别率的降低。特征脸方法使用由各个特征脸扩展的空间来表示人脸，虽然可以有效地表示人脸信息，但是并不能有效鉴别和区分人脸。很多研究者提出了使用其他线性空间来代替特征脸空间以取得更好的识别效果。此中线性判别分析方法[21](也叫Fisher脸方法)，利用了类别归属信息，它选择类内散布正交的矢量作为特征脸空间，从而压制了图像之间与识别信息无关的差异，强调了不同人脸之间的差别，同时弱化了同一人脸由于光照、视角和表情而引起的变化，获得了比特征脸更好的识别效果。LDA[22]是一种监督学习方法，而PCA是非监督学习方法。Belhumeur对16个人的各10幅图像进行识别实验，PCA方法的识别率为81%，而Fisher脸方法的识别率为99.4%。Moghaddam[23]等人提出了贝叶斯人脸识别方法。他们提出了一种基于概率的图像相似度度量方法，将人脸图像之间的差异分为类间差异和类内差异。其中类间差异表示不同对象之间的本质差异。类内差异为同一对象的不同图像之间的差异。而实际人脸图像之间的差异为两者之和。如果类内差异大于类间差异，则认为两人脸图像属于同一对象的可能性大，他们提出了类间差异和类内差异度量的概率模型和计算方法。由于贝叶斯相似度的计算涉及复杂的非线性计算。Moghaddam等人提出了一种线性的快速计算方法。这种人脸识别方法在1996年美国DAPAR组织的FERET人脸测试中是效果最好的方法之一特别是在克服光照和表情变化对识别的影响方面性能较好。奇异值分解[24](SingularValorDecomposition。SVD)是一种有效的代数特征提取方一法。奇异值特征具有良好的稳定性、转置不变性、旋转不变性、位移不变性以及镜像变换不变性等重要性质。因此奇异值分解技术也被应用到人脸识别领域。独立成分分析[25](IndependentComponentAnal-ysis,ICA)，可以看成是对PCA的推广，PCA利用二阶矩去掉输人数据的相关性。使得数据的协方差为零。而ICA使得输人数据的二阶和高阶矩依赖性最小，ICA首先被用于盲源分离(BlindSourceSeparation。BSS)问题，用来将观察信号分解成一系列独立信号的线性组合。ICA用于人脸识别有两种结构(ICAArchitectureI和ICAArchitectureII)和多种算法(例如FastICA和InfoMax)，PCA和ICAArchitectureII利用的是全局特征，而ICAArchitectureI利用的是空间局部特征。BDraper等人详细比较了PCA和ICA在人脸验证和面部表情识别中的性能，人脸验证实验中，ICAArchitectureII的性能最好。PCA的性能与距离度量标准有关。ICAArchitectureI的性能较差，ICA用FastI-CA算法较好;表情识别实验中，用InIoMax算法实现的ICAArchitectureI性能最好。3、人脸识别面临的挑战当光照、姿态、表情变化时，人脸的表象会产生较大变化，从而造成人脸识别系统的性能下降。FE-RET测试川表明，光照和姿态变化问题是当前人脸识别系统面临的挑战。随着人脸识别研究的深人，很多研究者对光照和姿态变化进行了专门的研究，也取得了一定的进展。本节专门针对这两方面问题进行论述。3.1光照变化因为光照会改变人脸图像灰度的相对分布，所以由光照引起的人脸图像变化甚至比因个体差异引起的变化还要大。因此，光照变化会造成人脸识别系统性能的严重下降。对光照变化的处理已经引起了很多研究者的重视，并且取得了较大进展。目前已经出现了很多光照处理方法，这些方法大致可以分为三类:第一类方法的主要思想是寻找对于光照变化不敏感的人脸图像表示方法。第二类方法是对原来某些不存在光照变化时人脸识别算法的简单改进和推广。第三类方法的主要出发点是构建图像合成(Synthesize)模型[26]，这些模型可以合成与测试(Probe)图像具有相同或相似光照条件的新图像作为数据库(Gallery)中的图像。这类方法的关键是对光照进行建模。3.2姿态变化视角的变化，即人脸姿态变化也会造成人脸识别系统性能的降低，因此对多视角人脸图像的处理是人脸识别面临的另一挑战。Beymer[27]先对输人图像的视角进行估计，接着根据自动检测到的三个特征点进行二维仿射变换使之与原型(Prototype)的视角相同，然后直接使用模板匹配来实现多视角人脸识别。在一个62人的多视角人脸数据库上取得了较好的实验结果，但测试集和训练集的视角比较接近，因此识别难度较低。Pentland[28]等人提出的基于视角的特征脸(View-basedEigenface)方法为每个视角构建一个特征空间。取得了比标准特征脸方法更高的性能。Huang等人在基于视角的特征脸方法的基础上，采用神经网络集成(NeuralNetworkEnsembl