基于AAM的人脸特征点标定

基于AAM的人脸特征点自动标定摘要：由于具有三维扩展性好、特征点定位准确以及最高可达230帧/秒的处理速度等优点，AAM（主动表观模型）被认为是人脸特征点定位方法中一种有效的方法。针对经典弹性图匹配算法中人脸特征点的定位问题本文提出了一种利用机器自动标定来代替传统的手工标定人脸特征点的算法。实验结果表明算法可以有效地定位出人脸特征点，并且定位结果稳定。关键词：AAM主动表观模型特征点自动定位人脸识别Abstract:.AAMhasbeenregardedasakindofeffectivehumanfacialfeaturepointslocatingmethodsbecauseithasgood3Dexpansibility,goodlocatingeffectandfastspeedwhichreaches230framespersecond.Forfeaturepointspositioningofhumanfaceinclassicalelasticgraphmatchingalgorithm,thispaperproposedautomaticcalibrationalgorithmbymachinetoreplacethetraditionalmanualcalibrationfacialfeaturepoints.Experimentalresultsshowthatthealgorithmcaneffectivelylocatethefacialfeaturepoints,andithasstablepositioningresults.Keywords：AAM(ActiveAppearanceModel)AutomaticpositioningFaceRecognition0引言人脸识别的研究与指纹识别、视网膜识别等同属于生物特征识别技术范畴，在安全检查、安保管理等方面有着十分重要的应用价值。近年来，人脸识别方法及其应用逐渐成为了研究热点。人脸识别是利用计算机技术对人脸图像进行分析与处理，从中提取有效的识别信息。作为身份辨认的一种生物特征识别技术，它的突破性进展将推动图像处理、模式识别、计算机视觉、神经网络等诸多学科的发展。由于人脸的表示具有多样性和唯一性，对人脸特征的提取既要保持这种多样性和唯一性，又要实现有效地图像数据降维。另外，人脸识别系统的正确率和鲁棒性不仅取决于采用什么样的分类器，而且在更大程度上取决于采用什么样的特征来描述人脸。所以人脸特征提取显得相对重要，在人脸特征提取过程中应用比较多的是PCA、ICA方法，以及一些对于这种方法的改进，比如2DPCA、KPCA、K2DPCA、2DLDA等等，这些方法都是一些比较好的人脸特征提取方法。但是，由于PCA方法是一种以全局的方式来描述人脸特征的方法，而这种方法对于那些光照、姿态等变化较大较明显的人脸特征不能得到有效的描述。近年来，局部特征被认为对人脸的光照、表情和遮挡等变化不敏感，因此也被越来越多的人用于人脸表示。其中包括基于LBP的特征提取方法、基于主动形状模型ASM的特征提取方法和基于主动表观模型AAM特征提取方法。特别是AAM方法，最近在很多公开数据库上和性能评测中取得了非常好的结果，被认为是人脸特征点定位最主要和最有效的方法之一，并得到了众多研究者的关注。1基于主动表观模型AAM的特征提取方法主动表观模型(ActiveAppearanceModel,AAM)是近年来在特征提取领域得到广泛应用的一种快速有效的方法。基于AAM的人脸特征提取方法不但考虑了局部特征信息，而且考虑了全局的形状和纹理信息，通过对人脸的形状特征和纹理特征进行统计分析，建立对应的AAM模型，对被测人脸对象进行特征点定位时，结合“合成-比较-调整再合成-再比较”这样一个图像拟合(imagefitting)策略，往往能够实现快速而又准确的人脸特征点定位。AAM的思想并不是偶然产生的，它是随着相关领域内相关技术的发展而产生并且逐步成熟起来的。如何在复杂的环境中实现快速准确的定位、如何最大限度的利用已有的信息是人们对人脸特征点定位技术的必然要求，AAM符合这些要求，因此基于AAM进行人脸特征点定位的方法也应运而生。由于本人主要研究方向是基于人脸图像的性别识别，所以使用AAM方法进行面部特征提取也主要考虑男性和女性在人脸面部的显著特征。AAM方法往往需要一些先验知识，比如按照传统经验，男性和女性在脸部结构上区别比较明显的有：女性的脸庞轮廓较为柔和，而男性的则较为刚直；女性的眼睛稍大，睫毛较长，眉毛细长，嘴唇有体积感与光泽并且曲线平缓，没有胡须，男性的上半脸通常较短，下巴较大，眉毛较粗，眼睛和眉毛较为靠近等。人脸部与性别最相关的10个特征如图1所示：图1与性别最相关的10个脸部特征AAM分为模型建立和对应的拟合计算两部分。首先对训练样本进行手工特征点标记，然后通过机器学习的方法得到训练集中隐含的模型表达式，即AAM的形状模型和纹理模型表达式。因此不论AAM对形状建模、纹理建模还是表观建模都是遵循机器学习的基本步骤。2模型建立1.形状建模AAM形状建模实现步骤如下：(1)选择一些适合的学习样本；(2)对选择的学习样本进行手工特征点标记，使得标记好的v个特征点位置的集合能够构成形状S,S=();(3)对形状进行归一化，归一化是指把所有用于学习的人脸形状去除旋转、缩放和平移等全局变换;vvyxyxyx,,......,,,2211(4)对归一化的形状进行主成分分析(PCA)变换，得到对应训练集的平均形状和前n个特征值对应的形状特征向量;(5)任意人脸形状S就可以用线性方程进行表达：这样就完成了对形状的建模。2.纹理建模AAM纹理建模的实现步骤如下：(1)将和训练集中的人脸形状，分别Delaunay三角化(2)通过分段线性仿射的方法将样本集人脸形状中的纹理信息映射到平均形状中去，实现对纹理归一化(3)对归一化后的纹理信息进行PCA变换，得到平均纹理和前m个特征值对应的纹理特征向量。(4)纹理与形状非常相似，任意人脸的纹理信息也可以用线性表达式表示:这样也就完成了对纹理的建模。3.AAM模型实例生成AAM模型实例的生成步骤如下，先得到任意一组形状参数p后，用形状模型进行线性表示，就能够得到一个对应的形状S，接着得到一组纹理参数后，用纹理模型进行线性表示，得到一个对应纹理实例A(x)。最后将平均形状中的纹理信息A(x)映射到当前的形状S中去，这样就生成了一个AAM的模型实例。3拟合计算当模型建立后，要实现当前AAM模型实例与待定对象的拟合匹配就离不开AAM拟合计算。因此AAM拟合计算是AAM进行人脸特征点定位的核心组成部分。主动表观模型AAM中主动体现在AAM拟合计算中，由形状建模知用PCA方法来描述形状控制点的运动变化，形状控制点表征了特征点的位置；再以AAM模型实例与输入图像差的平方和来定义一个能量函数：0SiSiniiSpSS100S0S0AiA010)()()(ASxxAxAxniii0S其中I(W(x;p))为输入图像I(x)在像素处W(x;p)处的值，利用该能量函数来评价拟合程度；在定位拟合的过程中，根据模型的线性表达式，通过调整形状参数p，以及纹理参数的值，利用有效的拟合算法变化模型参数组，从而控制形状控制点的位置变化生成当前AAM模型实例，得到当前能量函数的值，再更新模型的参数。如此迭代反复以实现能量函数的最小化，达到模型实例与输入图像相拟合的目的，而最终得到的形状控制点的位置就描述了当前对象的特征点位置。基于AAM的人脸特征提取方法不但考虑了局部特征信息，而且考虑了全局的形状和纹理信息，在复杂的环境中，可以实现快速而准确的脸部特征点定位。综合以上分析得出结论，将采用基于主动表观模型AAM的特征提取方法进行特征提取。4结论类似于AMS,AMA也是在对训练数据进行统计分析的基础上建立模型,然后利用先验模型对图像中的目标物体进行匹配运算与ASM的不同之处是它不仅利用形状信息而且对重要的脸部纹理信息也进行统计分析,并试图找出形状与纹理之间的联系纹理信息一般是对象的象素2100));(()()(SxniiipxWIxAxAAAM分为模型建立和对应的拟合计算两部分AAM模型是对象的动态表观模型,表观模型是在形状模型的基础上结合对象的纹理而建立的动态就体现在AAM拟合计算中,利用PCA方法来描述形状控制点的运动变化,形状控制点表征了特征点的位置;再以AAM模型实例与输入图像差的平方和来定义一个能量函数,利用该能量函数来评价拟合程度;在定位拟合的过程中,根据模型的线性表达式,通过有效的拟合算法变化模型参数组,从而控制形状控制点的位置变化生成当前AAM模型实例,得到当前能量函数的值,再更新模型的参数,.如此迭代反复以实现能量函数的最小化,达到模型实例与输入图像相拟合的目的,而最终得到的形状控制点的位置就描述了当前对象的特征点位置2.3AAM模型建立AAM模型是对象的动态表观模型,表观是形状和纹理的组合,表观模型是在形状模型的基础上结合对象的纹理而建立的,AAM模型实例就是将AAM的表观模型通过仿射变换的形式映射到对应的形状实例中去,得到描述当前对象的当前模型动态就体现在AAM通过相应的拟合算法不断调整生成新的AAM模型实例与待定位的对象进行匹配,直到生成的模型实例能和该对象真正吻合,可见生成AAM模型实例是AAM中比较重要的一个部分因此本节分对形状建模,对表观建模和AAM模型实例生成三步来介绍AAM模型的建立过程442实现过程基于AAM的人脸特征点定位方法的实现过程是:先针对具体的情况选择合适的人脸图像训练样本集,对所选择的人脸样本图像进行特征点标记,一般为手动标记,所标记的特征点要能充分反映样本的特征属性,因此对于人脸这一复杂的对象来说,特征相对较多,标记的特征点位置要能囊括眉毛!眼睛!鼻子!嘴巴!下巴和脸部轮廓,图2.2为人脸特征点标记位置示意图完成人脸特征点标记后,再对标记好特征点的人脸图像进行训练,构造参数化的人脸AAM模型人脸AAM模型建立的具体过程参见2.3节的详细描述在人脸特征点拟合过程中,当输入一幅人脸图像或者包含人脸的视频序列中的一帧时,通过有效的拟合算法变化模型参数,控制形状控制点的运动,生成人脸AAM模型实例,找到使得参数化的AAM模型实例与输入的人脸图像间的差异最小的那组参数,从而实现人脸AAM模型实例与该输入人脸图像的拟合,拟合完成时的形状控制点的位置就描述了当前对象的特征点位置,这就相当于在输入图像上定位到了对应于模型中己标记的那些人脸特征点因为人脸是一个复杂的对象,定位方法要图2.2人脸特征点标记位置示意图快速有效,因此当前基于AAM的人脸特征点定位方法中普遍利用反向组合算法来进行AAM拟合计算的,利用反向组合算法来进行AAM拟合计算的具体过程参见2.4.3节的详细描述补充说明人脸AAM模型实例的生成过程,人脸AAM模型实例就是将当前AAM表观模型通过仿射变换的形式映射到对应的当前形状实例中去,得到描述当前人脸对象的人脸AAM模型图2.3为一个人脸图像的AAM模型实例生成过程补充说明人脸AAM模型实例的生成过程,人脸AAM模型实例就是将当前AAM表观模型通过仿射变换的形式映射到对应的当前形状实例中去,得到描述当前人脸对象的人脸AAM模型图2.3为一个人脸图像的AAM模型实例生成过程绍了AAM的产生和主要思路,说明了AAM如何对形状和表观进行建模,如何构成AAM模型实例,再介绍了多种AAM拟合算法,重点说明了利用反向组合进行AAM拟合计算方法的产生和发展过程,以及算法的详细原理,最后介绍了应用AAM进行人脸特征点定位的基于AAM的人脸特征点定位方法在研究和实现基于AAM的人脸特征点定位方法的同时,也发现该方法有一定的局限性,一是对模型的初始位置有要求,当初始位置满足局部最优化条件的时候才能正常地进行定位,在实际的系统中,这个条件通过人脸检测算法往往还是能够满足的;二是算法的鲁棒性差,抗干扰能力弱,而