人脸识别与人脸检测

北京林业大学本科论文(设计)11绪论1.1人脸表情识别研究的目的和意义人脸是人最重要的外貌特征，由于脸部信息可以通过非接触的方式（如摄像头）取得，所以非常适合于作为身份鉴别的依据。人脸识别就是对于输入的人脸图像或者视频，首先判断其中是否存在人脸，如果存在人脸，则进一步确定每张人脸的位置、大小和各个主要面部器官的位置信息，并依据这些信息，进一步提取每张人脸中所蕴含的身份特征，并将其与已知人脸库中的人脸进行对比，从而识别每张人脸所代表的个人。人脸识别是一个交叉学科，它的研究内容涉及计算机视觉、模式识别、计算机图形学、图像处理、生理学、心理学、认知科学等。人脸识别技术可采用非接触式的、连续的和实时的方式，在国家安全、军事安全和公安、司法、民政、金融、民航、海关、边境、口岸、保险及民用等领域实际应用具有极广阔的前景。这一技术典型应用如下：（1）身份鉴定（一对多的搜索）：在鉴定模式下，确定一个人的身份，该技术可以快速地计算出实时采集到的面纹数据与面像数据库中已知人员的面纹数据之间的相似度，给出一个按相似度递减排列的可能的人员列表，或简单地返回鉴定结果（相似度最高的）和相对应的可信度。（2）身份确认（一对一的比对）：在确认模式下，待确认人已知的面纹数据可以存储在智能卡中或数码记录中，该技术只需要简单地将实时的面纹数据与存储的数据相比对，如果可信度超过一个指定的阀值，则比对成功，身份得到确认。（3）监视：可以在监控范围内发现人脸，而不论其远近和位置，能连续地跟踪该人脸图像并将其从背景中分离出来，将面像与监控列表进行比对。整个过程完全是无需干预的，连续的和实时的。（4）面像数据压缩：能将面纹数据压缩到84字节以便用于智能卡、条形码或其他仅含有有限存储空间的设备中。（5）多通道的人机交互界面:可以把跟踪得到的人脸表情作为一种人机交互的手段。为使用者提供一个个性化、智能、便捷的工作环境，这也是智能计算机研究的重要内容。人脸表情识别研究的主要目的在于：（1）在人机接口中实现计算机对人脸面部表情的自动识别；（2）在视频片段检索中实现面部表情的跟踪与识别；（3）研究人脸表情编码模型，解决低带宽的脸部数据传输、多媒体中的脸部图像压缩等问题。进行这项研究的意义在于：北京林业大学本科论文(设计)2（1）作为情感计算研究的重要组成部分，可以有效地促进人机交互系统的发展和计算机图像理解的研究；（2）对实现人体语言与自然语言的融合，以及语言与表情连接模型的建立与实现具有重要意义；（3）可以为表情合成、与表情无关的人脸检测与跟踪、人脸识别等领域的研究提供理论基础；这些年表情识别技术发展相当迅速，北京奥运将首次使用人脸识别综合报警系统，这里我们简单介绍一下在2008年北京奥运会使用的人脸识别系统的主要功能：（1）对所有进出机场、海关、火车站、奥运场馆的人通过摄像机自动识别;人员通行考勤、外人登记、生物特征人脸识别验证真伪。（2）对于危险人摄像机自动识别，向网络报警中心报警。（3）对不受欢迎的人，一经录入，自动识别防止进入。（4）各种工人、后勤、食品运送人员自动人脸识别，未经登记授权限制进入。（5）对于恐怖行危险人员、情绪偏激不稳定人员、牵连到奥运场馆和奥运活动区域群体事件的问题人员和等影响社会稳定人员，自动识别人脸，防止进入奥运区;并且根据人脸等生物特征智能查询进出纪录。（6）对于奥运场馆和奥运活动区域内各种服务实现不用带卡的自动人脸识别安全服务和优质服务。（7）对于党和政府的领导通过联网自动人脸识别掌握奥运活动区域准确人员管理情况、预估风险实现远程管理和控制。人脸表情识别和理解(FaceRecognition)的研究范围广义上大致包括以下5个方面的内容：（1）人脸检测(FaceDetection):即从各种不同的场景中检测出人脸的存在并确定其位置。这一任务主要受光照、噪声、面部倾斜度以及各种各样遮挡的影响。（2）人脸表征(FaceRepresentation):即采取某种表示方式表示检测出的人脸和数据库中的已知人脸。通常的表示法包括几何特征(如欧氏距离、曲率、角度)、代数特征〔如矩阵特征矢量)、固定特征模板、特征脸等。（3）人脸识别(FaceIdentification):即将待识别的人脸与数据库中的已知人脸比较，得出相关信息。这一过程的核心是选择适当的人脸的表征方式与匹配策略，系统的构造与人脸的表征方式密切相关。（4）表情/姿态分析(Expression/GestureAnalysis):即对待识别人脸的表情或姿态信息进行分析，并对其加以归类。（5）生理分类(PhysicalClassification)即对待识别人脸的生理特征进行，得出其年龄、性别等北京林业大学本科论文(设计)3相关信息。1.2表情识别的现状现阶段的研究当中，完整的人脸识别系统至少包括三个主要环节。首先在输入图像中找到人脸的位置，将人脸从背景中分割出来；其次，将分割后的人脸图像进行特征提取和定，最后根据提取的特征进行人脸识别。如图1.1所示：输入图像身份输出人脸识别人脸检测特征定位图1.1识别过程简图Fig1.1Identifyprocesssimplediagram1.2.1人脸图像检测方法现状人脸图像检测与定位就是在输入图像中找到人脸确切的位置,它是人脸表情识别的第一步。人脸检测的基本思想是用知识或统计的方法对人脸建模,比较待检测对象与所建的人脸模型的匹配程度,从而得到可能存在人脸的区域。根据思想的不同基本上分为下面两种检测方法:(1)基于统计的人脸检测是将人脸图像视为一个高维向量,将人脸检测问题转化为高维空间中分布信号的检测问题。(2)基于知识的人脸检测是利用人的知识建立若干规则,从而将人脸检测问题转化为假设→验证问题。1.2.2基于统计的人脸检测方法（1）样本学习:将人脸检测视为从非人脸样本中识别人脸样本的模式分类问题,通过比较人脸样本和非人脸样本来提取各自的特征，进行学习来产生分类器。目前国际上普遍采用的是人工神经网络。（2）模板法:模板法是把测试样本与参考模板进行比较,由阈值大小来判断测试样本是否是人脸。阈值一般是通过对大量的模板进行统计得来的，并不是一个固定的值。（3）子空间方法:Pentland将KL变换引入了人脸检测,利用主元子空间(特征脸),而人脸检测利用的是次元子空间(特征脸空间的补空间)。用待检测区域在次元子空间上的投影能量,也即待检测区域到特征脸子空间的距离作为检测统计量,距离越小,表明越像人脸。子空间方法的特点在于简便易行,但由于没有利用反例样本信息,对与人脸类似的物体辨别能力不足。1.2.3基于知识建模的人脸检测方法北京林业大学本科论文(设计)4（1）人脸规则:人脸规则是人脸遵循的一些几乎是普遍适用的空间相关性。它包括:①灰度分布规则。如五官的空间位置分布大致符合“三停五眼”等,人脸不同区域的明暗关系不变,眼睛的灰度总是比前额和颧骨低,鼻梁的灰度一般比两侧亮等。②轮廓规则。人脸的轮廓可以简单地看成一个近似椭圆,而人脸检测可以通过椭圆检测来完成。③运动规则。通常相对背景人总是在运动的,利用运动信息可以简单有效地将人从任意复杂背景中分割出来。（2）颜色、纹理信息:同一种族人的面部肤色在颜色空间中的分布相对比较集中,颜色信息在一定程度上可以将人脸从大部分背景区分开来。（3）对称性:人脸具有一定的轴对称性,各器官也具有一定的对称性。Reisfeld提出广义对称变换方法[1]检测局部对称性强的点来进行人脸器官定位。1.3本文的结构本文的章节做如下安排。第一章绪论介绍量表情识别研究的目的意义和现状；第二章对人脸检测与定位方法、脸部特征定位方法、人脸识别方法作了综述；第三章在上述方法的基础上，重点叙述了毕业设计采用的方法，并用VB开发了一个人脸表情识别系统；第四章对面部表情识别技术以后的发展方向和工作重点做了总结。北京林业大学本科论文(设计)52相关技术综述2.1引言情绪使人产生生理和行为的显著变化，面部表情是情绪的外显行为的一个重要方面。眼、眉、嘴、鼻、脸色等的变化最能表示一个人的情绪。如两眼闪光之惊喜，眼泪汪汪之悲哀委屈，眉毛紧锁之忧愁，扬眉之得意，双目圆睁之愤怒，嗤之以鼻之厌恶，脸色苍白之惊恐等。这是由于人的各种情绪同脸部肌肉和血管等的变化有关，故而脸部肌肉和血管的变化能表示一定的情绪状态。例如，喜悦与颧肌有关，痛苦与皱眉肌有关，忧伤与三角肌有关，羞愧因血管舒张而脸红，恐怖因血管收缩而苍白。本文就是通过对人面部表情进行识别来达到对人的情绪的判断。人们做出各种表情，正是表情肌肉运动的结果[2]。2.2人脸模式的特征人脸模式的特征包括肤色特征和灰度特征。2.2.1肤色特征肤色是人脸的重要信息，不依赖于面部的细节特征，对于人脸表情发生的任何变化情况都能适用，具有相对的稳定性并且和大多数背景物体的颜色相区别。因此肤色特征在人脸检测中是最常用的一种特征。肤色特征主要由肤色模型描述，常用的肤色模型有高斯模型、混合高斯模型和直方图模型。2.2.2灰度特征灰度特征包括人脸轮廓特征、人脸灰度分布特征（镶嵌图特征、直方图特征等）、器官特征（对称性等）、模板特征等。本文所采取的人脸识别方法就是基于灰度特征，具体的识别方法将在下文叙述。2.3面部表情的分类由于表情产生的原因、表情表现得程度、人们对表情的控制能力和表情的倾向等多方面的原因，使得表情的变化细微而复杂，对表情的概括也变得更为复杂。例如，恐惧表情可能同时伴随着悲伤、生气、厌恶的产生。一中混合的表情也就表现出来了。最经常的是恐惧和惊奇的混合表现即惊恐。关于情绪的类别，长期以来说法不一。我国古代有喜、怒、忧、思、悲、恐、惊的七情说；美国心理学家普拉切克(Plutchik)提出了八种基本情绪：悲痛、恐惧、惊奇、接受、狂喜、狂怒、警惕、北京林业大学本科论文(设计)6表2.1表情特征Table2.1expressioncharacteristic表情额头眉毛眼睛脸的下半部分惊奇1.眉毛抬起，以至于变高变弯，眉毛以下的皮肤被拉伸；2.皱纹可能横跨额头。1.眼睛睁大，上眼皮抬高，下眼皮下落；2.眼白可能在瞳孔的上边或者下边露出来。下颌下落，嘴张开，以至于唇和齿分开，但嘴部并不紧张，也不拉伸。恐惧1.眉毛抬起并皱在一起；2.额头的皱纹只集中在中部，而不横跨真个额头。上眼睑抬起，下眼皮非常紧张，并且被拉上来。嘴张开，嘴唇或者轻微紧张，向后拉，或拉长，同时向后拉。厌恶眉毛压低，同时压低上眼睑。在下眼皮下部出现了横纹，脸颊推动其向上，并不紧张。1.上唇抬起；2.下唇与上唇紧闭，推动上唇向上，嘴角下拉，唇轻微凸起；3.鼻子皱起；4.；脸颊被抬起。愤怒眉毛皱在一起，并且被压低；2.在眉宇间出现了竖直皱纹。1.下眼皮非常紧张，可能不被抬起。2.上眼皮紧张，在眉的动作下可能被压低；3.眼睛愤怒的瞪着，可能鼓起。1.唇有两中基本位置：紧闭，唇角拉直或向下；张开，仿佛要喊；2.鼻孔可能张大。表情额头眉毛眼睛脸的下半部分高兴和中性表情相比，基本没变化。下眼睑下边可能有皱纹，可能鼓起，但并不紧张；2.鱼尾纹从外眼角向外扩张。1.唇角向后拉并抬高；2.最可能张大，牙齿可能露出；3.一道皱纹从鼻子一直延伸到嘴角外部；4.脸颊被抬起。悲伤眉毛内角皱在一起，抬高，带动眉毛下的皮肤运动。眼内角的上眼皮被抬高。1.最角下拉；2.嘴角可能在颤抖。憎恨；汤姆金也列出八种基本情绪：兴趣、快乐、惊奇、痛苦、恐惧、愤怒、羞怯、轻蔑；还有的心理学家提出了九种类别。虽然类别很多，但一般认为有四种基本情绪，即快乐、愤怒、恐惧和悲北京林业大学本科论文(设计)7哀。针对表情广义性，表2.1中总结出了每种表情的特点及其在生成过程中所涉及到的重点表情区域的动作。由表2.1我们可以看出，样本表情必须非常典型，而且有点夸张。因此要求采集的样本在做出各种表情时，各个重点位置的表情必须符合表2-1的动作，这样才能正确的辨别样本表情。2.4人脸检测与定位方法近年来,人脸和面部表情识别已经吸引了更多科研人员的注意。任何人脸处理系统的第一步都是检测人脸在图像中的位置。但是,从一幅图像中检测人脸是一项极具挑战