基于信息融合面部表情分析与识别

论文选题来源广东自然科学基金项目：（032356）研究现状国际上对人脸面部表情识别的研究现在逐渐成为科研热点。国内外很多机构都在进行这方面的研究,尤其美国、日本。进入90年代,对人脸表情识别的研究变得非常活跃,吸引了大量的研究人员和基金支持,EI可检索到的相关文献就多达数千篇。美国、日本、英国、德国、荷兰、法国等经济发达国家和发展中国家如印度、新加坡都有专门的研究组进行这方面的研究。其中MIT、CMU、Maryland大学、Standford大学、日本城蹊大学、东京大学、ATR研究所的贡献尤为突出。国内国内的清华大学、哈尔滨工业大学、中科院、中国科技大学、南京理工大学、北方交通大学等都有人员从事人脸表情识别的研究目前面部表情识别的主要方法：基于模板匹配的面部表情识别方法基于神经网络的面部表情识别方法基于规则的人脸面部表情识别方法基于随机序列模型的面部表情识别方法其他方法，比如支持向量机，小波分析等论文主要工作1.介绍了信息融合在面部表情识别应用的三个层次模型2.探索了基于单特征单分类器的面部表情识别3.将支持向量机理论和信息融合理论结合在一起，提出基于基于SVM的多特征多分类器融合的面部表情识别4.将径向基函数神经网络用于面部表情特征的融合上，提出基于RBF网络的多特征融合的面部表情识别面部表情识别：一般可描述为给定一个静止人脸图像或者动态的人脸图像序列，利用已有的人脸表情数据库确定图像中的一个人或者多个人的面部表情，研究内容包括以下三方面：人脸检测:即从各种不同的场景中检测出人脸的存在并确定其位置.面部表情特征提取:即确定表示检测出的人脸表情和数据库中的已有的人脸面部表情的描述方式。通常的表示方式包括几何特征、代数特征、固定特征模板、云纹图、3D网格等。面部表情识别：就是将待识别的人脸面部表情和数据库中的已知人脸面部表情比较，得出相关信息。这一过程是选择适当的人脸面部表情表示方式与匹配策略论文主要工作1.介绍了信息融合在面部表情识别应用的三个层次模型2.探索了基于单特征单分类器的面部表情识别3.将支持向量机理论和信息融合理论结合在一起，提出基于基于SVM的多特征多分类器融合的面部表情识别4.将径向基函数神经网络用于面部表情特征的融合上，提出基于RBF网络的多特征融合的面部表情识别信息融合与面部表情分析信息融合就是把来自多个信息源的目标信息合并归纳为一个具有同意表示形式输出的推理过程,其基本的出发点是通过对这些信息源所提供的信息的合理支配和使用,利用多个信源在时间或空间上的冗余性和互补性对这些信息进行综合处理,以获得对被测对象具有一致性的解释和描述,使得该信息系统获得比它得各个组成部分更优越的性能。人脸面部表情识别包含大量的变量,反映待识别目标各要素的非度量形式允许许多类型的表示技术,每一种技术又可以采用不同的方法进行计算。基于信息融合面部表情识别的三个模型基于像素层融合的面部表情识别基于特征层融合的面部表情识别基于决策层融合的面部表情识别基于像素层融合的面部表情识别这种方法对每幅图像预处理之前进行像素层融合后,得到一个融合的人脸图像数据,并在此基础上再进行特征提取和面部表情识别。人脸图像人脸图像人脸图像像素层融合特征提取面部表情识别识别结果基于特征层融合的面部表情识别这种方法对每个传感器的观测数据进行特征的抽取以得到一个特征向量,然后把这些特征向量融合起来并根据融合后得到的特征向量进行面部表情识别及判定。特征层融合面部表情识别识别结果特征提取特征提取特征提取人脸图像人脸图像人脸图像基于决策层融合的面部表情识别这种方法对每个传感器都执行面部表情特征提取和面部表情识别，然后对多个识别结果进行信息融合从而得出一个面部表情判决结果,再融合来自每个传感器的面部表情判决。决策层融合面部表情识别识别结果特征提取特征提取特征提取人脸图像人脸图像人脸图像表情识别表情识别表情识别论文主要工作1.介绍了信息融合在面部表情识别应用的三个层次模型2.探索了基于单特征单分类器的面部表情识别3.将支持向量机理论和信息融合理论结合在一起，提出基于基于SVM的多特征多分类器融合的面部表情识别4.将径向基函数神经网络用于面部表情特征的融合上，提出基于RBF网络的多特征融合的面部表情识别基于单特征单分类器的面部表情识别基于神经网络级联的面部表情识别基于几何特征的面部表情识别基于均值主元分析的面部表情识别基于Fisher线性判别的面部表情识别基于神经网络级联的面部表情识别网络级联的面部表情识别结构BP网络的算法流程网络级联的面部表情识别的实验结果网络级联的面部表情识别结构12299921249161249250250300021212SOMMLP自动定位人脸切割形状归一化灰度归一化人脸图像预处理320×243的原始图像50×60的切割图像网络级联的面部表情识别流程为BP算法终的权值和变量分配空间和初始化输入样本的顺序重新随机排序输入样本X，正向传播，计算各层输出计算输出层误差E反向传播，计算各层神经元的调整信号。根据各神经元的（Delta)对隐含层的权重进行更新训练集中所有样本是否学习完毕训练结束否停机0EminEE是否是是否否网络级联的面部表情识别的实验结果在两个数据库上进行实验，从耶鲁大学的YaleFace数据库中选取60幅人脸图像，共15个人，4幅/人，其中训练样本56幅，14个人，4幅/人，测试样本为剩下的4幅图像，1个人，4/人，通过随机变换训练样本和测试样本，我们重复15次这样的实验。从日本女性表情数据库中（JAFFE）选取120幅图像，共10个人，12幅/人，其中84幅图像作为训练样本，7个人，12幅/人，测试样本为36幅图像，3个人，12幅/人。通过随机变换训练样本和测试样本，我们重复10次这样的实验。日本女性表情数据库上的实验SOFM权值向量图BP网络性能图表情类型识别结果Happy76.7%Normal73.3%Sad70%Surprise80%YaleFace数据库上的实验SOFM权值向量图BP网络性能图表情类型实验结果Happy66.7%Normal73.3%Sad60%Surprise80%基于单特征单分类器的面部表情识别基于神经网络级联的面部表情识别基于几何特征的面部表情识别基于均值主元分析的面部表情识别基于Fisher线性判别的面部表情识别基于几何特征的面包表情识别面部特征点几何特征向量的形成识别流程实验结果面部特征点几何特征的形成25,11td8,22td7,33td6,44td22,2012td213,95td16,106td15,117td14,128dt221,179td24,1810td23,1911td22,2012td121iiiiddx基于几何特征的面部表情识别流程1.在人脸图像上标记24个面部特征点.2.按照上表得到12个测量距离,对测量距离按上面的公式进行归一化处理得到12维局部特征3.读入人脸库。读入每一个人脸图像几何特征数据并转化为一维的向量，对于一个表情的人脸图像，选择一定数量的图像构成训练集，其余的构成测试集。4.把所有测试图像和训练图像进行比较，确定待识别的样本的所属类别。本文采用最近距离分类器进行识别XGFGFGFxxx1221,,,GFGFGFxxx1221,,,GFGFGFxxx1221,,,GFGFGFxxx1221,,,GFGFGFxxx1221,,,两个数据库上的实验结果YaleFace数据库日本女性表情数据库表情类型实验结果Happy73.3%Normal66.7%Sad60%Surprised73.3%表情类型识别结果Happy76.7%Normal70%Sad73.3%Surprised80%基于单特征单分类器的面部表情识别基于神经网络级联的面部表情识别基于几何特征的面部表情识别基于均值主元分析的面部表情识别基于Fisher线性判别的面部表情识别基于均值主元分析的面部表情识别主元分析主元分析的改进：均值主元分析面部表情识别流程实验结果主元分析考虑维图像空间的个人脸图像,每个样本属于类中的一类,考虑将维特征空间投影到维特征空间的线性变换。用表示列向量正交的矩阵。变换后的新的向量,由下式线性变换定义:总离散度矩阵:其中是所有样本的平均值，经过线性变换得到的新的特征向量的离散度是。PCA选择最优的投影变换:是按照降序排列的前个特征值对应的特征向量，这种变换变化就称为主元分析。由所组成的空间就是面部表情特征空间。Nxxx,...,21nNccXXX,...,21nm),...,2,1(NkxWykTkTkNkkTxxS1NkkxN11Nyyy,...,,21WSWTToptWoptWmTToptWSWW,..,,maxarg21mii,...,2,1m主元分析的改进：均值主元分析传统的主元分析的产生矩阵是协方差矩阵,也叫总体离散布矩阵,总体离散布矩阵是有两部分组成:类间离散布矩阵和类内离散布矩阵，而改进算法只考虑类间离散度矩阵。设训练样本集共有N个训练样本,分为c类,为第i样本的数目,其中是表示第个人脸图像的列向量。每一类的均值为：总均值为：类间离散度矩阵：相对于传统的主元分析,其基本区别是以每一类的平均值代替类内的具体图像,我们称为MPCA。由于每一类平均值是类内图像的一个线性叠加,因此每一类的平均值必然保留了相当的各具体图像的变化特征,换句话说,对各图像的变化特征进行了一定程度的压缩处理，而且保留的特征更有利于表情模式的识别。关于这一点我们将在后面的实验中加以说明，用每一类的平均值代替类内的具体图像的另一个明显的好处就是训练时间明显降低。Nxx,...1c,...1iNNixi,,2,1,ikxkiixN1NkkkxN11iiCiiBNS1面部表情识别流程1.人脸图像预处理。主要包括几何归一化和灰度归一化。2.读入人脸库。读入每一个二维的人脸图像数据并转化为一维的向量，对于一个表情的人脸图像，选择一定数量的图像构成训练集，其余的构成测试集，假定图像的大小是w*h（w和h分别维图像的宽度和高度），用于训练的人脸个数是n1，测试的图像个数是n2，令m=w*h，则训练集m*n1是一个的矩阵，测试集是m*n2的矩阵。第幅人脸可以表示为：3.计算每一类的均值、总均值和类间离散度矩阵。4.取类间离散度矩阵为KL变换生成矩阵，进行KL变换。5.计算生成矩阵的特征值和特征向量，构造特征子空间。首先把特征值从大到小进行排序，同时，其对应的特征向量的顺序也作相应的调整。然后选取其中一部分构造特征子空间。特征向量具体选取多少，本文采取实验的方法进行确定。6.把训练图像和测试图像投影到上一步骤构造的特征子空间中。每一幅人脸图像投影到特征子空间以后，就对应于子空间中的一个点。同样，子空间中的任一点也对应于一幅图像。7.把投影到子空间中的所有测试图像和训练图像进行比较，确定待识别的样本的所属类别。本文采用最近邻距离分类器进行识别。Timiiixxxx,,,21cii,,2,1,BSBS实验结果YaleFace数据库MPCA和PCA比较日本女性表情数据库表情类型PCA识别结果MPCA识别结果Happy66.7%73.3%Normal73.3%73.3%Sad60%66.7%Surprised73.3%80%比较项目MPCAPCA主元数目3842训练时间0.090.25表情类型PCA识别结果MPCA识别结果Happy76.7%80%Normal73.3%76.7%Sad70%73.3%Surprised80%83.3%基于单特征单分类器的面部表情识别基于神经网络级联的面部表情识别基于几何特征的面部表情识别基于均值主元分析的面部表情识别基于Fisher线性判别的面部表情识别基于Fisher线性判别的面部表情识别Fisher线性判别