基于非对称局部梯度编码及多特征融合的人脸表情识别

报告人：基于非对称局部梯度编码及多特征融合的人脸表情识别答辩人：指导老师：汇报内容一、绪论二、人脸表情识别基础理论三、基于非对称局部梯度编码的人脸表情识别四、基于多特征融合的人脸表情识别五、总结与展望一、绪论研究背景与意义情感是人类内心的符号，面部表情是人们丰富情感的外在表现100%信息=7%语言+38%声调+55%面部表情人脸表情识别是情感分析的一个重要组成部分，是一个具有交叉性与挑战性的研究课题促进学科发展商业价值日常生活研究意义一、绪论人脸表情识别系统良好的描述能力、信息较少冗余、特征维数不能过高汇报内容一、绪论二、人脸表情识别基础理论三、基于非对称局部梯度编码的人脸表情识别四、基于多特征融合的人脸表情识别五、总结与展望二、人脸表情识别基础理论人脸检测基于知识模型：肤色特征、边缘特征、五官特征、纹理特征基于统计模型：人工神经网络、Harr-like+Adaboost二、人脸表情识别基础理论图像预处理直方图均衡化高斯滤波线性平滑滤波器图像上的噪声一般服从Gauss正态分布二维Gauss函数表达式：221,exp2xyxyGxy滤波去噪几何变换中值滤波图像旋转图像比例缩放二、人脸表情识别基础理论特征提取全局特征提取方法纹理特征提取方法几何特征提取方法主成分分析（PCA）线性判别分析（LDA）离散余弦变换（DCT）……Gabor小波局部二值模式（LBP）局部梯度编码（LGC）……主动形状模型（ASM）主动外观模型（AAM）……二、人脸表情识别基础理论局部梯度编码（LGC）06214024235146054663772022222222),(ggsggsggsggsggsggsggsggsyxLGCcfcfcfggggggs,0,1二、人脸表情识别基础理论主动外观模型（AAM）训练样本建立人脸形状模型误差衡量关键特征点建立人脸纹理模型外观模型测试实例最优外观系数二、人脸表情识别基础理论分类识别分类器最近邻支持向量机朴素贝叶斯BP神经网络K近邻高维数、非线性、小样本问题引入核函数解决非线性问题多分类问题：采用“一对一”、“一对多”两种方式决策边界简单汇报内容一、绪论二、人脸表情识别基础理论三、基于非对称局部梯度编码的人脸表情识别四、基于多特征融合的人脸表情识别五、总结与展望三、基于非对称局部梯度编码的人脸表情识别本章思想针对局部梯度编码算子（LGC）只能在固定大小邻域内提取图像纹理特征的不足，提出了一种非对称邻域LGC算子（AsymmetricRegionLocalGradientCoding，AR-LGC）多尺度融合的表情特征提取方法。原始图像尺寸归一化表情分类Gauss滤波提取XOR-AR-LGC特征三、基于非对称局部梯度编码的人脸表情识别非对称局部梯度编码（AR-LGC）11iiNRijjigpN70,2iiiARLGCxyP邻域大小的可扩展性可能忽略局部邻域内强度的变化纹理平滑化降低算子鉴别能力三、基于非对称局部梯度编码的人脸表情识别异或非对称局部梯度编码（XOR-AR-LGC）设序列和的第位为和，XOR-AR-LGC编码表示为：iiPB10XOR-AR-LGCx,y2LiiiiPAPBiPAPAPB8L三、基于非对称局部梯度编码的人脸表情识别XOR-AR-LGC特征提取过程1）将经过预处理后的表情图像分成n*n个子块；2）对每个子块采用XOR-AR-LGC算法进行编码；3）统计每个子块的XOR-AR-LGC直方图；4）级联所有子块的直方图，级联后的直方图表示该幅表情图像的特征。三、基于非对称局部梯度编码的人脸表情识别实验结果与分析本章算法识别率（a）JAFFE（b）CK三、基于非对称局部梯度编码的人脸表情识别实验结果与分析误识别表情（a）误识别为生气（b）误识别为悲伤（c）误识别为厌恶（b）误识别为悲伤三、基于非对称局部梯度编码的人脸表情识别实验结果与分析AR-LGC邻域大小选择（a）JAFFE（b）CK三、基于非对称局部梯度编码的人脸表情识别实验结果与分析XOR-AR-LGC与AR-LGC的对比试验三、基于非对称局部梯度编码的人脸表情识别实验结果与分析不同算法的对比试验（a）识别率对比（b）其他性能对比汇报内容一、绪论二、人脸表情识别基础理论三、基于非对称局部梯度编码的人脸表情识别四、基于多特征融合的人脸表情识别五、总结与展望四、基于多特征融合的人脸表情识别本章思想纹理特征可以较好地描述图像的细节变化信息，几何特征可以较好描述图像的形变信息，全局特征能以较低维数的特征描述整个图像的全局信息。单个特征在分类性能上的片面性和局限性特征间具有一定的互补性针对以上问题，为充分有效利用特征，本章提出一种基于差异性和重要性的加权多特征融合的人脸表情识别算法，通过特征选择与融合构建具有更强描述鉴别能力的特征四、基于多特征融合的人脸表情识别异或AR-LGC特征从水平、垂直、对角线梯度比较中心像素点周围邻域强度大小，并且融合了不同尺度上的强度关系，所提取的特征能很好地反映图像的细节信息。AAM特征在眉毛、眼睛、鼻子、嘴巴区域上，选取了对表情识别起关键作用且具有较低错误定位率的23个点作为特征点，利用如下公式计算特征点间的相对距离，构建人脸表情识别的几何特征。23,,2,1,)()(||||22jiyyxxppdjijijiij四、基于多特征融合的人脸表情识别DCT特征四、基于多特征融合的人脸表情识别基于差异性和重要性的特征选择算法（DIFS）特征的互补性是保证多特征融合后的特征具有较好的鉴别能力和较高识别率的关键，作为特征选择的重要依据。正分差异度错分差异度总体差异度重要度互补度1212*(,)*()(,)ikiikkdivFCkimpFcomFCkk5个样本的分类结果特征1：（1,1,0,1,0）特征2：（1,0,0,1,1）四、基于多特征融合的人脸表情识别由于不同的特征的自身特性对分类识别的影响不同，对特征进行适当的加权可以提高特征子集的分类性能。设最优特征集，权重系数，，则加权后的融合特征表示为：粒子群优化算法（PSO）较快的收敛速度、较强的全局搜索能力、参数设置少和实现方便采用PSO寻找最优特征子集C中特征的权重系数最优解W。1,,mCFF1,,mWmnmn11,,mmCWFFF四、基于多特征融合的人脸表情识别多特征选择与融合Step1.计算每个特征的重要度，选择重要度最大的特征加入特征子集Step2.计算待选择特征与当前特征子集的互补度，依据互补度选择互补度最大的特征加入特征子集，构建最优特征子集Step3.利用粒子群优化算法选择最优特征子集中的每个特征权值，构建加权融合特征DIFS四、基于多特征融合的人脸表情识别实验结果与分析本章算法在JAFFE库和CK库上的识别率（a）JAFFE（b）CK四、基于多特征融合的人脸表情识别实验结果与分析DCT中Zig-Zag算法区域大小的选择四、基于多特征融合的人脸表情识别实验结果与分析差异性权重系数和重要性权重系数的选择1k2k四、基于多特征融合的人脸表情识别实验结果与分析不同算法的对比实验汇报内容一、绪论二、人脸表情识别基础理论三、基于非对称局部梯度编码的人脸表情识别四、基于多特征融合的人脸表情识别五、总结与展望五、总结与展望工作总结主要内容相关研究以表情识别为中心，概述了课题提出的背景和研究意义，分析了表情识别研究中的主要问题，针对人脸检测、预处理、特征提取和特征分类等环节，详细介绍了表情识别中的重要技术，总结了各项技术的优缺点和适用范围。特征提取针对局部梯度编码算子只能在固定大小邻域内提取图像纹理特征的不足，本文提出了一种非对称邻域局部梯度编码算子多尺度融合的特征提取方法，在保证时间效率的情况下，提取更具鉴别力的特征。特征选择与融合为克服单一特征在分类性能上的片面性和局限性，本文提出了基于差异性和重要性的加权多特征融合的人脸表情识别方法，充分利用单个特征的鉴别能力，有效提高识别率。本文以基于静态图像的人脸表情识别为课题展开研究五、总结与展望•研究展望面部表情识别研究工作中仍有很多需要突破的方向：1）本文的研究基于静态图像，如何在保证实时性的情况下通过图像序列做表情识别，是进一步研究的重点。2）人脸表情数据库有待扩充和完善；3）如何将人类在多种模态下的情感特征有效结合，从而获得更充分的情感信息值得研究。攻读硕士期间的学术活动及成果情况•参加的学术交流与科研项目（1）国家自然科学基金重点项目：基于可穿戴计算的情感交互理论与方法,61432004,2015.01-2019.12（2）安徽省自然科学基金项目：基于视觉认知的表情识别与情感计算,1408085MKL16,2015.01-2016.12（3）国家自然科学青年基金项目：基于面部遮挡的大学生心理测试视觉情绪计算模型研究,61300119,2014.01-2016.12攻读硕士期间的学术活动及成果情况谢谢！