表情识别博士答辩

导师：胡正平教授学生：孙哲专业：电子科学与技术基于解耦空间特征学习的稀疏表示表情识别算法研究2018国内外研究现状技术路线研究内容研究目的和意义创新点研究不足与展望研究目的和意义01[第一部分]研究目的和意义表情识别优势：所谓相由心生，人类对事物的喜恶，最直观的表现就是表情。方便友好、易于接受、不易伪造等应用：智能交通、辅助医疗、远程教育、卫生保健、监视系统、驾驶员安全、测谎、互动游戏、社交机器人等表情自动拍照表情驾驶系统监控表情测谎研究目的和意义•理论意义和应用价值：•1.利用新的理论工具，有望取得新的突破•2.为解决实际生活场景中复杂的表情识别问题奠定基础；例如：多个体表情识别•3.推动基于动态的表情分析等相关问题发展；例如有效跟踪用户情绪变化，可以很方便的为静态图片/实时视频流中人脸加情绪标签•4.扩展表情识别应用范围，例如：人脸表情交互、营销辅助多个体表情识别动态的表情分析人脸表情交互国内外研究现状02[第二部分]特征提取方法几何结构特征人脸运动编码系统浅层特征Gabor特征局部纹理特征LBP子空间表示PCA深度子空间特征PCANetLDANet深度特征CNNRNN分类方法近邻分类方法NN二三一五四支持向量机SVM稀疏表示分类方法SRC协同表示分类方法CRC概率协同表示分类方法ProCRC技术挑战欠完备采样面部表情示例图1.面部表情的易变性：人脸身份、观察角度、光照、年龄等。2.训练样本欠完备：实际中能得到的样本只是对表情图像空间中的一个极小部分的采样，而标注信息完备的样本少。技术路线03[第三部分]整体思路数据预处理：剪裁、对齐、归一化解耦空间分类原始空间………………表情特征分类数据获取：JAFFE、CK+数据集……？拟采取的技术路线本文从特征提取角度入手，针对欠完备数据融合人脸身份和表情特征的特点，构建一系列基于解耦空间特征学习的稀疏表示表情识别算法并利用计算机仿真分析这些算法的性能。一方面，本文从基于先验知识的解耦思想出发，利用浅层学习提取解耦空间的表情特征来提高面部表情识别性能；另一方面，本文从自学习解耦思想出发，利用深度子空间模型优异的特征提取能力结合稀疏表示来提高面部表情的识别性能。技术路线研究内容04[第四部分]为解决表情数据受人脸、小样本、光照等影响，提出两种基于解耦空间浅层特征学习算法针对训练样本中缺少中性表情集导致无法借助此表情集构造表情字典，提出一种基于低秩稀疏误差字典的概率协同表示识别算法一二研究内容从面向数据角度出发，提出一种基于像素差值表示的区分性特征学习识别算法鉴于深度子空间模型优异的特征提取能力及运行时间上的优势，提出两种基于解耦空间深层学习算法三四本文针对欠完备数据融合人脸身份和表情特征的特点，构建了基于解耦空间特征学习识别模型并利用计算机仿真对算法性能进行分析，具体研究内容如下：研究内容框图基于独立人脸身份的协同表示识别算法1基于字典学习特征空间的稀疏表示识别算法2基于低秩稀疏误差字典的概率协同表示识别算法3基于像素差值表示的区分性特征学习识别算法4基于深度子空间特诊核映射的稀疏表示识别算法5基于深度子空间特征的二步表示分类识别算法6特征提取训练样本集测试样本分类结果实验方案一1基于独立人脸身份的协同表示识别算法基于字典学习特征空间的稀疏表示识别算法基于低秩稀疏误差字典的概率协同表示识别算法基于像素差值表示的区分性特征学习识别算法234基于深度子空间特征的二步表示识别算法6基于深度子空间特征核映射的稀疏表示识别算法5算法一整体框架测试样本差分字典虚拟差分字典测试样本差分矢量协同表示协同表示残差融合分类结果中性表情集训练阶段测试阶段SVD近似差分字典近似虚拟差分字典原始字典实验验证：JAFFE、KDEF数据集实验设计与结果分析表1-1JAFFE数据集上不同算法的识别率表1-2KDEF数据集上不同算法的识别率本节将实验提出算法与五种算法进行对比，识别结果如右表所示。对于JAFFE数据集，如表1-1可示，当参数g=0.5，h=0.5时，实验提出算法可取得62.29%的平均识别率，而对比算法CRC也仅获得60.98%的识别结果。对于KDEF数据集，IFRC算法同样优于其他对比算法。例如：当参数g=0.6，h=0.4时，IFRC算法取得最佳识别率为77.98%。（1）不同算法对比实验设计与结果分析为进一步验证本算法有效性，本节选取每个人每类表情的前N张图像作为训练样本。右表给出了两个数据集中不同训练样本数量在不同对比算法下的识别结果。由表可知，无论N取1或2时，IFRC算法识别结果均优于对比算法。表1-4KDEF数据集上不同训练样本数在不同算法中的平均识别率表1-3JAFFE数据集上不同训练样本数在不同算法中的平均识别率（2）不同训练样本数对比算法总结本节提出的IFRC算法具有以下优点：(1)IFRC算法利用差分字典(通过从原始空间减去人脸身份信息)来表征表情变化特征，缓解了人脸身份对表情特征的影响；(2)本算法利用对称性将差分字典扩展得到虚拟差分字典，该字典扩大了训练样本数量，从而弥补了欠完备样本对识别产生的影响；(3)该算法通过适当融合差分测试样本在两个差分字典上的类残差提高了表情识别的性能。算法总结实验方案二1基于独立人脸身份的协同表示识别算法基于字典学习特征空间的稀疏表示识别算法基于低秩稀疏误差字典的概率协同表示识别算法基于像素差值表示的区分性特征学习识别算法234基于深度子空间特征的二步表示识别算法6基于深度子空间特征核映射的稀疏表示识别算法5算法二整体框架首先，将原始空间映射到表情空间。其次，利用表情图像的近似对称结构对表情字典进行学习并采用主成分分析进行降维，以进一步突出表情特征。最后，利用稀疏表示分类对测试样本进行分类。实验设计与结果分析（1）不同特征方法对比表2-1不同特征方法在不同数据集上的平均识别率及运行时间本节分别将实验提出特征方法与四种特征方法进行对比。从下表可以看出，实验提出DLFS特征方法可达到的识别率高于其他算法，LBP特征方法识别效率次之。此外，实验提出DLFS特征在每个测试样本上的运行时间虽然不是最低的，但相对LBP和LPQ特征方法仍有明显的优势。实验验证：JAFFE、CK+、KDEF、AR数据集实验设计与结果分析（2）不同数量训练样本对比本节选取AR数据集中不同数量的训练样本进行实验。实验分别选取每人每类表情的1、2张图像作为训练样本，同样选取PCA方法降维。实验提出算法DLFS+PCA与对比算法DD+PCA的平均识别率随特征维数变化的曲线如图2-3所示。0204060801001201401601802006667686970717273747576DimensionAverageRecognitionRate(%)NumberofTrainingSamplesPerSubject:1DLFS+PCADD+PCA0204060801001201401601802007071727374757677DimensionAverageRecognitionRate(%)NumberofTrainingSamplesPerSubject:2DLFS+PCADD+PCA(a)(b)图2-3不同样本数在不同维数下的平均识别率(a)每人一张训练样本数和(b)每人两张训练样本数算法总结实验提出DLFS_SRC算法具有以下优势：(1)通过字典学习产生的最佳差分字典不仅缓解了人脸身份对表情特征的影响，而且确保面部图像中的表情更符合真实的表情类别信息；(2)本算法简单易操作，还可用于图像恢复；(3)最佳差分字典有利于增加同一表情类中图像之间的相似性，从而提高了不同表情类之间的差异性。算法总结上述两种算法均从表情空间入手，通过从原始空间减去人脸身份空间得到相对独立的表情空间，均在一定程度上缓解了人脸身份对表情识别的影响，从而提高面部表情识别性能。然而上述算法均依赖于中性表情训练集，但当样本中无中性表情训练集时则算法不适用。为此，下面从低秩子空间映射入手，提出基于低秩稀疏误差字典的概率协同表示识别算法，以此提高表情识别鲁棒性。实验方案三1基于独立人脸身份的协同表示识别算法基于字典学习特征空间的稀疏表示识别算法基于低秩稀疏误差字典的概率协同表示识别算法基于像素差值表示的区分性特征学习识别算法234基于深度子空间特征的二步表示识别算法6基于深度子空间特征核映射的稀疏表示识别算法5算法三整体框架特征提取++++分类最终结果愤怒厌恶恐惧中性====低秩共同字典稀疏误差字典原始字典测试样本集ProCRC该算法尝试将原样本空间映射到表情空间进而利用概率协同表示原理进行分类得到最终的识别结果。实验设计与结果分析（1）不同特征方法对比AngerDisgustFearHappySadnessSurpriseNeutralOverall0102030405060708090100RecognitionRate(%)GrayLBPLPQGaborLRSEAngerDisgustFearHappySadnessSurpriseNeutralOverall0102030405060708090100RecognitionRate(%)GrayLBPLPQGaborLRSECloseeyesFrownSmileOpenmouthSurpriseNeutralOverall0102030405060708090100RecognitionRate(%)GrayLBPLPQGaborLRSEAngerDisgustFearHappySadnessSurpriseNeutralOverall0102030405060708090100RecognitionRate(%)GrayLBPLPQGaborLRSE(a)(c)(d)图3-2五种特征方法分别在(a)JAFFE(b)KDEF(c)CAS-PEAL和(d)CK+数据集上的识别率(b)实验验证：JAFFE、CK+、KDEF、CAS-PEAL由右图可知，实验提出LRSE特征在每类表情识别率和平均识别率上均优于其他对比特征提取方法，原因在于低秩分解方法将原始字典分解成与人脸身份相关的低秩共同字典以及与表情相关的稀疏误差字典，而稀疏误差字典有更好的表情表征力。实验设计与结果分析（2）不同分类方法对比本节进一步讨论实验提出特征空间LRSE结合ProCRC及对比分类方法的识别结果。下列出不同分类方法在5个表情数据集上的结果表明，ProCRC优于其它分类方法。原因在于本算法中的ProCRC利用概率协同表示计算测试样本所属每个表情类的概率值，它有效利用了所有类中的训练样本来决定测试样本标签。表3-1不同分类算法在五个数据集上的识别率算法总结本节的算法利用低秩矩阵分解方法将原始字典分解为低秩共同字典及稀疏误差字典，而稀疏误差字典则具有区分性的表情特征，因此本算法进一步利用稀疏误差字典提取表情特征。分类阶段，本算法利用ProCRC通过计算测试样本属于各个表情类别协同子空间的概率进行分类，提高了识别准确性。算法总结以上两章均是基于图像全局表示，第五章将从面向数据的局部角度分析如何提高表情特征的表征能力，进而提高表情识别鲁棒性。实验方案四1基于独立人脸身份的协同表示识别算法基于字典学习特征空间的稀疏表示识别算法基于低秩稀疏误差字典的概率协同表示识别算法基于像素差值表示的区分性特征学习识别算法234基于深度子空间特征的二步表示识别算法6基于深度子空间特征核映射的稀疏表示识别算法5算法四整体框架本算法尝试利用一种区分性的特征描述符提高面部表情的表示能力。首先，对于任一训练样本构建基于像素差值表示的区分性特征矩阵进而获得区分性特征词典；其次，利用垂直二维线性判别方法分析找到一个最佳映射矩阵使得区分性特征字典的类间散度与类内散度比最大；最后，利用最简单的近邻分类器来判决测试样本的标签。测试样本V-2DLDA降维特征矩阵训练样本集区分性差分矩阵区分性特征字典特征空间区分性差分矩阵特征向量近邻表示分类结果实验设计与结果分析（1）不同参数对比为验证实验提出