个性化人脸表情动画的研究与实现

个性化人脸表情动画的研究与实现本科毕业设计答辩报告人：张申指导教师：蔡莲红教授报告日期：2005年6月19日报告内容大纲1.研究的背景和内容2.个性化三维人脸模型的建立3.人脸表情动画合成4.总结和展望报告内容大纲1.研究的背景和内容2.个性化三维人脸模型的建立3.人脸表情动画合成4.总结和展望研究背景——人机交互ƒ具有丰富表现力的人机交互方式ƒ真实感三维人脸合成ƒ语音合成的研究ƒ情感表现力ƒ虚拟说话人的研究(lifeliketalkinghead)应用背景——可视文语转换ƒ可视文语转换系统(TexttoVisualSpeech)¾与语音同步的唇动合成¾面部表情配合语音中的情感¾体现个性化(男声、女声、特定人……)ƒ交互服务应用(e-learning,e-business,e-mail,entertainment…)研究内容ƒ工作一个性化三维人脸模型的建立ƒ工作二人脸表情动画的初步合成国内外研究现状1.真实感人脸合成①三维人脸合成的一般方法②基于MPEG-4的三维人脸动画框架2.人脸表情合成①基本表情分类②可视韵律，有情感表现力的人脸动画3.虚拟说话人系统应用国内外研究现状(1)1.基于模型的人脸合成（Model-based）¾手工建模：三维制作软件¾特征建模：网格重构¾扫描建模：三维扫描仪¾统计建模：投影逼近2.基于样本的人脸合成（Sample-based）¾采集大量视频图像¾样本拼接——真实感人脸合成国内外研究现状(2)1.基于网格的三维人脸模型¾基本原理以三维网格作为人脸骨架模型¾组成要素几何网格、面部纹理¾特点通用、实时性、易于实现人脸动画——真实感人脸合成国内外研究现状(3)1.网格控制方法：如何驱动网格实现人脸变形¾关键帧插值：不同时刻建模¾参数模型：人脸网格参数化¾肌肉模型：层状结构、弹簧联结¾有限元方法：实时性差——基于网格的三维人脸模型国内外研究现状(4)——基于网格的三维人脸模型1.纹理生成方法¾绘制生成：涂色、光照¾真实人脸纹理：随网格变形拉伸¾变化纹理：动态重构拼接国内外研究现状(5)——基于MPEG-4的三维人脸动画1.三维人脸动画标准¾FDPFAPFAPUFAT2.人脸动画基本原理¾FAP人脸特征区域的运动参数¾FATFAP如何控制人脸变形3.情感表现表情FAP,基本表情合成国内外研究现状(6)1.脸部表情动作的分类①生理动作(manipulators)②唇部动作(lipmovement)③话语信号(conversationalsignal)④情感表现(emotionaldisplay/emblems)⑤视线运动(gazemovement)⑥头部动作(headmovement)2.可视韵律(VisualProsody)——人脸表情合成报告内容大纲1.研究的背景和内容2.个性化三维人脸模型的建立3.人脸表情动画合成4.总结和展望个性化三维人脸模型的建立1.方案设计¾基于通用三维人脸网格（几何形状）¾采集单张正面人脸照片（个性化纹理）基本流程人脸网格模型正面人脸图像绘制三维人脸模型特征点纹理对齐特征点选取非特征点局部纹理插值空白区域纹理填补个性化三维人脸模型的建立1.工作内容¾三维人脸几何模型的建立¾面部特征区域纹理对齐¾非特征点纹理坐标获取¾空白区域纹理填补三维人脸几何模型1.三维人脸网格数据1040个顶点Vertex,1704个三角面片Mesh2.网格层次结构网格点三角面片3.纹理构造OpenGL纹理映射(,,)01039iiiiVertexxyzi≤≤123123(,,)0,,1039jjjjMeshVVVjjj≤≤(,,)(,)iiiiiiVertexxyzTexuv⇒——网格数据结构三维人脸几何模型——特征区域划分1.网格面片——人脸特征区域对应1704个面片，划分为24个特征区域0-252头发253-258左眉259-265右眉266-276左上唇277-292左下唇293-303右上唇304-319右下唇320-961面部皮肤962-1002左耳……人脸真实纹理获取1.纹理获取¾正面特征点选取¾局部非特征点纹理插值¾“特征区域标定—特征点微调—非特征点插值”2.二维人脸图像的采集要求：正面、中性表情、均匀光照图像：长宽均为2的幂次方特征区域纹理对齐——特征点标定1.正面人脸特征点标定9个特征区域，109个特征点脸部外轮廓29发际边缘9左眉轮廓8右眉轮廓8左眼眶11右眼眶11外唇轮廓14唇闭合线7鼻尖边缘11特征区域纹理对齐——特征点对齐1.正面特征点与二维图像对齐比例缩放特征区域对准特征点微调39个点75个点109个点非特征特征区域纹理获取——非特征点插值1.特征点对齐¾正投影：忽略深度信息¾网格变形：特征点的移动，影响其他网格点位置2.分区域局部插值¾特征点聚集，影响区域内的非特征点¾基于径向基函数的插值方法(RBF)(,,)(,)PxyzQuv⇒非特征特征区域纹理获取——径向基函数插值法1.基本插值公式2.解释：网格点原始位置变形后新位置目标函数：网格点位移特征点线性权重径向基函数1()()(1)niiifPPPλφ==−∑()PPfP′Δ=−P′PiPiλ64()iPPiPPeφ−−−=非特征特征区域纹理获取——空白纹理填补1.特征点微调¾特征点位移¾非特征点位移与两点间距离成反比2.空白纹理填补¾单张正面照片（侧脸颊、耳朵……）¾取最近邻点的纹理颜色(2)iCssPP•Δ′Δ=−sΔ实验结果工作一：小结1.主要完成的工作¾建立基于通用网格的三维人脸模型¾从单张正面照片获取纹理信息2.进一步的工作¾单张照片：侧面纹理信息缺失¾个性化：面向几何特征报告内容大纲1.研究的背景和内容2.个性化三维人脸模型的建立3.人脸表情动画合成4.总结和展望人脸表情动画合成1.基本合成方法¾直接定义68个FAP参数的值¾在基本表情FAP参数的基础上调整¾两种基本表情的线性插值人脸表情动画合成1.MPEG-4基本表情的定义¾高兴(joy)¾愤怒(anger)¾悲伤(sadness)¾惊奇(surprise)¾恐惧(fear)¾厌恶(disgust)——基本表情分类人脸表情动画合成1.基本表情的线性加权¾表情向量¾线性组合2.基于MPEG-4的人脸动画¾表情对应一组FAP参数组合¾FAP参数驱动人脸网格变形——基本表情线性组合3468[,,,]TiEFAPFAPFAP=K1016niiiiEEnαα==≤≤=∑人脸表情动画合成1.表情标记文件¾根据标记内容生成表情¾系统应用：TTVS2.标记内容¾FRAME_NUM//总帧数¾FRAME_DURATION//帧持续时间¾FRAME_NO//帧号¾FRAME_FAP_MASK//表情向量FAP掩码¾FRAME_FAP_VALUE//表情FAP参数向量——表情标记文件工作二：小结1.主要完成的工作¾利用基本表情线性加权合成新表情¾定义表情标记文件2.进一步的工作¾基本表情定义：精确的FAP参数组合¾表情冲突：复杂表情的分析处理报告内容大纲1.研究的背景和内容2.个性化三维人脸模型的建立3.人脸表情动画合成4.总结和展望总结和展望1.主要的工作和贡献¾实现了基于单张正面照片和通用网格模型的个性化三维人脸合成方法，¾利用基本表情的线性组合实现人脸表情的初步合成总结和展望1.将来的工作¾利用正面和侧面两张人脸照片获取纹理¾建立面向几何特征的个性化人脸模型¾搭建实验环境，简化人工标定工作¾完善基本表情的FAP参数定义¾改进基于线性加权的表情合成方法致谢感谢蔡莲红老师的悉心指导感谢吴志勇师兄思路和方法上的建议感谢实验室良好的研究氛围感谢所有帮助过我的同学和朋友……参考文献(1)[1]Cosatto,E.Ostermann,J.Graf,H.P.Schroeter,J.,“Lifeliketalkingfacesforinteractiveservices”.In:PROCEEDINGSOFTHEIEEE,VOL.91,NO.9,SEPTEMBER2003pp1406~1429[2]H.McGurkandJ.MacDonald,“Hearinglipsandseeingvoices”.In:Nature,vol.164,Dec.1976.pp.746-748[3]王志明.汉语视位建模与可视语音的研究：[博士学位论文].北京：清华大学计算机科学与技术系，2003.4[4]WatersK,LevergoodT.DECface:“AnautomaticLip-SynchronizationAlgorithmforSyntheticFaces.”CRLTechnicalReport93/4,1994[5]NakamuraS,YamamotoE,ShikanoK.“Speech-to-lipmovementsynthesismaximizingaudio-visualjointprobabilitybasedonEMalgorithm”.In:IEEESecondWorkshoponMultimediaSignalProcessing,1998.pp53~58[6]TsuhanChen“Audiovisualspeechprocessing”In:SignalProcessingMagazine,IEEE,Volume:18,Issue:1,Jan2001pp9~21[7]C.Pelachaud,N.Badler,M.Steedman:”GeneratingFacialExpressionsforSpeech”.In:CognitiveScience,20(1),Jannuary1996,pp1~46[8]Verma,A.;Subramaniam,L.V.;Rajput,N.;Neti,C.;Faruquie,T.A.“Animatingexpressivefacesacrosslanguages“In:Multimedia,IEEETransactionson,Volume6,Issue:6,Dec.2004pp:791~800[9]Graf,H.P.;Cosatto,E.;Strom,V.;FuJieHuang“Visualprosody:facialmovementsaccompanyingspeech”;In:AutomaticFaceandGestureRecognition,2002.Proceedings.FifthIEEEInternationalConferenceon,20-21May2002pp:381~386[10]姜大龙.真实感三维人脸合成方法研究：[博士学位论文].北京：中国科学院计算技术研究所,2004.11pp3-7pp50-54参考文献(2)[11]Bui,T.D.;Heylen,D.;Nijholt,A.;“Improvementsonasimplemuscle-based3Dfaceforrealisticfacialexpressions”In:ComputerAnimationandSocialAgents,2003.16thInternationalConferenceon,8-9May2003pp:33~40[12]AbrantesG.A.,PereiraF.“InteractiveAnalysisforMPEG-4FacialModelsConfiguration”In:EUROGRAPHICS’98,Lisboa–Portugal,September1998[13]Parke,F.I.“Techniquesforfacialanimation”,In:N.Magnenat-ThalmannandD.Thalmann(Eds.),NewTrendsinAnimationandVisualization,JohnWiley,Chichester1991,pp229~241.[14]Cohen,M.M.,&Massaro,D.W.,“Modelingcoarticulationinsyntheticvisualspeech