17面向极低码率下的2D3D人脸视频编解码研究

校验码：d4979d29-b88b-48cc-9979-debc088e8c87投送学科一级学科：控制科学与工程二级学科：模式识别与智能系统如是学科交叉研究，所涉及的一级学科：信息与通信工程二级学科：信号与信号处理是否涉密：是否√中国博士后科学基金面上资助申请书（第52批）申请者：----博士后全国统一编号：----申报单位：----项目名称：面向极低码率下的2D/3D人脸视频编解码研究研究方向：人机情感接口；智能机器人通讯地址：----邮政编码：----E－mail：----固定电话：----移动电话：----申请日期：2012年08月30日中国博士后科学基金会制校验码：d4979d29-b88b-48cc-9979-debc088e8c87须知1.申请者应认真阅读《中国博士后科学基金资助规定》和《中国博士后科学基金面上资助实施办法》，按有关要求逐项填写申请材料。2.如申请项目涉密，不得在网上提交申请材料。申请者需下载申报软件，填写后打印3份申请材料，刻录光盘一张，一并报送设站单位进行审核。3.“投送学科”系指申请者所报项目的所属学科。若申报项目是学科交叉研究项目，应填写所涉及的学科名称。4.“项目名称”不得超过25个字。5.“研究方向”系指申请者所报项目的研究方向，不得超过15个字。6.填表必须实事求是，认真翔实，不得弄虚作假。校验码：d4979d29-b88b-48cc-9979-debc088e8c87一、个人信息姓名----性别男出生日期1982-11-18身份证号34112419821118501x国籍中国民族汉族进站时间2010年07月02日预计出站时间2013年07月02日进站单位流动站√0--------工作站0--------学位情况学位授予年月授予单位一级学科导师学士2003年07月解放军电子工程学院电子信息工程凌永顺硕士博士2010年07月中国科学技术大学控制科学工程汪增福主要研究工作经历起止年月单位研究内容项目分工2005-07至2010-07中国科学技术大学人脸图像的检测、识别与编码传输，三维说话头算法设计与实现2003-09至2005-06中国科学技术大学基于图像的运动目标检测与跟踪算法设计与实现2002-09至2003-07解放军电子工程学院温度模糊控制系统算法设计与实现校验码：d4979d29-b88b-48cc-9979-debc088e8c87曾获得的研究成果获得科研奖励或基金资助情况（可加项）获得时间项目名称奖励或资助名称等级排名参加或主持的科研项目（可加项）批准时间项目名称下达部门项目性质项目经费项目进展承担责任2009-01-01基于立体图对的高真实感人脸三维建模与识别国家自然基金委应用基础研究30结题验收研究骨干：人脸三维建模和人脸识别方面的工作发表的有代表性论文（包括已被录用、待发表的论文，可加项）发表时间论文题目学术刊物或会议名称学术刊物或会议类型收录情况排名2013-05-31极低码率下的2D-3D人脸视频编解码电子学报国内核心期刊EI12013-04-30面向人机接口的三维虚拟人头自动化学报国内核心期刊EI12013-02-283DFacialMotionTrackingCombiningOnlineAppearanceModelandCylinderHeadModelinParticleFilterComputerVisionandImageUnderstanding国际刊物SCI12013-01-31FacialExpressionRecognitionCombiningStaticandDynamicKnowledgefromMonocularVideoJournalofVisualCommunicationandImageRepresentation国际刊物SCI12012-12-31ARealistic3DVirtualHeadforHuman-MachineInterfaceVideo,TextandSpeechBasedApproachIEEEtransactionsonCircuitsandSystemsforVideoTechnology国际刊物SCI12012-11-303DFacialMotionTrackingUsingOnlineAppearanceModelandMulti-measurementsinImprovedParticleFilterJournalofSystemsEngineeringandElectronics国际刊物SCI12012-10-31FacialVideoCodingDecodingatUltra-lowBit-ratea2D/3DModel-basedApproachIEEEtransactionsonSystemManandCybernetic,PartB国际刊物SCI1校验码：d4979d29-b88b-48cc-9979-debc088e8c872012-10-31一个实时鲁棒的视频去扰动系统系统工程与电子技术国内核心期刊EI12012-09-30AframeworkforfacialmotiontrackingandfacialexpressionrecognitionfrommonocularvideoJournalofCentralSouthUniversity国际刊物SCI12012-09-28一种面向MPEG-4人脸表情运动参数及纹理的压缩算法模式识别与人工智能国内核心期刊EI12011-07-30人脸表情运动跟踪与表情识别算法小型微型计算机系统国内核心期刊CSCD12011-04-30一种基于MPEG-4的三维人脸表情动画系统中国科学技术大学学报国内核心期刊CSCD12011-04-30一种基于在线模型匹配与更新的人脸三维表情运动跟踪算法模式识别与人工智能国内核心期刊EI12006-06-30一种基于壳向量的SVM快速增量学习算法电子测量与仪器学报国内核心期刊CSCD12006-03-31基于抑制光线强度变化影响的运动目标检测计算机仿真国内核心期刊CSCD32006-02-28改进的光流法及其在云爆弹研究中的应用光电工程国内核心期刊CSCD32005-06-30EstimatingvelocityofmovingobjectsusinganimprovedopticalflowmethodProceedingsofICEMI2005国际刊物ISTP4出版的有代表性的专著（可加项）出版时间论著名称独著或合著出版社合著排名获专利情况（可加项）受理（授权）时间名称类型排名其他荣誉或成果（可加项）获得时间荣誉或成果校验码：d4979d29-b88b-48cc-9979-debc088e8c87二、申报项目基本信息名称中文面向极低码率下的2D/3D人脸视频编解码研究英文Resarchon2D-3DModel-basedFacialVideoCoding/DecodingatUltra-lowbit-rate研究类别基础研究应用基础√技术开发项目来源自选项目√国家自然科学基金项目863高技术研究项目973计划项目国家社科基金项目其它国家级重点项目省市或部门重大项目其它项目研究经费来源及数额无项目简要介绍本项目以包含正面人脸的视频为研究对象，从极低码率人脸视频编解码问题入手，系统开展模型基人脸视频编解码研究。希望通过该项研究，达到如下目的：设计并实现正面人脸模型基视频编解码方案，实际构建出在极低码率传输条件下可实时运行的、具有高自然度人脸视频再现功能的人脸视频编解码系统。针对系统实现过程中所面临的低码率与高自然度之间、算法的计算复杂度和实时性之间可能存在的矛盾和难题，拟从系统的角度，对基于图像的人脸运动跟踪、基于正面人脸三维模型的高真实感人脸动画合成、头发的形状、纹理和运动表示，背景图像和正面人脸合成动画之间的无缝拼接等诸问题进行深入研究，确立与之相关的关键技术并实际构建出以这些关键技术为基本构成元素的人脸视频编解码系统，为研究走向实用化奠定基础。关键词视频编解码；人脸运动跟踪；人脸动画；头发检测、建模与合成校验码：d4979d29-b88b-48cc-9979-debc088e8c87三、项目立论依据内容包括：研究意义、国内外研究现状综述、项目创新之处、主要参考文献及出处（注：可加页）。1立项依据目前，视频采集设备和视频显示设备正成为消费类电子产品的必备构件之一，尤其在智能手机和家用相机中得到了广泛的应用。因此，作为视频设备之间沟通的桥梁，视频通信在这些应用中正在起着越来越重要的作用。特别的，由于视频通信所处的信道容量相对于需要传输的庞大数据非常有限，因此能否对视频进行有效地压缩编码成为制约这类电子产品在实际中，尤其是极低码率传输环境下，得到广泛应用的关键因素之一。传统的视频编码方法(H.264等)通常把图像作为随机信号进行处理，并根据统计特性消除其空间冗余度与时间冗余度。根据香农的率失真理论，该类编码方法的无损压缩极限受限于图像信号的高阶熵。与此不同，模型基视频编解码(MBC)[1-11]把图像看作具有知识的结构化模型。该知识可从输入视频中实时识别或从训练库中学习来得到。工作过程如图1所示：假设编、解码端有描述处理对象的三维结构模型；首先，在编码端，通过对象分割、跟踪来获得形状、纹理和运动方面的特征参数；然后，将之编码传送至解码端；最后，在解码端，根据三维结构模型和解码后的特征参数综合出解码视频。由于仅需对特征参数进行编码传输，MBC的效率极高且没有传统方法在码率较低时出现的块效应。理论上，MBC适合于任何对象，但从三维结构模型和应用场合考虑，目前以模型基人脸视频编解码(MBC-Face)为主。图1模型基视频编解码系统。下面，根据MBC-Face的工作过程，对其编、解码端各主要组成部分的研究现状进行概述，并指出此项研究目前还还面临着的问题和困难，它们也将是本项目拟重点研究的内容。1.1人脸模型特定化编码端的第一步是人脸模型特定化：把人脸通用三维模型，变为描述输入视频中特定人脸的特定模型，从而为后续的人脸三维运动跟踪提供初始的参考基准。目前的方法主要有基于三维扫描仪的[12]，基于多幅图像的[13]，基于视频的[14]，基于单幅图像的[15]等几种。其中基于单幅图像的方法根据输入视频中包含正面人脸的第一帧图像来得到其中人脸所对应的三维姿态、形状和运动等信息。该方法因为需要的素材容易满足，是目前研究的重点。进一步，它可分为以下几类：基于几何特征点的方法[16][17][18]：首先根据二维特征点来调整模型的三维姿态，接着由二维特征点的位置来得到三维模型特征点的新位置，最后由三维模型特征点的新位置插值计算[19]得到三维模型非特征点的位置。该方法对二维特征点的精度要求高，且结果缺乏深度信息。基于外观模型的方法[15][20]：首先通过三维人脸库来构造三维人脸的形状向量空间和纹理向量空间，接着基于统计分析方法来得到可变形人脸统计模型，最后将该统计模型应用在图像匹配过程中。该类方法合成的结果强烈依赖于人脸图像库的质量，需要的代价相当昂贵。1.2人脸三维运动跟踪编码端的第二步是人脸三维运动跟踪：从已经获得的前一帧的人脸运动参数出发，根据当前帧的图像信息、人脸三维模型、人脸先验知识、滤波算法，以及跟踪中获得的知识，得到当前帧的人脸运动参数。它可以通过基于特征的方法或者基于外观模型的方法来完成。前者[21][22][23][24][25][26][27][28][29]基编码端(分析)信道三维模型解码端(合成)输入视频三维模型合成视频校验码：d4979d29-b88b-48cc-9979-debc088e8c87于由光流或块匹配获得的二维图像运动信息来估计三维模型的运动。由于人脸没有足够稳定的特征以及当前帧的运动估计依赖于以前各帧的结果，从而随着估计误差的积累，存在运动漂移问题。为了克服该问题，需要引入关键帧等措施[30][31][32]或者融合多种特征信息来提高跟踪的鲁棒性[33]。后者通过建立和更新外观