三维动画综述报告

Real-TimeHumanPoseandShapeEstimationforVirtualTry-OnUsingaSingleCommodityDepthCamera使用单目深度相机进行虚拟试穿的实时人体姿态与形状模拟1.摘要我们展示的这个系统可以给用户虚拟试穿衣服，该系统使用深度照相机捕获用户得到3D模型。该系统基于实时模板的方法从而达到将用户的姿态和形体变化合理的结合。接下来将得到的结果用来驱动现实衣服仿真，即将合成的衣服覆盖到输入的图像上。我们面对的主要挑战是解决数据丢失和处理模糊的效果，问题出现的来源主要是单目设置的效果，因为该设置只捕捉到不到人体一半的图像。我们的解决方案是在姿态跟踪时自动将形体变化和和异常的约束合并。最后我们用几个实例展示了该系统的效果。关键词—人体姿态仿真，人体形态建模，虚拟试衣，深度传感器2.概论深度摄像机如微软公司的Kinect，在学术与工业领域已经名声大噪。由于可以捕获三维的动态场景，大量的研究人员和开发者正在准备研究新的应用，涉及的领域从电子产品到娱乐，健康医疗以及机器人学。我们展示了深度摄像机怎样用来提高虚拟试穿系统的真实性，该系统可以让用户在一个虚拟的系统里面穿上不同的衣服。由于具有巨大的商业潜力，虚拟试穿的概念之前早已被研究过。其主要的理念在于跟踪用户的二位或者三维动作，从而将其与覆盖到用户图像合成[52,43,14]。由于人体动作的复杂性以及试衣仿真的计算成本，不同的系统有不同的优缺点。一些处理过的虚拟试衣如纹理化，过度简化了用户与衣服的交互。而一些需要预处理的图片，要么过度粗糙或者难以匹配用户动作与形状的。理想的虚拟试衣系统应该可以真实以及有效的对虚拟试衣进行仿真，并且可以及时的对用户的姿态形体做出检测。这点对用户尤为关键，因为可以让他们知道不同的衣服试穿上去是怎样的效果，从而可以提高他们对这种系统的接受程度。不幸的是，至今还没有系统满足这些条件。利用深度相机获取的数据用于试衣仿真自然成为解决这一问题的方案。事实上使用深度贴图来处理衣服与人体碰撞是一个已经研究深透的图形处理器，基于技术[23,28,20].但是这种已捕获的深度贴图充满了噪声而且不完整，因为硬件的原因，帧率受限。一个可行的解决方案是使用多孔摄像机，但是摄像合成又成为了一个挑战，因为没有深度摄像机支持内置摄像合成。虚拟试穿系统包含两个主要部分：姿态跟踪以及形体匹配和衣物仿真。在该部分我们简要的回顾最近的话题以及对虚拟试穿应用的研究方法。人体姿态模拟的研究已经进行了几十年。大多数传统方法依赖于对视角设置，而最近的研究方法有一些在使用单一深度传感器进行跟踪。最典型的的方法是由Shottonetal.提出的，其使用收集的大量数据训练随机分类器然后使用一种聚集技术来估计联动的姿态。这种方法使得速度慢以外，其精度也需要提高。更重要的是与其他典型方法一样，该方法不能保持时间的一致性，也不能得到完整的人体形状，而这是对虚拟试穿应用很重要的一点。Ganapathietal.[18]使用动态贝叶斯网络来对动态的状态建模(DBN)然而其模型大小是固定的，不能对人体大小变化做出改变。他们最近的工作部分针对该问题是可以小范围的改变长度,而且他们利用自由空间约束来引导跟踪器。可是为了达到实们时的效果他们使用了一个过度简化的圆柱体咬合模型，这样就不能真实的捕捉观察到的表面机构而且会导致试衣仿真时产生有形噪点一些研究者结合了以上两种方法的优点。Yeetal.[50]andBaaketal.[2]都使用了一种混合方法，但是需要在运行期间使用数据库。Heltenetal.[24]基于SCAPE模型对个性化的形体模拟进行了拓展。Weietal.[48]将DBN模型和身体检测结合从而提高了精度和鲁棒性。虽然我们的跟踪公式与[24]类似，但是我们设置了跟踪器的约束条件从而可以更有效的引导跟踪器，而且精度更高。结果与[24],[48]相比，我们并不需要分辨检测器而且[36,50,2,48,24]中的分辨检测器会出现部分观察不匹配的问题，如身体的部分出现在视角之外。相比之下我们的跟踪器在设置约束条件的条件下能有效的解决这种出现的问题。虽然差分方法解决了身体大小的变化问题生成性方法需要考虑到模板与主体的身体大小的变化。一些方法提出一种合适的模板其大小和身体尺寸差不多如[18]，或者直接从主体上扫描，如[17,44,11];而另一些使用参数模型进行匹配如[24].这种混合方法通常需要依赖差分元件来处理此类问题如[50,48],但是应用性不足因此我们没有采用事先假定目标的身体大小显得不够自然。最后我们提出基于Strakaetal[38]提出的以不同骨骼为坐标的身体尺寸匹配方法。除了身体尺寸大小变化，模型的外表结构通常没有精确匹配目标的身体形状。因此为了捕捉到目标的外表结构，外表模拟通常针对姿势模拟，一种选择是使用一个或多个传感器对目标的身体形状进行一次静态扫描[42]。对于动态场景的几何结构估计，通常在多视角或单视角中使用轮廓法[17,11,44,37,38]。与[49,16]类似,我们几何了深度和边缘信息来动态估计外表的几何结构。但是我们的方法在[17]中遵循线性公式，使用约束来处理单目数据。基于身体的衣服仿真的最近研究获得了不少的仿真方法[4,9,6,26]其有效性和真实性也提高了不少。调查报告[25,8,33]总结了最近的发展状况。在众多的方法中我们的工作与两种仿真技术尤为相关。数据驱动型，第一种包含了数据驱动技术，既包括了合成的或捕捉的基于仿真的身体数据。王和其同事开发出了衣物皱纹数据库并使用人的姿态引导合成合适的纹理用于衣服动画。与之相反的是DeAguiar与其研究人员忽略了身体模型并提出纯粹的数据驱动模型并且可以有效的产生皱褶细节。Feng和其同事[13],以及Kavan与他的同事[27],提出了数据驱动模型其能够丰富衣服仿真的细节。而我们的数据展现的是一个人体而非衣服，当然这些技术通过综合合成的和捕捉的数据在未来也能为我们所服务。第二种方法通过合成的深度贴图处理衣服和身体碰撞。由于其对标准的图像通道兼容，这些技术[23,28,20]可以通过图像硬件加速，而且经常在基于GPU的衣服仿真系统中使用。如果想要更精确的碰撞检测，可以通过GPU加速有效构造三维距离场景，见Sudetal.[40]和Morvanetal.[31].由于这些技术将深度贴图（距离场景）作为已知身体形状的代表，便可以从输入的咬合模型构建多维深度贴图，而且可以提供外表信息从而提高碰撞精度。相比以上的两个问题，虚拟试穿和个性化三维衣服设计显得简单多了。大多数现存的系统将虚拟穿衣作为静态的纹理补丁处理的，并且基于图像的透视技术从而虚拟的实现穿上衣服[21].很多方法依靠预捕捉人体多样姿势的数据库来寻找到最佳匹配和实现局部细化[12,41,52,22].但是这些方法很大程度上忽略了用户和衣服的交互。一些研究者开拓了该领域通过将原始的数据与基于衣服的身体仿真结合。在虚拟试穿系统中有两种策略来刻画虚拟穿衣。一种直接而粗糙的方式是构造一个和人体形状一样的图片，然后再虚拟的给其穿上衣服。而身体大小可以通过用户输入[32,15,43]或者使用深度传感器[39]来改变。虽然这些技术可以精确的给一个静态的身体虚拟穿上衣服，但是当身体变化动作时就做不到了。triMirror系统[43]对动图进行虚拟穿衣，其动作由用户的骨骼姿态控制，然而结果显示他们的系统看上去是一个已定义好的图片，这样不能精确匹配用户额身形。较优的选择是从深度数据中获取身形。一个典型的例子就是Fitnect[14]系统，其成功的通过身体动作实现了部分穿衣的动图，而其他的部分缺失静止的。另外其仅将衣服作为用户身体前面的一个部分处理。而且让衣服跟随身体动作还不够精确。3.研究现状虚拟试衣技术在国外的研究比较成熟，代表性的有瑞士MIRALab实验室[3]开发的MIRACloth系统，德国弗劳恩霍夫学会开发的虚拟试衣软件，加拿大PAD公司的跨平台系统、法国力克公司的E-Design系统，美国Gerber公司与Browzwear公司合作研发的AccuMarkV-Stitcher系统，以及俄罗斯ARDoor公司将计算机游戏硬件与Xbox360控制器相结合研发出“虚拟试衣间”。试衣网站主要有MyVirtualModel和Fitme.com，MyVirtualModel与世界上几家著名的服装零售巨头（如H&M、Land'sEnd、SearsAdidas、Speedo）都有合作，Fitme.com采用尺码推荐技术向消费者推荐适合其体型的服装尺码，提供给顾客更多的服装信息，促进了网上服装的销售。国内对虚拟试衣系统的研究还在探索阶段，大部分是将服装二维图粘贴到模特身上来完成试衣。杭州森动数码科技[4]发布的“3D互动虚拟试衣间”于2011年成功落户海宁皮革城。另外，国内的高校如东华大学、浙江理工大学、北京服装学院等都在这个领域展开研究并取得了一定的成果。国内的试衣网站主要有face72、41go及okbig，其中以“和炫试衣”为主要代表。这些网站有不同体型的模特供消费者选择，消费者只需要输入自己的身体数据，就能找到符合自己体型的模特，然后就可以试穿服装了。3.1虚拟试衣系统的相关技术及关键模型3.1.1三维人体模型的建立三维人体测量人体测量技术包括接触式人体测量技术和非接触式人体测量技术。接触式人体测量分为马丁法、滑动量规法、复模法，这些方法具有简单、直观的优点，但耗时久、精度低并且无法提供三维人体数据。非接触式三维测量方法以速度快、精度高、大大减少人的劳动等优点日益受到人们的关注，其代表有摄影照相法、莫尔图法、着装变形测试法和3D人体扫描系统。3D人体扫描仪由于操作简单，效率高，广泛用于CAD系统进行服装生产，代表有美国[TC]2（美国纺织技术中心）的三维人体扫描系统，其过程（图1）主要分为三个阶段：首先被测试者被光源照亮并由白光或激光扫描；然后CCD相机探测到被测试者反射光，通过反射光的表现形式可以计算与CCD相机之间的距离；最后，使用软件将距离转化为3D的表现形式[5]。三维人体建模对三维人体测量数据进行均值处理，得出中间体的3D数据点，模拟出中间体的3D形态，实现三维虚拟人台的建立。一般来说，三维人体建模方法主要包括线框建模、实体建模、曲面建模，以及基于物理的建模四种方法[6]。1）线框建模。线框建模用于早期CAD中形体模型的构架，该技术利用人体表面的点、直线、圆弧、样条曲线等来勾画出人体轮廓，过程简单、修改快捷，但无法进行剖面操作，也不能确定地表示出三维人体模型，真实感较差。2）实体建模。实体建模利用体素等基本图元，通过简单形体（长方体、圆柱体、球体等）的交、并、差等几何运算来表示复杂的几何形体。该技术可以无二义性地描述三维人体、储存物体几何和拓扑信息支持人体形体的消隐与显示。实体建模对人体的表达方式有体素分解法、构造实体几何法、多面体建模法3）曲面建模。曲面建模利用点、边和表面三种几何元素及它们之间的拓扑关系（比线框建模更完备）将复杂三维人体分成不同的曲面，最后通过曲面的拼接得出三维人体模型。该方法具有消隐线消除及人体模型的真实显示的特点，但无具体的实体部分，所以不能直接表示模型的内部构造。曲面建模主要包括三角曲面法、B样条曲面法、散乱点插值法4）基于物理的建模。基于物理的建模技术将人体的物理因素及其外部环境因素和时间因素综合运用到建模过程，可以进行网格划分和受力分析，得到比较真实的动态模拟校果，但微分方程的求解比较复杂。除了上述的线框、实体、曲面建模及基于物理的建模四大方法外，还有综合OpenGL和3DS技术的方法[7]，Matlab方法等[7]，它们都各有优缺点，适用于一定的领域。3.1.2面料仿真技术几何法早期的织物模拟方法主要是建立几何模型，代表有JWeil模型、TAgui模型[10]、BKHinds模型[11]、HNNg模型[12]。几何法模拟织物变形集中于织物外观（悬垂性与褶皱性）的仿真，主要关注织物变形之后的形状，没有涉