-基于三维视频的民族特色舞蹈动作捕捉系统

中国非物质文化遗产的三维数据库--基于三维视频的民族特色舞蹈动作捕捉系统信息工程学院傅思遥简介：通过三维视频采集系统，力求为民族传统艺术文化产业提供一个无边际的服务空间和资源共享网络。在数据库可以采集到中国非物质文化遗产名录中所记载的传统艺术肢体动作甚至濒临灭绝的各类动作技法，还有其他传统、现代的带有民族特色的体育竞技、打斗动作、舞蹈艺术等各类动作数据，在相关动漫影视、电子游戏、数字出版、教育培训、非物质文化遗产保护等领域均能发挥重要作用。最大限度的降低三维动画的技术壁垒和制作成本。引言所谓“非物质文化遗产三维数据库”，是指采用数字采集、数字存储、数字处理、数字展示、数字传播等数字化技术，将文化遗产转换、再现、复原成可共享、可再生的数字形态，并以新的视角加以解读、保存和传播。在此方面相关研究早已成型。案例一，中国古建筑的三维复原因为古建筑文化遗产不可再生，而修缮保护方法是多样的，选择最佳的古建筑修缮保护方案显得尤为重要。古建筑修缮保护动画片是对修缮保护历史文化遗产建筑有极大的促进作用。数虎图像在古迹复原文物复原方面，是采用非接触测量技术、三维成像技术，经过实地摄影、数据采集、三维动画合成，虚拟文物建筑影像的三维模型，利用3D虚拟现实技术将修缮保护工程方案制作成一套全面、具体、准确、生动的修缮过程互动演示片，对历史文化古建筑的保护、更新、延续具有重要的现实意义。数虎图像的虚拟现实技术结合网络技术，可以将文物的展示、保护提高到一个崭新的阶段，可以推动文博行业更快地进入信息时代，实现文物展示和保护的现代化。重要性：1，文物保护：因为古文物不可再生，进行仿真可以更好的保存。2，传承文明：数虎图像对古建筑工艺和古制作流程可以进行完美的可视化数字呈现，让这些即将消失的技艺得以传承。3，教育意义：对古遗址进行虚拟的仿真复原，让后代可以更好的认识古代的文明对后辈进行爱国主义教育和历史文明展示。4，推广宣传：对古建筑、古遗址进行模拟仿真，可以提取更多的历史文化价值，是古城和古景区宣传推广的绝好材料。本项目试图从科学的角度定义和解决目前国内极具争议的跨学科敏感话题。例如“何谓文化遗产数字化”、“数字艺术”、“数字化的局限性”等。介绍了数字复原、数字勘探、数字考古、虚拟音乐、虚拟剧场、数字艺术、交互式艺术等新领域，加深科研人员对目前互联网上大量涌现的数字博物馆和虚拟遗产展示背景的了解。如当今各种数字化方法和热点技术，包括三维/断层数字扫描、多波段/光谱数字摄影、三维数字重建、数字动画、虚拟现实、多媒体数据库、数字内容检索、数字版权、数字出版、数字内容管理与发布等，并在国内首次提出了一套完整的文化遗产数字化技术解决方案。即：基于三维视频的民族特色舞蹈动作捕捉系统。目的：实现《基于民族的民间艺术舞蹈影像、三维视频动画数据库》这一非物质文化遗产保护领域的重要创新，拟围绕《国家首批非物质文化遗产名录》，依托民族大学信息工程学院的三维视频信息处理实验室的动作捕捉，三维扫描等技术，对中国的民族民间舞蹈、戏曲等非物质文化遗产进行采集工作，并按照类、项、套等完成非物质文化遗产的单体动作的采集。特色：通过计算机，辅导舞蹈家进行舞蹈训练和创作，舞蹈室已经经过提炼、组织和艺术加工的人体动作来表达人们思想感情的，其基本要素是动作姿态，节奏和表情。但人体动作是在一种复杂的三维立体空间运动，难以用象乐谱那样简单，直观，明白易懂的舞谱来表达，因此舞蹈一直被认为是一种只可意会不可言传的艺术，计算机辅助的舞蹈技术是指将舞蹈动作通过三维视觉传感器和动作行为传感器捕捉、并抽象成为一种模式信息，经过分析和处理，研究。最终创作出可供指导和辅助训练的模拟舞蹈动作的适当舞谱形式。具体技术如在舞蹈家身体运动关节上安置适当的测角传感器以及在周围布置若干台视觉传感器，可将人体舞蹈动作的模式信息经过模数转换实时输入计算机。并通过软件在屏幕上显示出舞姿动作变化情形。供舞蹈家边审看边修改舞姿。并可将舞蹈动作信息记录、存储。以便对舞蹈家的技术技巧和经验体会进行科学的分析研究，总结经验和规律。评定艺术水平。并用以指导训练和提高创作艺术效果，更重要的是保存某些独具特色的民族舞蹈文化的精华，用以文化传承。国内外研究现状：舞蹈影像的林林总总从欧美40年代发展以来，跟随着录像艺术的脚步，实验电影运动家的作品、后现代编舞家的趣味和实践以及多媒体高科技技术的发展，从一开始就不是什么纪录性的艺术行为，而是完全创造和互动的双向对话。美国的默斯·堪宁汉、比尔·T·琼斯，英国DV8身体剧场、乔纳森·贝劳斯(原为英国皇家的舞者)，加拿大人类脚步啦啦啦、法国的安德林·普雷约卡伊、作为电影人的鲁道夫·努日耶夫、德国编舞家皮娜·鲍希、Sasha.waltz、瑞典的马茨·埃克、比利时的罗刹舞团等等，都曾是，仍是当今较为活跃的舞蹈录影编舞家和观念的先导。舞蹈教育软件舞蹈教育软件与舞蹈游戏、舞蹈动画同时并存的还有舞蹈软件的开发和利用。在动画技术、三维制作软件的大量出现，舞蹈软件的更新也是日新月异，其中以位于加拿大的“信条互动公司”开发出的软件最为瞩目，出现了“舞蹈形式”、“生命模式”教学和制作软件，“动作采集”的硬件系统等等。人们对于舞蹈本体——创作的认识也有了更为全面和便捷的方式。特别是在舞蹈教学上，从早期的使用电脑自动和人工操作结合的机械化设备，来提高和训练舞者的身体以及舞蹈技术技巧，包括对软度、开度以及力量，同时包括对于旋转、跳跃等相应训练机械。一直到今天“舞蹈形式”舞蹈软件的出现，使舞者在身体训练之外，去认识舞蹈的方面，更为全面和立体。“舞蹈形式”的软件其实是某种三维、可操控的舞蹈动作分析教学软件，其中又包括了像“芭蕾动作”“现代舞动作”等等的舞蹈软件类别。“芭蕾动作”软件通过三维人物采集、集中了俄罗斯芭蕾学校、英国芭蕾学校、意大利芭蕾学校的芭蕾动作语汇、提供了不同的动作风格、以及最基本的芭蕾技术，甚至包括了芭蕾的经典剧目，如在MIDI音乐伴奏下的睡美人、吉赛尔、天鹅湖等等。舞蹈学生、舞蹈教师和任何学习者都可以通过软件，运用软件中的镜头推拉、旋转、平移、俯仰，可以深入的认识动作、学习舞蹈，并且进行动作分解重放，不同舞蹈风格的比较。“现代舞动作”舞蹈软件更是集中了当代的，新型的现代舞技巧动作风格。在互动的动作学习同时，还提供了舞蹈历史学习、可抒写的舞蹈心得和舞蹈评论，以及简单的舞蹈编排的软件功能。相关的舞蹈软件不仅仅适用于舞蹈动作学习和编排当中，更是深入到了舞蹈解剖学的教学当中，使用三维软件观察人体结构、关节、神经、肌肉、以及在舞蹈运动当中身体结构和器官的形态。相关的舞蹈软件不仅仅适用于舞蹈动作学习和编排当中，更是深入到了舞蹈解剖学的教学当中，使用三维软件观察人体结构、关节、神经、肌肉、以及在舞蹈运动当中身体结构和器官的形态。相关的舞蹈教育软件不仅仅适用于舞蹈动作学习和编排，更是深入到了舞蹈解剖学的教学，使用三维软件观察人体结构、关节、神经、肌肉、以及在舞蹈运动当中身体结构和器官的形态，一切都通过鼠标的控制，逐层的分析和观察，每一部分都有详实的注解。学生们可以直观形象的了解身体，来巩固对于舞蹈解剖学与区别知识的认识和记忆，相对与原来的模型教学，三维动画的平台和互动的操作界面是一个巨大的飞跃，不仅对于舞蹈解剖学，对于舞蹈医疗同样是最为形象的教学方式。其中比较有名的三维软件“麦克明3D解剖”，“互动实用解剖”可以使用3D的分层/旋转控制，文字和真人视频的注释，从骨骼、肌肉、神经，任意逐层添加、剥离，互动、全面的学习解剖学。舞蹈教育软件的另外一个代表作品，是利用MacromediaflashMX软件制作的交互式的教学光盘。BEDFORD互动研究公司是这方面的业内先驱之一，已经致力于数字化舞蹈教育15年之久。像杰奎琳·史密斯·奥塔德教授和BEDFORD互动研究公司研制的玛莎格莱姆技术CD-ROM教学和独舞动机编舞训练CD-ROM，都是使用了MacromediaflashMX制作技术，利用Macromediaflash播放器，通过各种角度的观察来学习舞蹈。和“舞蹈形式”不同，CD-ROM里的内容不是三维人物的操作，而是真人演示，播放器里呈现交互式的界面，比如“独舞编舞训练”软件当中，界面里呈现影像控制(快慢速度)，节奏控制，模式控制(观赏和教学)，每个训练附有讲解，空间时间的变化，更有拉班舞谱的图解。学习者通过不断点击，运用多种功能的控制键，了解编舞的技法。按照杰奎琳教授的话，舞者用鼠标在学习和跳舞。舞蹈创作软件“生命模式”则是更为复杂的舞蹈人物制作、动作排列组合、舞蹈自由编排的制作软件。相对在“动作采集”系统下的软件操作，“动作采集”是通过传感技术，在舞者身上的关节点上，粘贴具有弹性的传感器，在采集摄影棚中，通过多台摄像机的全息摄影，把采集到的人体动作传输到电脑中，然后通过多种三维软件和“生命模式”软件进行创作。在“生命模式”软件中，有着视频非线编辑的相似界面，编辑者可把动作采集的素材放在时间线上，自由拖拽，复制粘贴动作，甚至可以重新组合不同的身体部位，编舞家就可以通过查看动作素材，尝试出舞蹈作品无数的可能性，并且通过内置的镜头语言设置场景。三维艺术家和实验舞蹈艺术家，更可以在动作采集素材的基础上，创作出许多以人体动作为主体的异类形象。加州大学欧文学院的舞蹈教授丽莎·玛丽·纳格尔是在“生命模式”实践和理论中的重要人物，其中一个项目就是她运用“动作采集”系统和“生命模式”对于社区内的普通人进行了日常动作的采集和重新编排。最后的成品为一个虚拟的城市，虚拟的舞者和市民在游走生活，影像从纽约的高楼上投射到地面，行人们俯视者自己的影像，熟悉而又陌生，一个一个城市中的城市，一个从动作采集而来的令人反思的自己。“生命模式”对于重新认识动作，去认识和把玩身体语言、身体结构都有着重要的意义，相同的舞蹈动作可以以完全不同的生命形态出现，完全不同的编排规律出现，我们在更大的程度上要去超越自己的想象，赋予这种想象以独特的舞蹈生命形态。国内尚未开展任何关于此方面的研究。潜在应用：1，虚拟教学虚拟教学就是利用虚拟技术模拟难以讲解的教学场景，并使之可视化和可参与性，让学员在可视化和参与性下能更好的学习到相关技能。数虎图像的虚拟现实技术可以使枯燥表格、数字和程序，手术，安装流程等变得生动而有趣，另一方面，虚拟实验能将若干知识点串联起来，起到汇总和系统化的作用。提供教学质量，降低教学成本。而这一点对于非传统的艺术类文化的授课和知识传承是非常重要的。优点如下：1、教学内容视觉化2、学习中的交互性好3、沉浸感真实感强采集场景以及技术手段如下图所示关键技术：光学运动捕捉光学式运动捕捉通过对目标上特定光点的监视和跟踪来完成运动捕捉的任务。目前常见的光学式运动捕捉大多基于计算机视觉原理。从理论上说，对于空间中的一个点，只要它能同时为两部相机所见，则根据同一时刻两部相机所拍摄的图像和相机参数，可以确定这一时刻该点在空间中的位置。当相机以足够高的速率连续拍摄时，从图像序列中就可以得到该点的运动轨迹。MotionAnalysis公司是该领域的佼佼者。典型的光学式运动捕捉系统通常使用6～8个相机环绕表演场地排列，这些相机的视野重叠区域就是表演者的动作范围。为了便于处理，通常要求表演者穿上单色的服装，在身体的关键部位，如关节、髋部、肘、腕等位置贴上一些特制的标志或发光点，称为Marker，视觉系统将识别和处理这些标志，如图4所示。系统定标后，相机连续拍摄表演者的动作，并将图像序列保存下来，然后再进行分析和处理，识别其中的标志点，并计算其在每一瞬间的空间位置，进而得到其运动轨迹。为了得到准确的运动轨迹，相机应有较高的拍摄速率，一般要达到每秒60帧以上。如果在表演者的脸部表情关键点贴上Marker，则可以实现表情捕捉，如图5所示。目前大部分表情捕捉都采用光学式。有些光学运动捕捉系统不依靠Marker作为识别标志，例如根据目标的侧影来提取其运动信息，或者利用有网格的背景简化处理过程等。目前研究人员正在研究不依靠Marker，而应用图像识别、分析技术，由视觉系统直接识别表演者身体关键部