动作捕捉课堂笔记

《动作捕捉技术与应用》笔记笔记来源石壮壮蒋兰手打石壮壮第一讲动作捕捉概述1、动作捕捉是一门综合计算机图形学、电子、机械、光学、计算机视觉/软件等技术捕捉表演者的肢体、表情，产生三维数据，对这些数据进行分析、处理的过程。（技术方法）（sample、record）→3D2、获取动作信息的方法：模型模拟、艺术造型、动作捕捉。3、捕捉动作的特点：1）真实性；2）速度快；3）可控性；4）经济性；5）可编辑性。4、动作捕捉的产生和发展5、动作捕捉系统的类型1）机械式（传感器）优点：实时、成本低、精度高、易标定、无电磁干扰、捕捉范围大、易携带缺点：捕捉动作有限、传感器配置不灵活、易损坏、采样速率低、无全局位移2）电磁式发射源、接受传感器、数据处理显示优点：六维信息（位置x、y、z+旋转）、实时性好、速度快、标定简单、相对便宜、可多人同时捕捉缺点：电磁干扰、范围有限、比光学式采样速率低、容易出现噪音、配置不灵活3）声学式发送器、接受器、处理单元优点：技术相对简单4）光学式：通过对目标特定光点的监视和跟踪来完成运动捕捉的任务。两台摄像机同时拍到，可确定物体的空间位置。高速拍摄→运动轨迹主/被动式优点：数据准确、捕捉空间大、速度快、标定简单、表演者受限小、可多人同时捕捉、标识球数目可变缺点：昂贵、数据需要处理、数据可能丢失、现场光需要控制、实时性局限位置→传感→光学→电信号6.捕捉的动作类型肢体动作、局部肢体动作、面部表情、皮肤动作、动物与玩偶第二讲捕捉系统的构成及技术分析（以光学系统为例）1、动作捕捉系统的构成（1）传感器固定在运动物体上，把位置信息转化成捕捉装置可接收的信息。（2）信号捕捉设施位置信号的捕捉：对光学动作捕捉系统，高分辨率红外摄像机（3）数据传输设备将大量的运动数据从信号捕捉设备快速准确地传输到计算机系统进行处理。实时、准确、多通道传输、同步（4）数据处理部分（使用计算机软件）根据应用类型和应用目的，处理成所需要的形式。通常用计算机软件来实现。&*一种典型的光学动作捕捉系统的构成东方新锐DVMC-8820三维捕捉系统1）DVMC-8820传感器轻质和表面高反射材料制成2）DVMC-8820信号捕捉设施专用近红外高感度摄像机，采用高感度近红外（C1）传感器转换成电信号。3）DVMC-8820数据传输设备多路视频控制器（1）高性能工作站（2）标识点特征学习软件用于学习三维运动捕捉系统所采用的高反射标识球的特征是适应捕捉空间环境变化、实现高精度标识点识别的辅助工具软件。具有实现图像显示、灰度调节、标识点形状识别、中心演算等功能。生成的参数文件支持三维运动捕捉系统的三维空间标定。运动捕捉中的实时标识点精度识别。从视频信号中通过特征学习，找到特征点。（3）高精度三维空间标定软件通过三维空间位置标定（静态标定）和空间范围标定（动态标定）实现三维空间的精确标定。（4）高精度三维动作数据采集软件核心软件采集、自动数据匹配等处理→得到三维数据（DRS格式）（5）三维运动数据编辑/通用数据格式转换软件对DRS格式的三维动作数据进行处理和格式转换。*VICON、魔神、DVMC→这是其他典型的光学运动捕捉系统*短焦视野大、长焦视野小*区别灰度、光斑大小（去噪）*多目成像→3D→格式文件*转换系数（22参数）/系统定标（6个或者以上靶点）2、视频的采集与处理1）视频采集系统：（1）视频采集系统结构及其文件性能参数（2）采集的数据量-通道数目与采集速度（3）同步控制视频采集系统的基本构成光学镜头、图像传感器、A/D转换器、逻辑控制器、信号处理器、缓存与输出接口2）内容处理：（1）数据格式（包含格式说明+数据内容两部分）；（2）内容（数据）读取；（3）数据分析（灰度、面积、不规则）确定标志球；注意球的位置、去噪*标识点特征学习软件。3、标定与三维重建（1）基本原理（两目成像）利用CCD摄像机（两个摄像机）的透视规则两个二维数据→三维数据（2）标定的概念利用6个已知靶点→24个方程→22个未知数，这叫做系统定标。用以求出双摄像机测量系统的变换矩阵A、B。4、识别与追踪（1）识别目的：将标识球三维空间重建坐标分组、根据使用目的加以编号（将光斑映射到骨骼系统，每一个光斑对应相应的骨骼）方法：将表演者贴上反光点的静态姿势撷取下来，以人工方式在计算机中标定出每一个反光点的编号。将标识好的资料储存下来，成为参考样板。往后计算机可利用这个样板完成标识工作。（2）追踪目的：获得正确的以标识点为簇的三维空间轨迹信息，是光学式系统最为重要的一项技术。当一个演员身贴26/28或者更多反光点在摄像机前运动。在时间轴上看空间位置变化。计算机分析摄影机位置、反光点数量，经过复杂的运算，得到标识点的移动信息。追踪方法→追踪速度：干扰*Kalman滤波S（k+1)=F`S（k)+G`n(k)如何补空是技术难点/缺陷。第三讲、捕捉数据的编辑和处理（数据处理、存储、管理）1、基础知识（1）数据类型位移数据：光学、电磁、表情、玩偶、实时旋转数据：机械、电磁、骨骼膜体光学式旋转数据的产生：光学式动作捕捉只获得位移数据（六个自由度、六维信息）通过位移数据和骨骼结构计算得到（2）坐标系位移数据：三维坐标系：笛卡尔坐标系/球坐标系/柱坐标系三维笛卡尔坐标系左/右手系物体坐标和世界坐标（3）变换变换类型：scalerotation变换顺序：不要随意改变变换顺序（4）欧拉角旋转数据欧拉角：通过绕三个正交坐标轴的旋转来表示。偏航俯仰横滚欧拉角存在二义性，即一个朝向可以用多组欧拉角表示。缺点：万向节死锁（有两个坐标轴重叠，不可以再旋转）这是致命缺陷。所以要求不能围绕同一根轴连续旋转两次。（5）四元数在表示旋转和朝向方面，优于EULER角。具有表示紧凑、朝向插值稳定的优点。（四元数与旋转的关系）高维看低维四元数的结构：实部+虚部q=(实部s,虚部v)2、数据处理为何进行数据处理？局部丢失、噪声、时空失真数据处理的方法：插值、去噪、滤波平滑、刚体补间（1）插值（解决数据丢失的问题）1）线性插值用直线（匀速直线）方程代表其轨迹。认为轨迹是直线，容易实现。缺点：不真实；大部分物体非直线运动；大部分运动随时间非线性；位置连续但是速度不连续）认为是匀速运动则导致时空失真。2）样条插值常见的样条曲线：hermite、bezier、catmull-rom、b-splines、NURBS.（2）去噪先去噪，后插值（3）滤波平滑：空间幅值、时间频域、高/低带通（4）刚体补间：解决数据丢失或者遮挡的问题通过刚体上的相对位置信息补充丢失的信息。例如，通过3个球位置关系，得出第4个球的位置信息。3、数据存储（各种格式文件结构共同点：分块、分层；存储内容：静态骨骼和动作数据）（1）C3D数据文件格式用于动画、生物力学、步态分析该文件格式设计考虑了：1）可存储直接获取的模拟数据以及由此处理得到的三维数据。2）能够存储材料方面，如标识球位置和力传感器的信息、记录过程信息，如采样频率和日期以及动作类型、捕捉对象信息，如姓名和年龄以及身体信息。3）二进制文件。4）可添加新数据。结构：1）头部分文件第一块很快地了解文件内容第一个字指向参数部分包含轨迹数、模拟通道数目、采样速率等信息2）参数部分：文件的第二部分长度可变，包含文件内容必要信息，如名字、地址、维数、数据类型；参数分组，一参数一组。3）数据部分：包含3D、2D数据（2）ASF（骨骼文件）/AMC（运动捕捉）数据文件格式每个关节有自己的变换顺序，其他文件格式中，变换顺序固定。文件包含全局和局部旋转数据。ASF数据文件格式：骨骼信息初始姿态；AMC使用分SECTION；冒号分割；关键词说明子segment与父segment间不可有偏移，且只有一个根节点。（3）BVH数据文件格式早期为BVA（只有动作数据，无骨骼结构数据，转换顺序固定）→BVH（有动作数据，有骨骼结构信息，而且允许骨骼不同部位具有不同的转换顺序）规范简洁、应用广泛、灵活易编辑、初始姿态定义缺陷、某些地方不能应用BVH数据文件格式内容：骨骼层次（从关键词HIERARCHY起）+动作数据。（4）TRC数据文件格式动作分析的一种文件格式可以存储身体动作数据和面部表情数据（5）CSM数据文件格式为characterstudio用以载入marker数据。可以保存任何类型的marker数据，但是在应用中需注意与标识球配置一致。数据按照给定的关节顺序，非显性。（6）FBX数据文件格式FILMBOX→MOTIONBULILDER内容：ASCII或者二进制文件文件被分割为section，每个section都包含关键词。第四讲基于动作捕捉的作品制作过程1、前期准备包括拟定捕捉计划、动作捕捉准备、制定捕捉流程。重要性：节约时间和成本、避免数据处理等麻烦、获得好的作品2、作品方案（1）故事脚本：叙述故事；对每一场景应包含标题、动作、对话、人物名称、过渡、镜头以动作为重点，如果动作比较复杂、时间比较长，可以分段，如果一整段捕捉的话反而会降低效率。（2）角色设计特性：外型、各部位的比例尺寸、运动特性、有无配件、按设计定义动作捕捉方式、骨架结构（3）故事板脚本的2D可见表达包含人物、时间、风格、摄像、编辑、声音。容易修改、赢得观众的心（4）分镜表/拍摄程序表分镜表是动作列表多个镜头多个分镜；一个摄像头一个分镜（5）动态分镜基于时序、视觉、声音元素。了解时序效果，这对故事情节和节约资金是必要的。3、动作捕捉准备（1）演员合适的演员面部表情捕捉、注意角色面部、发声与表演者之间的适合程度、注意与表演者的年龄吻合。（2）道具作用：标识球的放置位置和数目、道具和演员/道具之间的关系属性：外部媒体（3）服装和标识球在演员到之前要提前准备好。表演服装必须适合演员及其表演动作。注意标识球的大小和固定方式（4）标识球簇了解动作捕捉系统的局限性了解待捕捉的动作的特点掌握一定的解剖和结构知识标识球集合应保证获得所需的有用数据（5）拍摄程序表/分镜表应该包括一系列待捕捉的动作，它们包含作品的关键信息拍摄程序表为项目的所有成员，包括演员和客户服务拍摄程序表帮助你了解在什么时候、那个演员、什么地方进行动作捕捉在发布拍摄程序表之前应多次检查（6）捕捉日程表应描述每个动作捕捉应该如何实施、需要什么条件应描述动作捕捉什么时候正式开始、什么时候结束、什么时候休息尽量遵循捕捉日程表4、动作捕捉与作品的制作过程（1）进行硬件构成脚架构成→移动→灵活性，但每次都要矫正摄像头固定在墙角（2）设定捕捉空间不拼凑：追踪简单、无边界、质量好拼凑：空间大捕捉空间应该光线较暗，墙面与地面反光比弱，应提供一个充足、连续的三维捕捉空间，确立最佳捕捉空间。（3）参数校准通过校验，系统可以知道每个摄像机的位置以及他们彼此之间的相对位置以及它们空间坐标的原点调节每个摄像机的灵敏度、以确保跟踪点在每个摄像机的相对范围内可以清楚地显示出来。调整软件参数的门限动态校验：要求工作人员在校验区内挥动校验棒静态校验：确定捕捉空间原点以及x、y、z轴注意：1）操作人员尽可能让更多的摄像机“看到”，尽可能挥到最大空间。2）不要将挥动棒直接指向摄像机3）尽量避免自然光4）排除干扰点，清除其他跟踪点，同时检查每个摄像机的视野内是否有其他摄像机。（4）跟踪点安装视强度和复杂度而定一般会在演员身上安装28~32个跟踪点，身体左右对称放置。每套运动捕捉系统都会提供标准文件，列出身体上需要放置跟踪点的部位名称表，以及各个部位之间的连接关系和相对运动关系。跟踪点的定位需要考虑到人体的整个骨骼结构，以及身体各个部分之间的关系。（5）静态捕捉目的：1、让摄像机看到演员身上所有的标识点，各点之间的关系要相对稳定，手工标识跟踪点。2、生成可进行跟踪点辨识的参考样板，为以后该系列运动捕捉生成的三维数据提供自动标识功能，产生需要的骨架运动效果3、为其他运动分析程序提供可参考的变量和参数等。演员确定一个固定的姿势，要可被探测到所有标识点并进行标识标识点。（6）动态捕捉正是动作捕捉开始；依据捕捉计划进行；系统生成二维数据文件；启动重建功能，生成三维