动作捕捉系统

动作捕捉系统动作捕捉是实时地准确测量、记录物体在真实三维空间中的运动轨迹或姿态，并在虚拟三维空间中重建运动物体每一时刻运动状态的高新技术。动作捕捉最典型的应用是对人物的动作捕捉，可以将人物肢体动作或面部表情动态进行三维数字化解算，得到三维动作数据，用来在CG制作等领域中逼真地模仿、重现真人的各种复杂动作和表情，从本质上提升CG动作效果；更重要的是让CG动作制作效率提高数百倍，大大节省了人力成本和制作周期，制作者可以将更多精力投入在CG创意和细节刻画等方面，大幅提升产品的整体制作水平。动作捕捉系统是指用来实现动作捕捉的专业技术设备。系统组成不同的动作捕捉系统依照的原理不同，系统组成也不尽相同。总体来讲，动作捕捉系统通常由硬件和软件两大部分构成。硬件一般包含信号发射与接收传感器、信号传输设备以及数据处理设备等；软件一般包含系统设置、空间定位定标、运动捕捉以及数据处理等功能模块。信号发射传感器通常位于运动物体的关键部位，例如人体的关节处，持续发出的信号由定位传感器接收后，通过传输设备进入数据处理工作站，在软件中进行运动解算得到连贯的三维运动数据，包括运动目标的三维空间坐标、人体关节的6自由度运动参数等，并生成三维骨骼动作数据，可用于驱动骨骼动画，这就是动作捕捉系统普遍的工作流程。系统分类及简介动作捕捉系统种类较多，一般地按照技术原理可分为：机械式、声学式、电磁式、惯性传感器式、光学式等五大类[1]，其中光学式根据目标特征类型不同又可分为标记点式光学和无标记点式光学两类。近期市场上出现所谓的热能式动作捕捉系统，本质上属于无标记点式光学动作捕捉范畴，只是光学成像传感器主要工作在近红外或红外波段。机械式动作捕捉系统依靠机械装置来跟踪和测量运动轨迹。典型的系统由多个关节和刚性连杆组成，在可转动的关节中装有角度传感器，可以测得关节转动角度的变化情况。装置运动时，根据角度传感器所测得的角度变化和连杆的长度，可以得出杆件末端点在空间中的位置和运动轨迹。X-1st是这类产品的代表，其优点是成本低，精度高，采样频率高，但最大的缺点是动作表演不方便，连杆式结构和传感器线缆对表演者动作约束和限制很大，特别是连贯的运动受到阻碍，难以实现真实的动态还原。机械式系统声学式系统声学式动作捕捉系统一般由发送装置、接收系统和处理系统组成。发送装置一般是指超声波发生器，接收系统一般由三个以上的超声探头阵列组成。通过测量声波从一个发送装置到传感器的时间或者相位差，确定到接受传感器的距离，由三个呈三角排列的接收传感器得到的距离信息解算出超声发生器到接收器的位置和方向。这类产品的典型生产厂家有Logitech、SAC等，其最大优点是成本低，但缺点是精度较差，实时性不高，受噪声和多次反射等因素影响较大。电磁式动作捕捉系统一般由发射源、接收传感器和数据处理单元组成。发射源在空间产生按一定时空规律分布的电磁场；接收传感器安置在表演者身体的关键位置，随着表演者的动作在电磁场中运动,接收传感器将接收到的信号通过电缆或无线方式传送给处理单元，根据这些信号可以解算出每个传感器的空间位置和方向。Polhemus和Ascension公司是这类产品生产商的代表，其最大特点是使用简单、鲁棒性和实时性好，缺点是对金属物体敏感，金属物引起的电磁场畸变对精度影响大，采样率较低，不利于快速动作的捕捉，线缆式的传感器连接同样对动作表演形成束缚和障碍，不利于复杂动作的表演。惯性传感器式动作捕捉系统由姿态传感器、信号接收器和数据处理系统组成。姿态传感器固定于人体各主要肢体部位，通过蓝牙等无线传输方式将姿态信号传送至数据处理系统，进行运动解算。其中姿态传感器集成了惯性传感器、重力传感器、加速度计、磁感应计、微陀螺仪等元素，得到各部分肢体的姿态信息，再结合骨骼的长度信息和骨骼层级连接关系，计算出关节点的空间位置信息。代表性的产品有Xsens、3DSuit等，这类产品主要的优点是便携性强，操作简单，表演空间几乎不受限制，便于进行户外使用，但由于技术原理的局限，缺点也比较明显，一方面传感器本身不能进行空间绝对定位，通过各部分肢体姿态信息进行积分运算得到的空间位置信息造成不同程度的积分漂移，空间定位不准确；另一方面原理本身基于单脚支撑和地面约束假设，系统无法进行双脚离地的运动定位解算；此外，传感器的自身重量以及线缆连接也会对动作表演形成一定的约束，并且设备成本随捕捉对象数量的增加成倍增长，有些传感器还会受周围环境铁磁体影响精度。光学式动作捕捉系统基于计算机视觉原理[2][3]，由多个高速相机从不同角度对目标特征点的监视和跟踪来完成运动捕捉的任务。理论上对于空间中的任意一个点，只要它能同时为两部相机所见，就可以确定这一时刻该点在空间中的位置。当相机以足够高的速率连续拍摄时，从图像序列中就可以得到该点的运动轨迹。这类系统采集传感器通常都是光学相机，不同的是目标传感器类型不一，一种是在物体上不额外添加标记，基于二维图像特征或三维形状特征提取的关节信息作为探测目标，这类系统可统称为无标记点式光学动作捕捉系统，另电磁式系统惯性式系统一种是在物体上粘贴标记点作为目标传感器，这类系统称为标记点式光学动作捕捉。无标记点式光学动作捕捉[4]原理大致有三种：第一种是基于普通视频图像的运动捕捉，通过二维图像人形检测提取关节点在二维图像中的坐标，再根据多相机视觉三维测量计算关节的三维空间坐标。由于普通图像信息冗杂，这种计算通常鲁棒性较差，速度很慢，实时性不好，且关节缺乏定量信息参照，计算误差较大，这类技术目前多处于实验室研究阶段；第二种是基于主动热源照射分离前后景信息的红外相机图像的运动捕捉，即所谓的热能式动作捕捉，原理与第一种类似，只是经过热光源照射后，图像前景和背景分离使得人形检测速度大幅提升，提升了三维重建的鲁棒性和计算速率，但热源从固定方向照射，导致动作捕捉时人体运动方向受限，难以进行360度全方位的动作捕捉，例如转身、俯仰等动作并不适用，且同样无法突破因缺乏明确的关节参照信息导致计算误差大的技术壁垒；第三种是三维深度信息的运动捕捉，系统基于结构光编码投射实时获取视场内物体的三维深度信息，根据三维形貌进行人形检测，提取关节运动轨迹，这类技术的代表产品是微软公司的kinect传感器[5]，其动作识别鲁棒性较好，采样速率高，价格非常低廉，有不少爱好者尝试使用kinect进行动作捕捉，效果并不尽如人意，这是因为kinect的应用定位是一款动作识别传感器，而不是精确捕捉，同样存在关节位置计算误差大，层级骨骼运动累积变形等问题。总体来讲，无标记点式动作捕捉普遍存在的问题是动作捕捉精度低，并且由于原理固有的局限导致运动自由度解算缺失（如骨骼的自旋信息等）造成动作变形等问题。标记点式光学动作捕捉系统一般由光学标识点（Markers）、动作捕捉相机、信号传输设备以及数据处理工作站组成，人们常称的光学式动作捕捉系统通常是指这类标记点式动作捕捉系统。在运动物体关键部位（如人体的关节处等）粘贴Marker点，多个动作捕捉相机从不同角度实时探测Marker点，数据实时传输至数据处理工作站，根据三角测量原理精确计算Marker点的空间坐标，再从生物运动学原理出发解算出骨骼的6自由度运动。这里根据标记点发光技术不同还分为主动式和被动式光学动作捕捉系统：主动式光学动作捕捉系统的Marker点由LED组成，LED粘贴于人体各个主要关节部位，LED之间通过线缆连接，由绑在人体表面的电源装置供电，市场上最具代表性的产品是美国的PhaseSpace，其主要优点是采用高亮LED作为光学标识，可在一定程度上进行室外动作捕捉，LED受脉冲信号控制明暗，以此对LED进行时域编码识别，识别鲁棒性好，有较高的跟踪准确率；缺点是：第一，时序编码的LED识别原理本质上是依靠相机在不同时刻对不同的Marker采集成像来进行ID标识,相当于在同一个动作帧中分别针对每个Marker进行逐次曝光，破坏了动作捕捉的Markers检测的无标记点式光学系统主动式光学系统同步性，导致运动变形，不利于快速动作的捕捉；第二，由于相机帧率很大部分用于单帧内对不同Marker点的识别，因此有效动作帧采样率较低，这点上也不利于快速运动的捕捉和数据分析；第三，LEDMarker可视角度小(发射角120度左右)，一个捕捉镜头内部通常集成了两个相机近距离采集，这种窄基线结构导致视觉三维测量精度较低，并且在运动过程中由于动作遮挡等问题仍然不可避免地导致频繁的数据缺失，如果为尽量避免遮挡造成的数据缺失，需要成倍增加动作捕捉镜头的数量弥补遮挡盲区问题，设备成本也随之成倍增加；第四，由于时序编码的原理局限，系统可支持的Marker总数有严格限制，在保证足够的采样率前提下，同时采集人数一般不宜超过2人，且Marker点数量越多，单帧逐点曝光时间越长，运动变形越严重。被动式光学动作捕捉系统，也称反射式光学动作捕捉系统，其Marker点通常是一种高亮回归式反光球，粘贴于人体各主要关节部位，由动作捕捉镜头上发出的LED照射光经反光球反射至动捕相机，进行Marker的检测和空间定位。这类产品市场上最典型的品牌是美国MotionAnalysis、英国的Vicon以及中国的天远，其主要优点是技术成熟，精度高、采样率高、动作捕捉准确，表演和使用灵活快捷，Marker点可以很低成本地随意增加和布置，适用范围很广；主要缺点是：第一，对捕捉视场内的阳光敏感，阳光在地面形成的光斑可能被误识别为Marker点，造成目标干扰，因此系统一般需要在室内环境下正常工作；第二，Marker点识别容易出错，由于反光式Marker点没有唯一对应的ID信息，在运动过程中出现遮挡等问题容易造成目标跟踪出错，导致Marker点ID混淆，这种情况通常导致运动捕捉现场实时动画演示效果不好，动作容易错位，并且需要在后处理过程中通过人工干预进行数据修复，工作量大幅增加。不过新一代的Vicon[6]软件以及天远的3DMoCap[7]都植入了先进的智能捕捉技术，具有很强的Marker点自动识别和纠错能力，很大程度上满足了现场实时动画演示的需要，并且大大降低了人工干预的工作量，从本质上进一步提升了系统的实用性。系统特点分析不同原理的动作捕捉系统各有优缺点，一般可从以下几个方面进行性能评估：定位精度、采样频率、动作数据质量、快速捕捉能力、多目标捕捉能力、运动范围、环境约束、使用便捷性、适用性等，据此对当前市场上常见的几种动作捕捉系统进行对比如下：性能指标惯性式无标记点式主动式光学被动式光学定位精度低低一般高采样频率高低低高动作数据质量一般低一般高被动式光学系统快速捕捉能力高低低高多目标捕捉能力一般（成本加倍）低（成本不变）一般（成本不变）高（成本不变）运动范围大小一般一般环境约束铁磁体干扰阳光、热源干扰强光源干扰阳光干扰使用便捷性低（线缆、负重）高低（线缆、电源）一般（反光标记点）适用性一般（人体、刚体）低（仅人体）一般（人体、刚体）高（人体、刚体、细节表情等）选择动作捕捉系统没有统一的标准，用户应充分衡量自身的需求和一般使用情况，通常可以采取以下步骤筛选最适合自身使用的系统：1.一般情况下，注重综合性能的，包括精度、动作数据质量和适用性等，首先考虑被动式光学系统，可以得到很好的精度和动作效果，适用性强，是现有动作捕捉技术中最为成熟的一种，应用案例最多，经典的电影特效和CG作品中大多采用这种技术，较为实用，适合多数用户使用；2.强调室外应用并且具备较好的定位精度的，考虑主动式光学系统，尽管在其他性能方面做出一定程度的让步，但可以兼顾室外应用和定位精度的特殊应用需求；3.强调室外应用并且运动范围几乎不受限制的，考虑惯性式系统，系统受环境约束很少，前提是对动作质量要求不高；4.强调便捷性，特别是应用于人机交互、动作识别领域，对动作精度、质量及可靠性要求较低的，考虑无标记点式系统，如微软的Kinect传感器，在实用性和成本方面是其它系统无法比拟的。系统参数及其在实际应用中的物理意义1.动作捕捉相机分辨率。光学动作捕捉系统，不论是无标记点式还是标记点式，动作捕捉相机分辨率都是系