虚拟演播室及数字视频系统的设计

第九章虚拟演播室及数字视频系统的设计9.1虚拟演播室技术一、、从传统演播室到虚拟演播室在传统的电视节目制作中，制作人员需要精心设计和搭建表演区和场景，为此要耗费大量的人力、物力、财力，而且建成的场景无法即时更新和变换，资源利用率低且工作周期长，即使如此，许多场景、舞台效果仍无法实现。前面介绍的特技技术中的色键技术是用摄像机拍摄均匀蓝色幕布之前的人物或道具（前景图象），然后通过特技设备把蓝背景抠掉，换成其它背景图像。显然，前景和背景只是简单地叠加在一起。这种抠像技术要求拍摄前景的摄像机不能移动、变化，因为一旦前景变化而背景不能随之变化，会使画面失去真实感；当然不同机位的摄像机之间也不能切换，因为背景不能变化适合的空间角度；如果背景是活动画面，即使保持拍摄前景的摄像机不变化，仍会产生主持人好象在背景上飘浮的感觉，缺乏真实感，可见色键制作技术是有很大局限性的。为了产生出逼真视觉的场景效果，用计算机场景工作站生成的三维图像代替简单的二维图像作为演播室的“虚拟”背景，并跟踪摄像机运动实时调整和“移动”该虚拟背景，使之与拍摄的主持人图像（前景）同步变换，实现三维场景的移动变换与真实摄像机相一致的模拟效果，这就是三维图形学、人工智能技术、模式识别与计算机图形图像处理技术相结合的虚拟演播室技术。二、虚拟演播室系统的构成典型的虚拟演播室系统是由摄像设备、摄像机位置参数分析和控制、图形计算机、背景素材库和图像合成等设备组成。系统构成的简单框图如图1所示。图1虚拟演播室节目制作系统构成在蓝幕背景中的主持人由前景摄像机（真实摄像机）拍摄，而如图1所示的背景图像记录及生成系统称为虚拟摄像机。为了使真实的和虚拟的画面保持空间的对应关系，需要确定真实摄像机的位置参数，包括摄像机在演播室中的空间位置，摄像机的运动参数（倾斜、转动、翻转），摄像机镜头设置参数（变焦、聚焦、光圈）。所有这些数据都被送入计算机中进行分析，实时生成与前景图像保持正确空间透视关系的背景图像。然后，前景图像（包括主持人和真实场景、道具）与计算机生成的虚拟背景图像通过色键控制器进行天衣无缝的键控合成，由于图形计算机的运算需要几帧左右的时间，因此，摄像机拍摄的真实画面也必须有一个时间的延时，这样才能确保真实场景与虚拟场景的吻合。最后输出的图像可以直接播出或记录在存储媒介上。三、虚拟演播室的关键技术虚拟演播室的关键技术包括摄像机跟踪技术、计算机虚拟场景设计和蓝背景技术、灯光技术和色键技术等。1．摄像机跟踪技术虚拟演播室中的一项关键技术是如何判断摄像机、主持人、计算机“虚拟”背景之间的相对位置关系，使之实现“同步”变换。实现“同步”的关键是连续跟踪获得摄像机的运动参数。这些参数包括镜头运动参数（变焦、聚焦、光圈）、机头运动参数（摇移、俯仰）及空间位置参数（机位的X、Y和高度Z坐标）等。目前，成熟的跟踪技术主要有图形识别法（PatternRecognition）和以传感器为基础的机械传感法（Sensor-basedCameraTrackingSystem）两种方式。同时这也是虚拟演播室两大类别的主要区别之处。(1)图形识别法图形识别实际上是一种运动估测算法，它可以对运动画面进行精确的计算，获得摄像机的各项运动参数。实际应用一般采用有浅蓝色网格图案的深蓝色背景板，如图2。拍摄时，系统会对网格进行定位追踪，通过对所拍摄画面中网格的旋转和透视关系进行计算，得到有关摄像机的动作参数，以控制虚拟背景的生成。为了减少计算误差，可以选择一个基准帧，以此为基准对每幅画面进行计算。为了避免摄像机快速进行左右、俯仰摇动时，画面中网格图案变得模糊而影响跟踪效果，摄像机应使用电子快门。电子快门的速度越快，允许摄像机运动的速度就越快。同时，演播室整个蓝色幕布（蓝箱）的布光要尽量均匀。当摄像机的光圈为5.6，电子快门速度为1/120时，网格图案的信号电平应达到70%左右，这样可获得最稳定的跟踪效果。(2)机械传感法基于传感器的摄像机跟踪系统最精确，传感器被安装在摄像机三角架、基座、升降摇臂的摇摄轴、俯仰轴上以及镜头的变焦、聚焦环上以及滑轨、推车上。它采集摄像机的位置和空间透视数据，编码量化后通过数据端口传送给计算机。图形计算机将根据数据产生与之“同步”的虚拟背景。2、虚拟场景与蓝背景技术虚拟演播室中除主持人外的场景、道具等一般都由计算机产生。在常规演播室中不可能做到的复杂而庞大的背景，甚至许多现实生活中人们不可能见到的景观，都可以在虚拟演播室中得以实现。虚拟演播室中的背景图像可以是动态的，也可以是静止的。利用最多的是虚拟场景，也就是由计算机创作的二维或三维图形。在虚拟演播室中，首先要对场景中的所有物体进行计算机建模，也就是设计物体的外形和尺寸，这与计算机辅助设计很相似：在建立一个模型的同时，计算机将他们分解成许多个多边形，一般是三角形，然后定义一个轮廓；在每个多边形上施加材质，可以是简单的颜色，也可以是材料。再把图像或照片施加在多边形上，以产生更逼真的效果。在虚拟演播室中将模型定位，使用虚拟灯光产生所需要的效果，如阴影、高光、反射和折射。在这些制作之后，利用来自摄像机传感器的数据建立虚拟摄像机。一个三维虚拟场景需要大量的计算工作来处理运动和再生背景。三维虚拟场景可以由两种不同的方式产生。(1)预生成三维方式这种方式需先在三维建模工具中建立布景模型，预先生成每台虚拟摄像机的视图画面，作为各自对应的真实摄像机的虚拟背景。一旦场景模型建立，摄像机的位置也就确定，不能再随意移动。这种方式可以产生比较真实的三维虚拟背景，也称为二维半。(2)真三维方式采用这种方式建立三维模型，模型中的虚拟摄像机与演播室中的摄像机互相对应，当真实摄像机的镜头或位置参数变化时，虚拟摄像机产生同样变化，并实时生成视图作为虚拟背景。在真三维方式下，所有摄像机在演播室中都可以任意移动。在真三维的虚拟场景中，主持人可以来回走动，场景中的虚拟物体可以实时的移动，主持人不仅能在虚拟物体的前面或后面，并且能隐藏在虚拟物体的里面，真三维方式与二维半方式的最大区别在于真三维方式能实时读取场景源文件并对源文件实时渲染。二维半系统的场景生成比较简单，按照摄像机机位的参数对背景图进行处理后生成演播室背景信号。而真三维系统包括场景调度、物体运动、灯光调节、特殊效果调节等模块，功能更为强大。但是二维半系统在场景设计方面不受局限，可以设计无限精细和无限复杂的场景，而真三维系统要对场景源文件进行实时渲染，场景精细度和复杂度受系统硬件和软件的限制较大。因此使得它们有各自不同的适用范围。如，二维半虚拟演播室更适于对实效性要求高的节目制作。而真三维虚拟演播室更适于对灵活性要求高的节目。（3）蓝幕（蓝箱）技术虚拟演播室与传统演播室大不相同，它以计算机三维动画“虚拟”出的场景取代道具实景为主要特征。现场所有布景全部由单一的蓝色所取代，以作为将来抠像的基准色。图像的前景是不同机位的摄像机拍摄到的主持人的画面素材。主持人所在的实景现场的全部蓝色区域将被合成到计算机三维动画生成的虚拟场景中。制作虚拟演播室的蓝背景要求背景平滑，还要有空间感，一般是两面或三面蓝色墙再加上地面（因此称为蓝箱）。为保证全景镜头的使用，照射在蓝背景上面的光线要均匀。为了保证色键抠像效果最好，要使用纯正的蓝色。蓝背景的空间大小，应该保证可容纳全部道具并可以使主持人有足够的活动区域。需要注意的是，虚拟演播室用的实景现场虽然简化成了单一的蓝色，但决不是任何东西都不需要了。如果节目中要表现主持人从楼梯上走下来，那么现场还必须设置一些涂成蓝色的几何块状物体作为“楼梯”,以便与电脑中生成的楼梯相配合。3、深度的色键（抠像）技术色键制作的质量对虚拟演播室节目质量影响相当大，它除了与蓝背景、制作环境灯光和摄像机有一定关系之外，色键技术本身也是非常重要的。在三维虚拟场景中不仅有背景，还可能有前景，如桌子、讲台等，演员甚至可以进入一个虚拟物体中去。画面中真实的、虚拟的物体之间的关系比较复杂，要想实现完美自然的叠加，就需要具有特殊功能的高级色键技术。例如，把前景图象中的阴影取出来并叠加到背景上，可以使合成的图象更加逼真。目前有一种被称为Z轴深度键的新技术，分为层次级和像素级的深度键技术。层次级深度键技术将物体分别归类到数目有限的深度层中去，所以，演员在虚拟场景中的位置不能连续变化。而像素级深度键技术把构成虚拟场景中的每一个像素都赋予相应的Z轴深度值。虚拟物体、真实物体和主持人可以动态地相互遮挡，从而增加了虚拟场景的真实感。虚拟演播室的色键技术还要关注的一个问题是消蓝。由于使用蓝幕背景，因此环境反光会造成前景物体和主持人身上有一些蓝色的干扰成分，对透明或半透明物体更易造成干扰。这时，就需要对前景图象进行非常复杂的消蓝控制，即遏制削弱蓝色成分，同时，又不使前景图象产生颜色失真。4、虚拟演播室对灯光的特殊要求在虚拟演播室节目制作中灯光所起的作用是十分关键的。为了消除多余的阴影，保证色键的效果，灯光的布置相当重要。要合理调配灯光，使前景与虚拟背景的照明亮度及方向匹配。主持人及真实道具在蓝箱中投下的影子也要随主持人及道具一起进入虚拟空间。为了更好地提取阴影，灯光的设置应使阴影处的蓝色电平与背景蓝幕布的蓝色电平有较大的区别。影子的方向也要和虚拟空间中的光源方向一致。灯光应具有真实性。在虚拟演播室中，实际光源和虚拟合成光源之间的同步变化很重要。灯光控制要计算机化，使灯具的状态可以记忆存取。四、国外几种典型的虚拟演播室产品据报道，自1991年日本广播公司（NHK）开发了第一套图像合成系统以来，国外很多有实力的公司一直致力于这一技术的研究开发。但真正推出成熟产品还是1996年以后，次年开始打入中国市场。目前可以了解到的已经商品化的虚拟演播室系统生产厂商13个，其中RT-SET和Orad两家公司在大陆的业务活动比较活跃，其产品也具有相当的代表性。1、RT—SET公司的虚拟演播室系统以色列RT—SET公司的虚拟演播室技术处于世界领先地位，其Larus虚拟演播室系统框图如图3所示。其摄象机跟踪系统采用安装在基座上的精密光电旋转编码器和镜头上的特殊编码器实时获取摄像机位置和镜头视角参数，通过快速通信单元计算和传输至虚拟场景产生和实时变换的SGI图形工作站上，由系统应用软件根据这些参数控制三维虚拟场景在节目拍摄期间实时地持续更新，然后在键控器中与实景视频合成叠加。其显著优点是摄像机运动不受限制；同时由于采用精密的机械—光学传感器，增加了系统维护和操作的复杂程度。Ibis是一种低价位、易于维护的虚拟演播室系统，图4为其系统结构示意图。此系统的虚拟背景不是由3D建模工具产生，而是可以从任何标准的图形图像处理软件得到的位图，最大尺寸为4096×4096象素，但位图仍能跟随摄像机的运动而变化，以满足正确的透视关系。由于没有复杂的三维图形处理，降低了对图形工作站计算速度的要求，从而降低了系统成本。2、ORAD公司的Cyberset虚拟演播室系统Orad公司的Cyberset虚拟演播室系统是目前全世界公认的最先进的系统，也是当前唯一基于图形识别的虚拟演播室系统，它的工作流程与RT-SET系统相似，但独特之处在于采用了该公司图形跟踪识别的专利技术，利用电视图像信号本身来实时计算获取摄像机移动参数，而不需要采用在摄像机上安装光学——机械传感器来测量摄像机和镜头的参数。因此可直接使用原有的演播室摄像机而不加装传感头的环境下，将在蓝幕前的主持人的实况电视图像信号与计算机产生的三维场景实时合成。由于不需要传感器、数据记忆头等传感装置，因此具有较高的稳定性和精确度，系统所需要的维护工作也较少。目前适合使用虚拟演播室的节目类型主要有新闻播报、文艺娱乐播报、音乐节目、电视杂志、电视教学等。此外，利用虚拟演播室技术还可以拍摄广告、电视剧等。而且随着技术的发展，将会有更多新的类型的节目产生。虚拟演播室技术的发展史也是计算机技术的发展史，随着计算机的飞速发展，虚拟演播室系统也将会有更大的发展空间。虽然目前还不太可能完全代替传统演播室，但是成本的不断下降，技术的日臻完善，越来越多的用户会选择虚拟