数字图像合成技术的发展和应用-特色资源库

数字图像合成技术的发展和应用来源：依马狮网作者：李海燕周一楠中国传媒大学信息工程学院科学艺术系图像合成，属图像处理的范畴，主要指把两个或两个以上的视频或图像信号通过加工处理，叠加或组合在一起，创作出新的图像效果；对原始素材的深度加工处理，使之产生新的艺术效果。若将传统的影视制作比作以时间为轴的叙述，图像合成则是于同一时刻在空间的领域进行创作，在二维的电视画面中表现出空间的层次感，增强电视画面的表现力，使电视画面所传递的信息越来越丰富，形成了一套独特的创作手法。合成技术逐渐成为影视节目后期制作环节中一种越来越重要的一环。随着数字技术、计算机技术的迅猛发展，近几年内图像合成技术在不断优化的同时也发生了质的飞跃。从能够完成混和、键控等合成功能的模拟切换台，到如今特色各异的合成软件以及功能强大的数字影视后期合成系统，合成的概念正在被逐步完善。数字图像合成技术得以集成在各种不同类型的系统之中，成为了影视节目制作技术数字化发展进程中，继非线性编辑、虚拟演播室技术之后的又一个亮点和焦点。一合成技术的实现方式图像合成技术是在传统键控技术，即抠像技术的基础上发展而来的。抠像技术用键源图像形成的键信号抠去背景图像的一部分，并填入前景图像的相应部分。根据键信号产生的方式不同，键可分为亮度键和色度键。传统的键控主要是通过切换台的门控信号形成电路和混合效果放大器,以通道混合的方式实现的。而当今数字图像合成技术是以层混合的方式实现的，即通过对计算机中存储参与合成的各层图像信息的帧存储器中的对应像素数据进行各种方式的合成运算实现。随着实现手段的进步，数字图像合成的方式、种类已不再局限于抠像（当然，抠像仍是目前最常用的合成手段），有了很大程度的拓展。主要包括以下几种方式：1．Alpha混合：Alpha通道首先在单帧静止图像的合成（平面设计、制作）中广泛使用，后随着计算机图形图像处理技术开始应用于影视节目制作。Alpha是指线性键，在帧存中，每个像素以R、G、B-Alpha32比特结构（或Y、Cr、Cb-Alpha24比特结构，但前者做混合时较简单）存储，其中Alpha通道为8比特的透明度控制信息，它实质是一层256级的灰度图，对应可产生256阶渐进透明叠现效果，可用作键信号。合成时，灰度图的各点值与前景图像的各像素值一一对应，对应黑色部分（Alpha值为0）的前景图像是完全透明的，露出背景，对应白色部分（Alpha值为255）的前景图像是完全不透明的，只显示前景，对应灰度部分时，前景和背景按比例融合：合成图像=前景图像×Alpha/255+背景图像×（1-Alpha/255）。Alpha通道信息可来源于色键，或由图像处理软件制作出的黑白图像，或由图像处理软件和二维、三维动画制作软件在计算机图形生成过程中自动产生。因此Alpha混合多用于包含静止图像、字幕、二维和三维动画的图像合成。2．遮罩合成：它是数字图像合成中必备的法宝之一，其合成原理与Alpha混合很相似，但遮罩是以独立的层的形式参与合成，控制前景、背景的合成比例，而不是附属于前景图像的一个通道信息，因此应用更灵活。遮罩可以来源于Alpha通道，或任何经过处理得到的黑白图像、视频，如彩色变黑白处理。同时作为独立的一层，遮罩可以使用任何能应用于图像层的效果、特技，如：柔化、运动等。3．三维空间合成：在现实中人的眼睛看到的物体均处于三维的空间中，但受显示屏幕的约束，制作人员只能针对二维的显示画面进行创作。早期的图像合成一般是在X、Y两个坐标轴构成的二维空间中以叠显的方式合成。而如何在二维的画面中体现出三维的空间层次感始终是创作人员和开发人员的一个追求。三维空间就是在二维的基础上加入深度Z轴的概念而形成的，因此，三维空间合成又称为深度键合成，作为合成控制信息的Z轴数据即为深度键。三维空间合成将近似于三维动画软件的建模环境引入了合成空间，同样拥有XYZ三维空间、灯光和产生观察视角的摄像机，但建立的对象不再是由数以万计的多边形构成的三维物体，而是若干个厚度很薄的二维图像画面。处于三维空间中的各图像画面会因观察视角的不同，因各自所处位置、角度即深度信息的不同而产生不同的遮挡关系、透视关系、聚焦关系和阴影，与二维合成相比较，能够产生空间感、透视感更强的合成画面，提供给制作人员更广阔的创作空间，但同时会带给系统更巨大的运算量和合成时间。除此之外，还有无需通道、遮罩等其他控制信息而对前景图像和背景图像数据直接运用某种算法而进行叠加合成的方式。目前很多的图像处理工具中都包含了多种方式的叠加处理方法，如何理解这些不同的叠加方式呢？其实每一种不同的叠加方式所对应的都是一种算法。比如说screen（屏幕）模式，它代表前景和背景图像进行逐像素的比较，保留的是二者当中亮度的值比较高的一个。这样，你将会获得一幅较亮的画面。而multiply（相乘）模式则相反会得到一幅较暗的图像。通过不同的算法组合，还可以实现似柔光、强光、负片等效果的合成。这种方法非常广泛的被用在粒子合成，高级校色（比如用视频模拟胶片效果，亮度键控局部调色等）等应用之中，是目前后期合成技术的热点问题之一。二合成技术的应用前沿在合成方式不断丰富的同时，数字图像合成领域还发展了许多优化合成性能的关键技术：1.差别键控技术：传统色键技术是依靠前景图像的色度分量产生键信号，因此要求前景是在高饱和度的单色幕布前拍摄出来的人或物。而差别键控技术则突破了这一约束，它可以将待抠像的演员置身于复杂的场景。为从复杂的场景中抠出演员的键信号，还需要一与前景画面完全相同但仅不包含演员的参照画面，然后对前景帧存和参照帧存数据逐帧进行逐像素的差值比较，差值为零（或差值足够小）的部分被抠除，反之保留，从而产生键信号控制前景和背景的合成（因对参照画面要求较高，前景画面和参照画面多采用同一时间段、同一固定摄像机位）。因受目前拍摄、制作习惯的限制，差别键控技术并未得到广泛的应用。2．运动跟踪技术：图像合成的对象往往是活动视频或动画序列，合成时常需要将各层图像中的运动元素的运动关联起来，能够达到同步运动的效果。运动跟踪技术建立在图像分析技术和图像块运动最佳匹配搜索技术的基础上，首先跟踪和捕获源图像中某运动元素的运动轨迹、运动特征，包括平移、旋转和缩放，然后将其应用到待与之同步运动的元素上。该运动跟踪可以是一点跟踪，或两个关键点连成线段的两点跟踪，甚至是多个关键点及其连线构成的多点跟踪，运动数据可应用于遮罩、色彩和选区的跟踪。3．色彩匹配技术：参与合成的图像常因来源不同而带有色调差异，为达到真正融合的合成效果，传统影视制作中，多根据基准画面采用手动调节各层图像的各个通道值（YUV或RGB），大大增加了制作人员的工作量和难度。色彩匹配技术在一定程度上解决了这一问题，它首先对各层图像数据进行分析，获得每层图像的亮度和色度（或RGB值）分布的统计特性，然后以制作人员指定层的分布情况为基准，自动调整其它各层的分布特性，与基准图像相匹配，以达到合成图像总体色调的统一。4．遮罩处理技术：为达到前景图像和背景图像的无缝合成，对遮罩的优化处理始终是数字图像合成技术的发展重点之一。对遮罩的处理技术包含的方式很多，如使用垃圾键(trackmatte)对遮罩进行补充，进一步抠除前景中未被遮罩抠除的部分；通过调整遮罩的灰度直方图（描述遮罩像素的灰度的统计分布情况）消除键信号中的灰度即半透明的区域；对遮罩边缘使用适量像素的均值模糊运算，使合成边缘柔和；对通过不同方式得到的遮罩数据进行适当的与、或等逻辑运算，而产生更佳的遮罩边缘；等等。5．摄像机运动的反求：用于正确得到实景拍摄的素材中的摄像机信息，并将这些数据导入到合成系统或是3d软件中，以获得和实拍素材一样的摄像机运动路径。再由这些摄像机空间运动路径信息控制虚拟场景信息，就可以获得逼真的三维和实景结合的神奇效果，与虚拟演播室的摄像机运动跟踪技术很相似，但在虚拟演播室中是依靠前期拍摄的机械跟踪、红外跟踪或背景专用网格的分析数据，而在此是指在后期制作中只根据前期拍摄到的图像，通过精密的图像分析而实现，这是目前的合成技术的一个热点也是难点问题。用于获取摄像机的反求结果的软件系统还不多，主要包括2D3公司生产的boujou,以及美国汉诺威大学推出的VoodooCameraTracker等等，相信在很短的一段时间内，这种技术将会更多的被应用于现代的影视制作之中。三主流合成系统的简介主要有两个因素制约着合成系统的性能指标：硬件平台和软件。从硬件上来看比较昂贵的系统大多是构建在SGI图形工作站上。而比较廉价的系统大多建立在MAC和PC上。为什么SGI如此昂贵？主要原因在于它对图像处理方面所做的优化和超高的运算能力，一般在PC上处理图像的精度是8比特,而SGI均使用16比特处理，这样处理的精度当然要高得多，对图像的损失也被减小到最小。而在采样方面，一般的合成系统的采样精度只能达到8比特,而SGI的采样精度为10比特,加上SGI超高的稳定性，当然会在很大程度上提高工作的效率。一般处理胶片级别的画面时均采用SGI工作站。PC的优势当然是价格便宜，而且升级比较快，目前PC在处理画面的能力上已经有了很大的提高，但是在稳定性方面还是有待加强。软件方面，Discreet公司在合成方面的霸主地位很难被撼动，从高端的架设在SGIOnyx工作站上的Inferno，到架设在SGIOctane2上的flame和flint，再到PC上的Combustion,已经形成了比较完善的全系列产品线。但是APPLE公司去年合并了Nothingreal公司的强大的shake，并且宣布只对MAC的用户，使得Shake成为了一款倍受瞩目的软件。Shake有着清楚的节点型构架和16比特的处理能力，支持非线性色域处理，是合成软件领域一颗冉冉上升的明星。而在中国目前的应用领域使用的最多的还是ADOBE公司的Aftereffects,它的好处在于基于层的合成概念，支持众多的厂商开发的外挂插件，能够满足众多的常规电视节目制作，甚至包括网络设计，平面设计的要求。而且，它的价格比较便宜，学习资料非常丰富，因而，一直是中国的用户最为推崇的一款合成工具。除了以上的主流工具的介绍以外，mayafusion,digitalfusion和5dcyborg也是非常好的工具，也拥有广泛的群众基础。图像合成技术的发展，对制作行业产生了非图1图2图3常大的影响，它开拓了制作者的眼界，启迪了创作者的思维，使得制作的工艺流程变得丰富和复杂起来。一种非常典型的趋势是，更多的合成技术会被渗透和集成到主流的剪辑工具中。比如说AVID在自己的剪辑工具中大多都集成了颜色匹配功能（图1），而Premiere的最新版本（图2），苹果的剪辑工具finalcutpro（图3）也都相应地集成了类似的功能在之中。总之，数字图像合成技术已经成为了现代制作流程中必不可少的重要手段，随着人们对这方面认识的提高，它一定会被更广泛的应用到作品中。