一种基于运动信息描述的视频格式自适应方案概要

《计算机学报》2009年6期1一种基于运动信息描述的视频格式自适应方案沈秋*，李厚强，王毅，何佳（中国科学技术大学电子工程与信息科学系信息处理中心，合肥230027）摘要：多媒体应用领域存在多种视频编码标准，因此实现不同视频格式之间的自适应转换具有重要意义。本文提出了一种新颖的基于运动信息描述的视频格式自适应解决方案。该方案利用我们前期提出的基于H.264/AVC标准的运动信息描述算法提取能够复用的详细完备的运动信息，根据需要快速生成不同视频编码格式、多种码率的码流；也可以利用此运动信息，指导不同视频格式码流之间的快速自适应转换。作为该方案的具体应用，本文提出了一种针对H.264/AVC标准和MPEG-2标准的视频自适应方法。实验结果表明，本文提出的基于运动信息描述的视频格式自适应解决方案不仅可以很好的保证编码性能，同时具有较低的计算复杂度。关键词:视频自适应；格式转码；H.264/AVC视频编码标准；MPEG-2视频编码标准AFrameworkofVideoFormatAdaptationBasedonMotionDescriptionQiuShen,HouqiangLi,YiWang,JiaHe(Dept.ofEEIS,UniversityofScience&TechnologyofChina,Heifei,230027,China)Abstract:Duetotheexistenceofvariousvideocodingstandardsinmultimediaapplications,itisofgreatsignificancetoimplementvideoformatadaptationamongthesestandards.Thispaperpresentsanovelframeworkforvideoformatadaptation,whichisbasedonmotiondescriptionandisoriginatedfromourearlywork.Suchmotiondescriptioncomprisesabundantmotioninformation,andcanbeobtainedbypre-encodingavideosequence.Motiondescriptioncanbeusednotonlytofastgeneratarequiredbitstream,butalsotoguidethetranscodingbetweendifferentvideoformats.Asanexample,formatadaptationbetweenH.264/AVCandMPEG-2whichisonthebasisoftheproposedframeworkisillustratedindetail.Anumberofcomparisonexperimentsareperformedtoshowthatourproposedsolutioncangreatlyreducethecomputationalcomplexitymeanwhileretainthecodingefficiency,whichmanifestlydemonstratestheproposedsolutionissuperiortotheconventionaltranscodingtechnique.Keywords:Videoadaptation;Formattranscoding;H.264/AVCvideocodingstandard;MPEG-2videocodingstandard本文工作得到国家自然科学基金重点项目（项目批准号：60632040）和国家自然科学基金面上项目（项目批准号：60672161）的资助。*沈秋，女，1982年生，博士研究生，研究方向为视频编码和视频自适应。E-Mail:[e-mail]；通讯地址：合肥市四号信箱中国科学技术大学9－530，邮编：230027；电话：[phone]（实验室），13865988063（手机）。李厚强，男，1969年生，教授，研究方向为视频编码、图像处理和计算机视觉。王毅，男，1979年生，博士研究生，研究方向为视频编码和视频分析。何佳，男，1976年生，博士研究生，研究方向为图像处理和视频监控。《计算机学报》2009年6期21.引言随着通讯技术和多媒体技术的发展，人们对视频应用的需求不断增长。由于视频数据量巨大，人们需要对其先编码压缩再存储、传输。针对不同应用和随着技术的发展，各标准组织、国家已经制定了多个视频压缩标准，目前主要包括ITU制定的H.26x系列[1][2][3]和ISO/IEC制定的MPEG-x系列[4][5]，以及由我国制定的具有自主知识产权的AVS标准。这些标准充分利用视频编码的各种技术将具有固定时间、空间分辨率的视频信号压缩成一定的码流。该码流主要由运动信息和残差信息两部分组成。然而，这种视频表达方式过于单调，难以适应当前复杂的应用环境。为了解决网络的异构性、终端设备的多样性、多媒体应用的复杂性给视频应用带来的难题，[6]的作者提出了视频自适应（VideoAdaptation）的概念。视频自适应主要研究如何将已有的视频表达形式变换成为满足限制条件的某种形式；同时，尽可能提高变换后视频的有用性（Utility，即用户的满意度）。视频自适应技术涉及的范围很广，包括码率的自适应调整、时空分辨率的自适应改变、格式的自适应转换、视频摘要（VideoSummary）的自动生成、以及视频合成（如VideoMosaics）等[6]。其中，格式的自适应转换应用广泛，具有非常重要的实用价值。格式的自适应转换主要研究如何将某种格式的码流简单高效地转换为另一格式的码流。目前多媒体应用中存在多种视频编码标准，这些标准在各自的应用领域均占有一席之地，却不能直接应用于其他领域。以H.264/AVC和MPEG-2为例：一般来说，在同等图像质量条件下H.264/AVC具有高于MPEG-2等其他早期标准的数据压缩比率，并且其加强了对各种信道的适应能力，具有良好的网络友好性。H.264/AVC有着巨大的发展潜力，其在视频编码所占的地位也越来越重要。MPEG-2作为发展比较成熟的标准在很多应用领域占有一席之地，包括存储媒体中的DVD，广播电视中的数字广播电视（DBTV）和高清晰度电视（HDTV），交互式的点播视频（VoD）和准点播视频（NVoD）；而且，目前国内广电系统大都采用与MPEG-2标准兼容的设备。因此，短期内MPEG-2无法被H.264/AVC彻底取代，两种标准共存的局面仍会持续一段时间，这使得实现H.264/AVC和MPEG-2两种格式的自适应转换成为视频格式自适应中迫切的任务。在原始视频可得的情况下，一种最直接的解决方法就是将视频分别压缩成两种格式多种码率的码流。然而，由于现有这些视频编码的计算复杂度非常高，对同一段视频进行多次压缩是一项艰巨的任务，并且其存储所耗费的资源也随之大大增长。在原始视频不可得的情况下，就需要采用视频转码技术（VideoTranscoding）[7][8][9]来实现码流格式的转换。视频转码是对压缩视频从一种形式到另一种形式进行转换的操作，这里的形式可以指码率、时间分辨率、空间分辨率，也可以指编码语法，内容等等[9]。视频格式的转码主要研究如何实现不同编码格式之间快速高效的转换，按照操作空间的不同大体可以分为两种，一种是像素域转码，一种是变换域转码。像素域的转码是将源格式的码流解码至像素域，再进行重新编码生成目标格式的码流。其中最直接的方法是完全重建视频，并以其为参考进行一次完整的再编码。这种方法能够保证最优的编码性能，但是一次完整的编码过程要进行复杂的运动估计、变换、量化、熵编码等过程，其计算复杂度非常高，不利于实时转码的应用。因此，研究人员提出了多种快速转码的算法，通过从解码码流中提取有用参数来降低转码过程的计算复杂度。以MPEG-2到H.264/AVC的转码为例，[10][11][12]利用MPEG-2码流的解码运动矢量来指导H.264/AVC的模式选择和运动估计过程，从而大大降低了MPEG-2到H.264/AVC格式转换的计算复杂度。[13]介绍了一种H.264/AVC到MPEG-2格式转码方法，通过合并H.264/AVC的编码模式和运动矢量来生成MPEG-2的运动信息，从而避免复杂的运动估计过程。为了进一步降低计算复杂度，[14][15][16]采取直接在变换域进行MPEG-2到H.264/AVC格式转码，这样可以跳过量化反量化步骤。这些方法虽然都在一定程度上降低了编码的计算复杂度，但也存在很多不可避免的缺陷。一方面，已有码流中相关信息很单一，往往针对转码前的标准、现有码率等，这使得为了降低算法复杂度而转码时试图充分利用的原有运动信息远远不够丰富；即使对原有运动信息进行必要的转化也无法避免编码性能的损失，这种损失只能通过进一步的运算来弥补。因此，现有转码方法只能在编码性能和计算复杂度之间取得某种折中，无法两者兼顾。另一方面，由于各种编码格式采用的编码模式、变换方法和表达形式等都存在差异，对于每一种格式的转码都要设计不同的算法，难以用一种统一的框架解决，这使得格式自适应转化的实现复杂而不具有普适性。现有的视频编码标准框架中，计算最复杂、对编码性能影响最大的部分是运动估计模块，因此，视频格式自适应中最关键的问题在于如何在降低运动估计的计算复杂度的同时生成高质量的目标码流。我们提《计算机学报》2009年6期3出了这样一种设想：如果在进行某种格式的视频编码时能有详细的运动信息做指导，那么运动估计的过程就可以变得非常简单快速，从而既确保了编码性能，又兼顾了算法复杂度。我们在[17]中提出了一种基于运动信息描述的H.264/AVC标准的码率自适应算法：通过预编码得到视频序列的运动特性描述，并以某种数据结构加以存储；当需要一定质量的码流时，可以直接从运动信息描述中抽取出适当的模式和运动矢量进行编码。由于该算法不需要运动估计的过程，编码的复杂度非常低，可以实现H.264/AVC码流的快速生成。这种运动信息描述包括了丰富和精细的运动信息，因此本文将这一工作进行了拓展，将运动信息描述应用于格式自适应转换。我们选择H.264/AVC作为参考标准，因为H.264/AVC有多样化的分块模式，精细的运动矢量尺度，以及最优的评价标准，从而保证得到的运动信息描述的详细与完备性。其他的标准在这些方面与其存在一定的差异。以MPEG-2为例：H.264/AVC采用了七种分块模式，而MPEG-2只有一种分块模式；H.264/AVC的运动矢量精细到1/4像素，而MPEG-2只精细到1/2像素。基于这种运动信息描述，我们可以建立一个统一的技术框架来解决不同视频格式间的自适应转换。当然，由于不同视频标准的运动信息存在差异，基于H.264/AVC生成的运动信息描述需要经过相应的处理才能应用于其他格式的编码，这是该技术框架下必须解决的关键问题。我们的基本思路如下：首先，对于给定的原始视频采用[17]提出的生成算法得到视频序列的运动信息描述，并以一定的数据结构进行存储；其次，设计基于该运动信息描述生成所需视频编码标准运动矢量的方法。利用该方法，不需要进行运动估计，可以直接快速生成任何格式任何码率的码流。本文的组织结构如下：第二部分简单介绍H.264/AVC运动信息描述算法及其应用；第三部分提出了我们的格式自适应的框架；第四部分以H.264/AVC和MPEG-2之间的格式转换为例，分析了运动信息描述转换成所需的运动信息时存在的问题，并介绍我们的运动信息映射算法；实验结果在第五部分给出；最后，我们在第六部分总结全文。2.基于H.264/AVC标准的运动信息描述算法由于H.264/AVC标准采用率失真优化(Rate-DistortionOptimization)技术和可变块尺寸（VariableBlockSize