视频编码与压缩技术发展史

视频编解码与压缩技术发展史杨超2009级计算机科学与技术2班200930583011【摘要】：正1两个阶段网络视频是多媒体技术与互联网技术相结合的产物,其发展可分为两个阶段:非流式传输阶段与流式传输阶段。在非流式传输阶段,受到互联网带宽、传输技术及多媒体技术的制约,用户通过网络体验多媒体应用必须将全部的媒体文件下载完毕,而后在本地运行。虽然在此过程中需要应用网络环境及多媒体技术,但其漫长的下载速度让人无法忍受，故衍生出流式传输方法，以及各种视频压缩技术【关键词】：多媒体技术非流式传输网络环境流媒体技术网络视频多媒体应用互联网技术相结合流媒体传输阶段视频压缩编码技术的两个阶段网络视频是多媒体技术与互联网技术相结合的产物，其发展可分为两个阶段：非流式传输阶段与流式传输阶段。在非流式传输阶段，受到互联网带宽、传输技术及多媒体技术的制约，用户通过网络体验多媒体应用必须将全部的媒体文件下载完毕，而后在本地运行。虽然在此过程中需要应用网络环境及多媒体技术，但其漫长的下载等待过程往往使人心烦不已。随着应用的推动，技术的进步，流式传输阶段应需而至。流式传输阶段是在多媒体技术和网络传输技术进步的条件下产生，它的主要特征是采用了流媒体技术(StreamingMedia)——在网络上的多媒体内容经算法压缩、编码后以基数据流的形式传输，配合特定的网络控制和辅助协议，利用缓冲技术，在客户端只获取部分数据情况下，实现无间断实时顺序播放。作为一种新兴的网络技术，流媒体传输涵盖了数据采集、视/音频编解码、存储、传输、播放等多个学科，是现代网络、多媒体及相关技术的综合应用。标准的历史演进作为一种多学科技术综合应用的实践，流媒体的发展经历了漫长的历程，直到现在，仍然是非流式传输与流式传输并存。在流媒体传输众多的技术当中，编/解码、压缩技术的地位十分关键，其发展对网络多媒体应用有着重要推动作用。1988年，国际标准化组织(ISO/IEC)的活动图像编码专家组(MPEG)成立，目的在于制定“活动图像和音频编码”标准。1993年，MPEG推出其第一个国际标准MPEG-1(用于VCD和MP3格式的压缩编码)；1994年，MPEG-2标准出台(DVD的编码标准)，带动了广播级的数字电视的发展。到1999年，MPEG-4标准的第一版出台，由于它提供了低码率、高质量的音视频压缩、编码方案，推动了网络视频的进一步发展，而后续MPEG小组与ITU-T合作推出的MPEG/AVC/H.264标准相比之前的编码、压缩标准更是可以减省50%的码率，能在更窄的带宽条件下实现高质量的流媒体播放效果，这使其风靡全球。与此同时，国际电信联盟(ITU-T)的视频编码专家组(VCEG)也推出了H.261、H.263等压缩，编/解码国际标准，旨在推动视讯电话和视频会议的发展。而H.323与H.324则是ITU-T的VCEG小组为交谈式视讯电话及视讯会议推出的标准，其中前者是基于封包交换网络(IP-based)，后者是基于传统的电话交换网络。不是标准的“标准”此外还有许多不是标准但应用很广的编/解码压缩技术，如：1995年，美国RealNetworks公司率先将其流媒体编/解码技术(RealVideo)商用化，推出首款流媒体播放器Realaudio(支持格式为Ra)，推动了在线广播与网络音乐发展。1997年，Realplayer(支持格式为Rm)的推出，进一步推动了多媒体的网络应用。不久之后，微软也推出了其耗资5亿美元,历时三年研发的流媒体技术WindowsMediaTechnology(支持文件格式为asf)，正式开始了和RealNetworks公司的竞争。同时，Apple电脑公司也推出了自有专利的跨平台流媒体技术QuickTime(支持格式为mov)。至今，除了上述三种不是标准的编/解码技术之外，由Macromedia公司开发，基于Shockwave技术的流式动画数据格式(swf)，因为其能够以较小的体积来表现丰富的多媒体，并且支持流式传输，特别是在传输速率不佳的情况下，也能取得较好的效果，现在也十分流行；而基于Authorware软件生成的aam或aas格式文件，可利用Shockwave技术改造为网上传输的流式多媒体课件，用来辅助教学，因而也得到了广泛应用。Mts是MetaCreations公司推出的流式三维技术，作为一种3D开放性文件标准，可用于网络3D图形实时传输和网络游戏，也成了不是标准的“标准”。除了编/解码技术，在流媒体的发展史中，网络传输技术及网络环境的的因素也不可忽视。众所周知，互联网信息传输的基础是TCP/IP协议，而TCP/IP协议在早期设计时对流媒体应用考虑不够充分，对于流式传输(音、视频)的数据如何提高传输效率，如何同步数据，如何保证及优化质量(QoS)，如何协调资源等都没有专门的保障机制，所以就应用而生了rtp(real-timetransportprotocol)实时传输协议、rtcp(real-timetransportcontrolprotocol)实时传输控制协议、rtsp(real-timestreamingprotocol)实时流协议、rsvp(resourcereserveprotocol)资源预留协议等标准来辅助流媒体技术的实现。而在网络环境方面，由最初的modem(64kbps)、ISDN、xDSL、Cablemodem到现在的FTTH(光纤到户，百兆到桌面)等接入技术飞速发展，也为多媒体时代的到来做好了准备。视频压缩标准数字视频技术广泛应用于通信、计算机、广播电视等领域，带来了会议电视、可视电话及数字电视、媒体存储等一系列应用，促使了许多视频编码标准的产生。ITU-T与ISO/IEC是制定视频编码标准的两大组织，ITU-T的标准包括H.261、H.263、H.264，主要应用于实时视频通信领域，如会议电视；MPEG系列标准是由ISO/IEC制定的，主要应用于视频存储(DVD)、广播电视、因特网或无线网上的流媒体等。两个组织也共同制定了一些标准，H.262标准等同于MPEG-2的视频编码标准，而最新的H.264标准则被纳入MPEG-4的第10部分。按照ITU-T视频编码标准的发展过程，介绍H.261、H.263及H.264。H.261视频编码标准H.261是ITU-T为在综合业务数字网(ISDN)上开展双向声像业务(可视电话、视频会议)而制定的，速率为64kb/s的整数倍。H.261只对CIF和QCIF两种图像格式进行处理，每帧图像分成图像层、宏块组(GOB)层、宏块(MB)层、块(Block)层来处理。H.261是最早的运动图像压缩标准，它详细制定了视频编码的各个部分，包括运动补偿的帧间预测、DCT变换、量化、熵编码，以及与固定速率的信道相适配的速率控制等部分。H.263视频编码标准H.263是最早用于低码率视频编码的ITU-T标准，随后出现的第二版(H.263+)及H.263++增加了许多选项，使其具有更广泛的适用性。H.263视频压缩标准H.263是ITU-T为低于64kb/s的窄带通信信道制定的视频编码标准。它是在H.261基础上发展起来的，其标准输入图像格式可以是S-QCIF、QCIF、CIF、4CIF或者16CIF的彩色4∶2∶0亚取样图像。H.263与H.261相比采用了半象素的运动补偿，并增加了4种有效的压缩编码模式。无限制的运动矢量模式允许运动矢量指向图像以外的区域。当某一运动矢量所指的参考宏块位于编码图像之外时，就用其边缘的图像象素值来代替。当存在跨边界的运动时，这种模式能取得很大的编码增益，特别是对小图像而言。另外，这种模式包括了运动矢量范围的扩展，允许使用更大的运动矢量，这对摄像机运动特别有利。基于句法的算术编码模式使用算术编码代替霍夫曼编码，可在信噪比和重建图像质量相同的情况下降低码率。先进的预测模式允许一个宏块中4个8×8亮度块各对应一个运动矢量，从而提高了预测精度；两个色度块的运动矢量则取这4个亮度块运动矢量的平均值。补偿时，使用重叠的块运动补偿，8×8亮度块的每个象素的补偿值由3个预测值加权平均得到。使用该模式可以产生显著的编码增益，特别是采用重叠的块运动补偿，会减少块效应，提高主观质量。PB-帧模式规定一个PB-帧包含作为一个单元进行编码的两帧图像。PB-帧模式可在码率增加不多的情况下，使帧率加倍。H.263视频压缩标准版本2ITU-T在H.263发布后又修订发布了H.263标准的版本2，非正式地命名为H.263+标准。它在保证原H.263标准核心句法和语义不变的基础上，增加了若干选项以提高压缩效率或改善某方面的功能。原H.263标准限制了其应用的图像输入格式，仅允许5种视频源格式。H.263+标准允许更大范围的图像输入格式，自定义图像的尺寸，从而拓宽了标准使用的范围，使之可以处理基于视窗的计算机图像、更高帧频的图像序列及宽屏图像。为提高压缩效率，H.263+采用先进的帧内编码模式；增强的PB-帧模式改进了H.263的不足，增强了帧间预测的效果；去块效应滤波器不仅提高了压缩效率，而且提供重建图像的主观质量。为适应网络传输，H.263+增加了时间分级、信噪比和空间分级，对在噪声信道和存在大量包丢失的网络中传送视频信号很有意义；另外，片结构模式、参考帧选择模式增强了视频传输的抗误码能力。H.263++视频压缩标准H263++在H263+基础上增加了3个选项，主要是为了增强码流在恶劣信道上的抗误码性能，同时为了提高增强编码效率。这3个选项为：选项U——称为增强型参考帧选择，它能够提供增强的编码效率和信道错误再生能力(特别是在包丢失的情形下)，需要设计多缓冲区用于存贮多参考帧图像。选项V——称为数据分片，它能够提供增强型的抗误码能力(特别是在传输过程中本地数据被破坏的情况下)，通过分离视频码流中DCT的系数头和运动矢量数据，采用可逆编码方式保护运动矢量。选项W——在H263+的码流中增加补充信息，保证增强型的反向兼容性，附加信息包括：指示采用的定点IDCT、图像信息和信息类型、任意的二进制数据、文本、重复的图像头、交替的场指示、稀疏的参考帧识别。H.264视频编码标准H.264是由ISO/IEC与ITU-T组成的联合视频组(JVT)制定的新一代视频压缩编码标准。事实上，H.264标准的开展可以追溯到8年前。1996年制定H.263标准后，ITU-T的视频编码专家组(VCEG)开始了两个方面的研究：一个是短期研究计划，在H.263基础上增加选项(之后产生了H.263+与H.263++)；另一个是长期研究计划，制定一种新标准以支持低码率的视频通信。长期研究计划产生了H.26L标准草案，在压缩效率方面与先期的ITU-T视频压缩标准相比，具有明显的优越性。2001年，ISO的MPEG组织认识到H.26L潜在的优势，随后ISO与ITU开始组建包括来自ISO/IECMPEG与ITU-TVCEG的联合视频组(JVT)，JVT的主要任务就是将H.26L草案发展为一个国际性标准。于是，在ISO/IEC中该标准命名为AVC(AdvancedVideoCoding)，作为MPEG-4标准的第10个选项；在ITU-T中正式命名为H.264标准。H.264的主要优点如下:在相同的重建图像质量下，H.264比H.263+和MPEG-4(SP)减小50%码率。对信道时延的适应性较强，既可工作于低时延模式以满足实时业务，如会议电视等；又可工作于无时延限制的场合，如视频存储等。提高网络适应性，采用“网络友好”的结构和语法，加强对误码和丢包的处理，提高解码器的差错恢复能力。在编/解码器中采用复杂度可分级设计，在图像质量和编码处理之间可分级，以适应不同复杂度的应用。相对于先期的视频压缩标准，H.264引入了很多先进的技术，包括4×4整数变换、空域内的帧内预测、1/4象素精度的运动估计、多参考帧与多种大小块的帧间预测技术等。新技术带来了较高的压缩比，同时大大提高了算法的复杂度。4×4整数变换以前的标准，如H.263或MPEG-4，都是采用8x8的DCT