第5章多媒体数据处理的技术标准

第5章多媒体数据处理的技术标准本章重点：静止图像的JPEG标准与JPEG2000标准视频编码标准H.26XMPEG第5章多媒体数据处理的技术标准JPEG标准定义了三个层次：5.1静止图像的JPEG标准5.2静止图像的JPEG2000标准5.3视频编码标准H.26X5.4MPEG5.5小结5.1静止图像的JPEG标准JPEG标准定义了三个层次：5.1.1概述5.1.2基本JPEG编码5.1.3渐进编码5.1.4锥形编码5.1.5熵编码5.1.6应用JPEG标准示例5.1.1概述JPEG已开发三个图像标准：第一个称为JPEG标准，1992年正式通过。第二个标准是JPEG-LS，能提供接近无损压缩的可逆压缩形式。JPEG的最新标准是JPEG2000，于1999年3月形成工作草案，2000年底成为正式标准。5.1.1概述JPEG标准定义了三个层次：基本系统扩展系统特殊无损功能5.1.1概述JPEG标准制定了四种工作模式：基于DCT的顺序模式基于DCT的累进模式：无损模式：分层模式：5.1.1概述JPEG编码的基本处理过程包括：图像准备，图像处理，量化和熵编码（图5.1）图5.1JPEG编码的基本处理过程图像准备象素块最小编码单元图象处理预测器DCT正变换量化熵编码行程编码Huffman编码算术编码5.1.2基本JPEG编码基本JPEG编码器和解码器的结构如图5.2。（FDCT表示DCT正变换，IDCT表示DCT反变换。）压缩的图像数据基于DCT编码器8块（a）基于DCT的编码器FDCT量化器熵编码器量化表熵编码表源图像数据基于DCT解码器压缩的图像数据熵解码器反量化器IDCT熵编码表量化表恢复的图像数据（b）基于DCT的解码器图5.2JPEG编解码器5.1.2基本JPEG编码基本JPEG的编码方法是顺序编码。基本JPEG编码过程是一次扫描完成的经过Huffman编码用于传输或存储。JPEG系列的基本编码器仅适合8比特的样本输入，且对DC和AC系数各有两张Huffman编码表5.1.3渐进编码渐进编码方式与基本方式不同，每个图像分量的编码要经过多次扫描才能完成。渐进操作方式的编码方法与基本编码方式基本一致。如图5.3所示，渐进编码的显示和顺序显示的效果是不同的。(a)第1遍，轮廓极不分明(b)第2遍，轮廓不分明(c)第3遍，轮廓分明图5.3渐进编码显示5.1.3渐进编码渐进和顺序显示比较：图5.4渐进（上）和顺序（下）显示比较渐进编码方式有两种编码模式：频谱选择模式从低频到高频发送一系列DCT系数。这种方法简单易行，但所有的高频信息均会被推迟到后续扫描进行，结果造成早期扫描的图像模糊不清。连续逼近方法由频谱选择方法发展而来。这种模式对所有的频率均发送DCT系数，但仍然保持较低的传输率。其做法是：对每个系数首先只传送n1个最重要的比特，第2次传送n2个最重要的比特，以次类推。这种方法具有良好的图像质量，即使对早期扫描也不例外。将以上两种方法综合，则既具有高效的压缩率，又有优质的图像。5.1.3渐进编码渐进编码方式有两种编码模式：人们有时候会用低分辨率的设备浏览一幅高分辨率的图像。在这种情况下，就不必为高分辨率的图像传输全部DCT系数。JPEG标准利用分层模式来解决这个问题。思路是：将一幅原始图像的空间分辨率，按照水平方向和垂直方向分成多个分辨率进行编码，相邻的两分辨率相差为2的倍数。这种方式又称为锥形（或金字塔）编码方法。5.1.4锥形编码5.1.4锥形编码图5.5说明了利用滤波和分层生成锥形编码的过程。锥形编码也可以作为累进传输的一种方式。I1I2I3图5.5图像按金字塔形滤波和分层5.1.4锥形编码锥形编码的过程如下：首先将原始图像信息进行滤波，再以设定的2的倍数为因子对滤波的结果进行“降低采样”，降低原始图像的分辨率。然后对已降低分辨率的图像进行有损或无损方式编码。接着对低分辨率图像解码，进行“增加采样”。相邻的两分辨率的差值可用任何一种编码方式编码。重复上述步骤，直到要编码图像达到完整的分辨率。5.1.5熵编码JPEG标准的熵编码分为2步：首先，将系数转换为中间符号序列，再对这些符号进行Huffman编码或算术编码。8×8块的DC值采用差分编码，AC系数的中间符号序列的差异性比DC系数的差异性略大。DC和AC系数的统计量不一样，它们采用了不同的Huffman表。JPEG标准的基本顺序编码仅允许输入8比特整数像素，但是AC系数可以多3比特，因此AC幅度范围达到[-1023，1023]。按“Z”形排列的AC系数映射到中间符号序列“符号1”和“符号2”的树对上。5.1.5熵编码“符号1”表示为（行程，尺寸）。这里行程长度是前后两个非零AC之间连续的个数，尺寸是后一个非零系数幅值编码所需要的比特数。“符号2”表示为（幅值），其含义为非零AC系数的值。“符号1”序列采用熵编码，一般为Huffman编码方式。“符号2”为正值时，直接采用其二进制表示形式；为负值时，采用其二进制的补码形式。因此，事实上只压缩了“符号1”。由于使用差分编码，差分DC系数范围达到[-2047，2047]，其“符号1”序列包括尺寸，“符号2”序列表示差值的幅值。同AC系数一样，DC系数也仅对“符号1”进行熵编码。因此仅需要12个码字表示尺寸信息，而非4095个码字。5.1.6应用JPEG标准示例12210412211320120115152032039717119815151520317210120315151515203172101971222011221514717217217219815201122147172172172201151512214712318720112312315151011231872011232011515下面给出一个JPEG处理实例：图像分块、计算DCT系数以及系数量化结果：图像分成88的小块一个88块的亮度值5.1.6应用JPEG标准示例4.54.34.13.21.71.10.20.24.24.33.81.61.80.30.10.13.33.32.31.90.50.40.20.33.22.31.10.20.20.500.22.91.200.10.40.1001.100.40.200000.10.10.20000000.20.30.300004443110044311000332100003210000021000000100000000000000000000000该块的DCT系数量化的DCT系数5.1.6应用JPEG标准示例按Z形路径将DCT系数先经行程编码，最后得到Huffman编码。5.2静止图像的JPEG2000标准5.2.1JPEG2000标准概述5.2.2JPEG2000标准的处理过程5.2.1JPEG2000标准概述JPEG2000是一个较新的图像标准，目的是利用当前的压缩技术，提供一种新的图像编码体系。根据专家组确定的目标，新标准不仅能提高对图像的压缩质量（尤其是低码率时的压缩质量），而且还将得到许多新功能，包括根据图像质量、视觉感受和分辨率进行渐进传输、对码流的随机存取和处理、开放结构、向下兼容等。JPEG2000与传统JPEG最大的不同，在于它放弃了JPEG所采用的以离散余弦变换为主的区块编码方式，而改用以小波变换作为其核心算法，不仅克服了JPEG压缩倍数高时所产生的方块效应，同时还具有压缩率高、同时支持有损和无损压缩、能实现渐进传输、支持感兴趣区(ROI)的编码等优点。5.2.2JPEG2000标准的处理过程JPEG2000的基本结构可以参考图5.5。JPEG2000有两种编码模式：基于DCT的编码模式：采用现在的基线JPEG；基于小波的编码模式：包括不能还原和能还原的变换。图5.5JPEG2000的基本结构5.2.1JPEG2000标准概述JPEG2000基于DCT的编码模式是为了兼容JPEG，但对算法进行了更新或改进。基于小波的编码模式采用了基于离散小波变换（DWT）技术、标量量化、上下文建模、算术编码、以及后压缩率配置等新技术。处理过程如下：(1)对原始图像进行预处理，主要是DC位移。(2)对图像进行正向分量变换，把图像分解成分量图像，例如，把彩色图像分解成亮度、色度分量。5.2.1JPEG2000标准概述(3)把图像（或分量图像）分解成大小相等的矩形块，称为图像片（tiles）。图像片是原始或重建图像的基本单位。(4)在一个图像片上进行小波变换，形成分解级别。这些分解级别可以产生不同分辨率的成分。这些分解级别由系数的子频带组成，而这些系数描述了片成分上局部区域的频率特性。对小波系数子频带进行量化，并汇集进码块矩形数组。(5)对一个码块中的系数位面或比特面进行三次编码扫描，完成熵编码。5.3视频编码标准H.26XH.26X是由ITU-T制定的视频编码标准，主要有H.261、H.263、H.264等。其中，H.261制定于20世纪90年代初，尽管它的应用正在渐渐减少，但其所采用的基本方法对之后的视频编码标准的制定影响很大，对于理解MPEG-1、MPEG-2、H.263和H.264等标准非常有帮助。H.263标准制定于1996年，是目前视频会议的主流编码方法。2003年制定的H.264标准则是新一代的视频编码标准，在相同视频质量下，其压缩倍数较H.263有较大提高，具有广阔的应用前景。5.3视频编码标准H.26X5.3.1H.2615.3.2H.2635.3.3H.2645.3.1H.261H.261是ITU-T针对视频电话、视频会议等要求实时编解码和低时延应用提出的第一个视频编解码标准，于1990年12月发布。H.261标准将CIF和QCIF格式的数据结构划分为4个层次：图像层(P)、块组层(GOB)、宏块层(MB)和块层(B)。H.261的编码框图如图5.6所示，其中有两个模式选择开关用来选择编码模式，编码模式包括帧内编码和帧间编码两种，若两个开关均选择上方，则为帧内编码模式；若两个开关均选择下方，则为帧间编码模式。5.3.1H.261图5.6H261的编码框图5.3.2H.263H.263标准制定于1995年，是ITU-T针对64kbit/s以下的低比特率视频应用而制定的标准。它的基本算法与H.261基本相同，但进行了许多改进，使得H.263标准获得了更好的编码性能。H.263系统支持5种图像格式（Sub-QCIF，QCIF，CIF，4CIF，16CIF）与H.261相同，H.263仍然采用图像层P、块组层GOB、宏块层MB和块层B共4个层次的数据结构，但与H.261不同的是，在H.263中，对于不同的格式，每个GOB包含的MB数目是不同的，对应的行数也不同。H.263的编码器框图如图5.7所示。5.3.2H.263图5.6H263的编码框图5.3.3H.264ITU-TH.264标准于2003年通过，也成为ISO的MPEG-4标准的第十部分，其名称为“先进视频编码(AdvancedVideoCoding)”。H.264标准定义了两个层次，视频编码层(VCL)和网络抽象层(NAL)。H.264既支持逐行扫描的视频序列，也支持隔行扫描的视频序列，取样率定为4：2：0。5.3.3H.264与H.263比，H.264具有以下优点：(1)更高的编码效率。(2)自适应的时延特性。(3)面向IP包的编码机制。(4)错误恢复功能。(5)开放性。H.264基本系统无须使用版权，具有开放性。5.3.3H.264(3)面向IP包的编码机制。H.264引入了面向IP包的编码机制，有利于IP网络中的分组传输，支持网络中视频流媒体的传输，并且支持不同网络资源下的分级传输。(4)错误恢复功能。H.264提供了解决网络传输包丢失问题的工具，可以在高误码率的信道中有效地传输数据。(5)开放性。H.264基本系统无须使用版权，具有开放性。5.3.3H.264与H