多媒体技术Chapter13

电子科技大学计算机科学与工程学院——曹跃第13章MPEG电视MPEG-1和-2Video标准有许多共同之处：（1）基本概念类似，（2）数据压缩编码方法基本相同，（3）都采用以图像块作为基本单元进行变换、量化和移动补偿等技术来获得高压缩比。MPEG-4Video（1）部分采用内容基编码技术（2）与MPEG-1和-2Video向后兼容（3）引入了电视图像对象(VO)的概念下面简要介绍这些标准中压缩电视图像数据的基本方法。1电子科技大学计算机科学与工程学院——曹跃按照奈奎斯特(Nyquist)采样理论，模拟电视信号经过采样和量化之后，数字电视信号的数据量大得惊人，当前的存储器和网络都还没有足够的能力支持这种数据传输率，因此就要对数字电视信号进行压缩。13.1.1ITU-RBT.601标准数据率13.1电视图像的数据率2电子科技大学计算机科学与工程学院——曹跃为了在PAL、NTSC和SECAM彩色电视制之间确定一个共同的数字化参数，早在1982年国际无线电咨询委员会(CCIR)就制定了演播室质量的数字电视编码标准，这就是非常有名的ITU-RBT.601标准。使用4:2:2的采样格式，亮度信号Y的采样频率选择为13.5MHz/s，色差信号Cr和Cb的采样频率选择为6.75MHz/s，在传输通道上的数据传输率为270Mb/s。13.1.1ITU-RBT.601标准数据率3电子科技大学计算机科学与工程学院——曹跃亮度(Y):858样本/行×525行/帧×30帧/秒×10比特/样本≈135兆比特/秒(NTSC)864样本/行×625行/帧×25帧/秒×10比特/样本≈135兆比特/秒(PAL)Cr(R-Y):429样本/行×525行/帧×30帧/秒×10比特/样本≈68兆比特/秒(NTSC)429样本/行×625行/帧×25帧/秒×10比特/样本≈68兆比特/秒(PAL)Cb(B-Y):429样本/行×525行/帧×30帧/秒×10比特/样本≈68兆比特/秒(NTSC)429样本/行×625行/帧×25帧/秒×10比特/样本≈68兆比特/秒(PAL)13.1.1ITU-RBT.601标准数据率4电子科技大学计算机科学与工程学院——曹跃总计:27兆样本/秒×10比特/样本=270兆比特/秒实际上，在荧光屏上显示出来的有效图像的数据传输率并没有那么高，亮度(Y):720×480×30×10≈104Mb/s(NTSC)720×576×25×10≈104Mb/s(PAL)色差(Cr,Cb):2×360×480×30×10≈104Mb/s(NTSC)2×360×576×25×10≈104Mb/s(PAL)总计:～207Mb/s如果每个样本的采样精度由10比特降为8比特，彩色数字电视信号的数据传输率降为166Mb/s。13.1.1ITU-RBT.601标准数据率5电子科技大学计算机科学与工程学院——曹跃使用Video-CD存储器来存储数字电视，数据传输率可达到1.4112Mb/s，分配给电视信号的数据传输率为1.15Mb/s，MPEG电视编码器的输出数据率要达到1.15Mb/s。存储166Mb/s的数字电视信号就需要对它进行高度压缩，压缩比高达166/1.15≈144:1。13.1.2VCD电视图像数据率的估算13.1电视图像的数据率6电子科技大学计算机科学与工程学院——曹跃MPEG-1电视图像压缩技术不能达到这样高的压缩比。把NTSC和PAL数字电视转换成公用中分辨率格式CIF的数字电视，彩色数字电视的数据传输率就减小到352×240×30×8×1.5≈30Mb/s(NTSC)352×288×25×8×1.5≈30Mb/s(PAL)。把这种彩色电视信号存储到CD盘上所需要的压缩比为：30/1.15≈26:1。13.1.2VCD电视图像数据率的估算7电子科技大学计算机科学与工程学院——曹跃电视图像的数据率压缩成平均为3.5Mb/s～4.7Mb/s时非专家难于区分电视图像在压缩前后的之间差别。使用DVD-Video存储器来存储数字电视，它的数据传输率可以达到10.08Mb/s，但一张4.7GB的单面单层DVD盘要存放133分钟的电视节目，按照数字电视信号的平均数据传输率为4.1Mb/s来计算，压缩比要达到：166/4.10≈40:1。13.1.3DVD电视图像数据率的估算13.1电视图像的数据率8电子科技大学计算机科学与工程学院——曹跃如果电视图像的子采样使用4:2:0格式，每个样本的精度为8比特，数字电视信号的数据传输率就减小到124Mb/s，即720×480×30×8×1.5≈124Mb/s(NTSC)720×576×25×8×1.5≈124Mb/s(PAL)使用DVD-Video来存储720×480×30或者720×576×25的数字电视图像所需要的压缩比为：124/4.1≈30:1。13.1.3DVD电视图像数据率的估算9电子科技大学计算机科学与工程学院——曹跃电视图像数据压缩利用的各种特性和采用的方法归纳在表13-1中。电视图像本身在空间上和时间上都含有许多冗余信息，图像自身的构造也有冗余性。利用人的视觉特性也可对图像进行压缩，这叫做视觉冗余。基于云计算的游戏框架——交互式13.2.1简介13.2数据压缩算法10电子科技大学计算机科学与工程学院——曹跃表13-1电视图像压缩利用的各种冗余信息13.2.1简介种类内容目前用的主要方法统计特性空间冗余像素间的相关性变换编码，预测编码时间冗余时间方向上的相关性帧间预测，移动补偿图像构造冗余图像本身的构造轮廓编码，区域分割知识冗余收发两端对人物的共有认识基于知识的编码视觉冗余人的视觉特性非线性量化，位分配其他不确定性因素11电子科技大学计算机科学与工程学院——曹跃MPEG-Video图像压缩技术可以归纳成两个要点：①在空间方向上，图像数据压缩采用JPEG压缩算法来去掉冗余信息。②在时间方向上，图像数据压缩采用移动补偿算法来去掉冗余信息。MPEG专家组定义了三种图像：帧内图像I(intra)预测图像P(predicted)双向预测图像B(bidirectionallyinterpolated)典型的排列如图13-01所示。这三种图像将采用三种不同的算法进行压缩。13.2.1简介12电子科技大学计算机科学与工程学院——曹跃图13-01MPEG专家组定义的三种图像13.2.1简介13电子科技大学计算机科学与工程学院——曹跃帧内图像I不参照任何过去的或者将来的其他图像帧，压缩编码采用类似JPEG压缩算法，它的框图如图13-02所示。如果电视图像是用RGB空间表示的，则首先把它转换成YCrCb空间表示的图像。每个图像平面分成8×8的图块，对每个图块进行离散余弦变换DCT。13.2.2帧内图像I的压缩编码算法13.2数据压缩算法14电子科技大学计算机科学与工程学院——曹跃DCT变换后经过量化的交流分量系数按照Zig-zag的形状排序，然后使用无损压缩进行编码。交流分量系数用行程长度编码RLE，DCT变换后经过量化的直流分量系数用差分脉冲编码DPCM，然后用霍夫曼编码或者用算术编码。它的编码框图如图13-02所示。13.2.2帧内图像I的压缩编码算法15电子科技大学计算机科学与工程学院——曹跃图13-02帧内图像I的压缩编码算法框图13.2.2帧内图像I的压缩编码算法16电子科技大学计算机科学与工程学院——曹跃预测图像的编码是以图像宏块(macroblock)为基本编码单元，一个宏块定义为I×J像素的图像块，一般取16×16。预测图像P使用两种类型的参数来表示：一种参数是宏块的移动矢量，另一种参数是当前要编码的图像宏块与参考图像的宏块之间的差值。移动矢量的概念可用图13-03表示。13.2.3预测图像P的压缩编码算法13.2数据压缩算法17电子科技大学计算机科学与工程学院——曹跃图13-03移动矢量的概念13.2.3预测图像P的压缩编码算法18电子科技大学计算机科学与工程学院——曹跃求解差值的方法如图13-04所示。假设编码图像宏块MPI是参考图像宏块MRJ的最佳匹配块，它们的差值就是这两个宏块中相应像素值之差。对所求得的差值进行彩色空间转换，并作4:1:1的子采样得到Y，Cr和Cb分量值。然后仿照JPEG压缩算法对差值进行编码。13.2.3预测图像P的压缩编码算法19电子科技大学计算机科学与工程学院——曹跃图13-04预测图像P的压缩编码算法框图13.2.3预测图像P的压缩编码算法20电子科技大学计算机科学与工程学院——曹跃求解移动矢量的方法定义在图13-05中。在求两个宏块差值之前，需要找出编码图像中的预测图像编码宏块MPI相对于参考图像中的参考宏块MRJ所移动的距离和方向，这就是移动矢量。计算出的移动矢量也要进行霍夫曼编码。13.2.3预测图像P的压缩编码算法21电子科技大学计算机科学与工程学院——曹跃图13-5移动矢量的算法框图13.2.3预测图像P的压缩编码算法22电子科技大学计算机科学与工程学院——曹跃要使预测图像更精度，就要求找到与参考宏块MRJ最佳匹配的预测图像编码宏块MPI。最佳匹配是指这两个宏块之间的差值最小。通常以绝对值AE最小作为匹配判据，也有以均方误差MSE最小作为匹配判据，13.2.3预测图像P的压缩编码算法23电子科技大学计算机科学与工程学院——曹跃也有以平均绝对帧差MAD最小作为匹配判据，其中，dx和dy分别是参考宏块MRJ的移动矢量d(dx,dy)在X和Y方向上的矢量。对预测图像的编码就是寻找最佳匹配图像宏块，找到最佳宏块之后就找到了最佳移动矢量d(dx,dy)。13.2.3预测图像P的压缩编码算法24电子科技大学计算机科学与工程学院——曹跃为减少搜索次数，有许多简化算法用来寻找最佳宏块，下面介绍其中的三种。1.二维对数搜索法(2D-logarithmicsearch)采用的匹配判据是MSE为最小。搜索策略是沿着最小失真方向搜索。二维对数搜索方法如图13-06所示。在搜索时，每移动一次就检查5个搜索点。如果最小失真在中央或在边界，就减少搜索点之间的距离。步骤1，2，…，5得到的近似移动矢量d为(i，j-2)、(i，j-4)、(i+2，j-4)、(i+2，j-5)和(i+2，j-6)，最后得到的移动矢量为d(i+2，j-6)。13.2.3预测图像P的压缩编码算法25电子科技大学计算机科学与工程学院——曹跃图13-06二维对数搜索法13.2.3预测图像P的压缩编码算法26电子科技大学计算机科学与工程学院——曹跃2.三步搜索法(three-stepsearch)这种搜索法与二维对数搜索法很接近。在开始搜索时，搜索点离(i，j)这个中心点很远，第一步就测试8个搜索点，如图13-07所示。在这个例子中，点(i+3，j-3)作为第一个近似的移动矢量d1；第二步，搜索点偏离(i+3，j-3)较近，找到的点假定为(i+3，j-5)；第三步给出了最后的移动矢量为d(i+2，j-6)。本例采用MAD作为匹配判据。13.2.3预测图像P的压缩编码算法27电子科技大学计算机科学与工程学院——曹跃图13-07三步搜索法13.2.3预测图像P的压缩编码算法28电子科技大学计算机科学与工程学院——曹跃3.对偶搜索法(conjugatesearch)该法使用MAD作为匹配判据，示于图13-08。第一次搜索时，通过计算点(i-1，j)、(i，j)和(i+1，j)处的MAD值来决定i方向上的最小失真。如果计算结果表明点(i+1，j)处的MAD为最小，就计算点(i+2，j)处的MAD，并从(i，j)，(i+1，j)和(i+2，j)的MAD中找出最小值。直到在i方向上找到最小MAD值及其对应的点。假定在i方向上找到的点为(i+2，j)。在i方向上找到最小MAD值对应的点之后，就沿j方向去找最小MAD值对应的点，方法与i方