多媒体技术视频编码标准

国际视频压缩标准简介2主要内容•视频压缩标准发展历史•MPEG系列压缩标准简介3视频压缩标准发展历史ITU:ISO/IEC:H.261H.262H.263H.263+H.264MPEG1MPEG2MPEG4(Part2)MPEG7MPEG21MPEG4(Part10)4视频压缩标准对比H.261p×64kb/s视频编码标准时间1990年12月输入176×144(QCIF)352×288(CIF)帧速率可变=30输出p×64kb/s(p=1,2,…,32)压缩率20~30小于MPEG1压缩算法运动补偿帧间预测与分块DCT相结合的混合编码应用可视电话、视频会议等对称应用5视频压缩标准对比（续）MPEG1数据传输速率为1.5Mb/s的数字存储媒体运动图像及其伴音编码标准时间1993年8月输入视频：352×240×30，352×288×25音频：32、44.1、48kHz的线性PCM输出1.5Mb/s、32-384Kb/s(音频)压缩率20~30压缩算法运动补偿帧间预测（单向预测＋双向预测）＋DCT应用VCD、MP3、局域网视频传输6视频压缩标准对比（续）MPEG2H.262运动图像及其伴音通用编码标准时间1994年11月输入352×288～1920×1152采用频率为16、22.05、24、32、44.1、48kHz的线性PCM输出1.5－80Mb/s、8-640Kb/s(音频)压缩率30－40压缩算法运动补偿帧间预测（单双向预测）＋DCT、可伸缩性、前向兼容应用DVD、DVB、HDTV7视频压缩标准对比（续）H.263H.263+甚低码率通信的视频编码标准时间1996年3月、1998年1月输入QCIF、CIF、128×96(SubQCIF)、704×576(4CIF)、1408×1152(16CIF)输出30kb/s～压缩率H.263+H.263MPEG2压缩算法运动补偿帧间预测（单双向预测）＋DCT局部算法改进可伸缩性应用通用电话交换网、局域网的视频通信8视频压缩标准对比（续）MPEG4(Part2)MPEG4Visual甚低码率活动图像及其伴音编码标准时间1999年输入≧176×144的多种分辨率格式输出4.6Kb/s～64Kb/s压缩率≧100压缩算法基于对象的新一代编码技术，注重交互性，即可包含自然对象，又可包含人工合成对象应用可应用范围很广、目前多用于因特网视频传输、流媒体应用9视频压缩标准对比（续）H.264MPEG4(Part10)MPEG4AVC时间2003年5月输入多种分辨率格式输出压缩率压缩率最高的视频压缩标准，比MPEG4Visual节约50％的码率压缩算法基于传统框架的混合编码系统，只是做了局部优化。更注重编码效率和可靠性应用视频广播、视频通信和存储媒体（CDDVD）等多种应用10MPEG-1视频压缩标准MPEG-1标准号为ISO/IEC11172，它由五部分组成：•MPEG-1系统（MPEG-1Systems）：规定视频数据、声音数据及其他相关数据的同步合成技术•MPEG-1视频编码标准（MPEG-1Video）•MPEG-1音频编码标准（MPEG-1Audio）•MPEG-1一致性测试：详细说明如何测试比特数据流和解码器是否满足MPEG-1前3个部分(Part1，2和3)中所规定的要求。•MPEG-1软件模拟：一个技术报告，给出了软件执行MPEG1前3个部分的运行结果。11MPEG-1视频压缩标准输入、输出指标MPEG视频编码器352×288×25×8×1.5352×240×30×8×1.530Mb/s1.15Mb/s26:1帧规格：352×28825帧8比特1.5表示4:2:012MPEG1视频编码器框架13MPEG1视频视频压缩算法图MPEG-1syntaxhierarchy14MPEG1视频压缩算法运动图像序列图片组（GOP）IBBPBBP…图片条（Slice）宏块MacroBlock1616块（Block）88分割：15MPEG1视频压缩算法GOP的组成：时间顺序p1p2p3p4p5p6p7编码顺序p1p4p2p3p7p5p6I帧是一个随机访问点。B图像不能作为其它图像的参考帧。I帧：P帧：单向预测帧B帧：双向预测帧16MPEG1视频压缩算法为了在图像质量和数据速率之间作出调整，MPEG-1编码器允许（1）选择I帧的频率和位置，（2）选择I和P之间双向预测帧B的数目。17•GOP图像组是一系列要连续编码的图像，一个图像组中至少有一个I帧，一个图像组可以以I帧或B帧开始，而结尾必须为I帧或P帧。•片Slice:每幅图像分成一系列大小可变的块,最大的可为整幅图像，最小的可为一个宏块•定义片的目的是:在发生误码时,解码器可以丢弃一个片而不是一幅图像,同时可在片一个层次上定义量化因子对码流校正MPEG1视频压缩算法18MPEG1视频压缩算法19MPEG1视频压缩算法运动补偿技术在宏块一级工作：•I帧：没有使用运动补偿预测，与BaselineJPEG类似，I帧可用作预测P帧和B帧的参考帧。•P帧：采用一个参考帧的运动补偿的帧间预测编码方式，当前P帧前面的I帧和P帧作为其参考帧，采用前向预测（FarwordPrediction）方式。I帧可用作预测P帧和B帧的参考帧。•B帧：采用两个参考帧的运动补偿的帧间预测编码方式,当前B帧前后的I帧和P帧作为其参考帧，运动估计补偿块可由三种方式获得：前向预测（FarwordPrediction）方式，后向预测（backwordPrediction）和双向预测方式（BidirectionPrediction，均值）。B帧不作参考帧。20MPEG1视频压缩算法I图像帧的压缩算法：在空间方向上（帧内），MPEG－1压缩采用JPEG压缩算法来去掉冗余信息。21MPEG1视频压缩算法P图像帧的压缩算法：对于P宏块，MPEG－1采用运动补偿帧间预测算法来去掉时间轴上的冗余信息。22MPEG1视频编码算法B图像帧的压缩算法：23MPEG1视频编码算法B图像帧的压缩算法：24MPEG1视频编码算法I帧编码量化对于DC的量化步长为8对于AC的量化QDCT(i,j)=8*DCT(i,j)/qQ(i,j)Q量化矩阵，q量化因子，量化因子在片的标题中，也可在每个宏块25MPEG1视频编码算法DC量化对DC系数差值编码为（size,amp）amp表示幅值size表示amp所需二进制位Amp用反码表示，size用Huffman编码例DC差值为195195＝(11000011)2size=8,amp=11000011size=8111110195的码字11111011000011-195的码字11111000111100Huffman26MPEG1视频编码算法AC量化Zigzag编码，AC系数表示为（行程/幅度）对（行程/幅度）用Huffman编码27MPEG1视频编码算法P帧编码对于P帧中的宏块进行编码时有更多的选择（1）决定是否用运动补偿（2）决定对宏块使用帧间编码方式还是帧内编码方式（3）决定宏块是否被编码（4）决定是否改变量化因子28MPEG1视频编码算法B帧编码对于B帧中的宏块进行编码时有更多的选择（1）决定是否使用前向运动补偿，还是后向运动补偿或者双向运动补偿（2）决定使用帧间编码方式还是帧内编码（3）决定宏块是否被编码（4）决定是否改变量化因子2930MPEG1视频编码算法31MPEG-2通用视频压缩标准MPEG-2的标准号为ISO/IEC13818，它主要由以下几部分组成：•MPEG-2系统（MPEG-1Systems）•MPEG-2视频编码标准（MPEG-2Video）•MPEG-2音频编码标准（MPEG-2Audio）•MPEG-2高级音频编码标准（MPEG-2AAC）与MPEG-1一样，MPEG-2只规定了码流结构和解码器算法规则，而把实际编码器模型向设计者开放，以提供更多的选择性和自由度。32MPEG-2VideoMPEG-2Video与MPEG-1的基本编码算法相同，只是增加了如下功能：（1）能够在很宽的范围内对不同分辨率和不同输出比特率的图像信号有效的进行压缩。（2）处理隔行扫描的视频信号的能力（场编码）。（3）多样化的取样模式：4:2:0，4:2:2，4:4:4（4）可伸缩（Scalable）的视频编码模式：Ⅰ编码时可以在图像质量和数据速率之间作出调整Ⅱ解码时只对码流的一部分进行解码和对码流的全部进行解码能够分别获得不同质量的重建图像。33可伸缩性编码模式（1）信噪比伸缩性（Signal-to-NoiseScalability）（2）空间分辨率伸缩性（SpatialScalability）（3）时间分辨率伸缩性（TemporalScalability）绝对值：均方误差：平均绝对帧差：可伸缩性编码模式可伸缩性编码模式可伸缩性编码模式可伸缩性编码模式可伸缩性编码模式可伸缩性编码模式可伸缩性编码模式下采样上采样+-－可伸缩性编码模式42可伸缩性编码模式可伸缩性编码模式可伸缩性编码模式可伸缩性编码模式可伸缩性编码模式47MPEG-4视频压缩标准MPEG-4从1994年开始工作，目标是为视听(audio-visual)数据的编码和交互播放开发算法和工具，它是一个数据速率很低的多媒体通信标准。MPEG-4算法的核心是支持基于内容的(content-based)的编码和解码功能，也就是对场景中使用分割算法抽取的单独的物理对象进行编码和解码。48MPEG-4视频压缩标准MPEG-4Visual:支持低码率应用(tensofkbpsorless).支持面向对象或面向内容的编码(object-basedorcontent-basedcoding)将一个视频场景（avideoscene）当成前景和背景对象（foregroundandbackgroundobjects）的集合而不仅仅是矩形帧的序列.特点：可以独立编码一个场景中的不同对象；复用场景成分；不同来源的对象合成一个场景；更高的交互能力49MPEG-4视频压缩标准输入格式：picturesize（listedinthetable）framerate:upto30f/s4:2:0Y:Cr:Cb帧的类型：EachframeiscodedasanI-orP-frame.I-frame:onlyintracodedmacroblocksP-frame:eitherintra-orinter-codedmacroblocks.MPEG-4Visual:面向低码率应用50MPEG-4视频压缩标准运动估计与补偿Macroblocksize:16x16or(optionally)8x8.Motionvectors:half-pixelresolution.变换编码DCTtransform:对运动补偿后的残差图像编码quantisationzigzagscanningrun-levelcoding.Variable-lengthcoding51MPEG-4视频压缩标准MPEG-4Visual:面向对象的应用面向对象编码的概念如图所示：场景:由一个背景和两个前景视频对象VO(videoobject)构成videoobjectplane(VOP)：VO的一个时间瞬间的快照(snapshot)VideosceneshowingmultiplevideoobjectsVO3VO2VO152MPEG-4视频压缩标准形状编码（Shapecoding）specifytheboundariesofeachnon-rectangularVOPbinaryshapeinformation:internaltotheVOP,describedas‘opaque’,externaltotheVOP,describedas‘transparent’greyscaleshapeinformationthatidentifiesthetransparencyofthepixelitintroducesthepossibilityofoverlapping,se