第五讲H264压缩编码标准(一).ppt-[兼容模式]

中国传媒大学11第五讲、H.264压缩编码标准CommunicationUniversityofChina中国传媒大学2H.264概述1•ITU-T、ISO/IEC;•ITU针对可视会议等应用分别制定了H.261、H.262、H.263、H.263+、H.263++;•ISO/IEC主要制定了MPEG-1、MPEG-2、MPEG-4等标准;•由ITU-T视频编码专家组（VCEG）和ISO/IEC运动图像专家组（MPEG）联合组成的联合视频组（JVT，JointVideoTeam）提出的新一代数字视频压缩标准。中国传媒大学3H.264概述2•H.264/MPEG-4AVC（AdvancedVideoCoding）MPEG-4第10部分；•注重实用，采用成熟的技术，要求更高的编码效率和简洁的表现形式；•注重对移动和IP网络的适应，采用分层技术，从形式上将编码和信道隔离开来，实质上是在源编码器算法中更多地考虑到信道的特点；•在混合编码器的基本框架下，对其主要关键模块都进行了重大改进；中国传媒大学4一、H.264编码原理•H.264/AVC标准没有明确定义一个编解码器。•标准定义的是编码视频比特流的语法结构和对该比特流解码的方法。H.264标准的预测、变换、量化、熵编码等基本功能模块与前几个标准（MPEG-1,MPEG-2,MPEG-4,H.261,H.263）并无太大区别。•变化主要体现在功能模块的具体细节上。中国传媒大学5H.264主要特点•压缩效率高;•容错能力强;•网络适应性好;•计算复杂度高;中国传媒大学61、H.264/AVC编码器中国传媒大学72、H.264/AVC解码器中国传媒大学83、H.264/AVC与其它编码标准的差异•（1）帧内预测在空间域进行帧内预测，提高帧内编码的精确度；•（2）运动估计与运动补偿不同尺寸的块和形状，高分辨率的子像素运动估计和选择多个参考帧；•（3）DCT变换•使用整数的DCT变换；中国传媒大学93、H.264/AVC与其它编码标准的差异•（4）去块效应滤波•为消除块效应，增加了自适应消块滤波器•（5）熵编码技术通用变长编码(UVLC,universalvariablelengthcoding)、基于上下文的自适应变长码编码(CAVLC,context-basedadaptivevariablelengthcoding)或基于上下文的自适应二进制算术编码(CABAC,context-basedadaptivebinaryarithmeticcoding)。中国传媒大学104、H.264的Profiles•BaselineProfile，BP版本简单、应用广；•MainProfile，MP，采用多项提高图像质量和增加压缩比的技术措施，可用于SDTV，HDTV，DVD等。编码效率高，复杂度高。熵编码采用CABAC。•ExtendedProfile，EP，可用于网络的视频流传输，编码效率高，实时性不高，流的播放实时性要求较高。去掉了CABAC，增加了流的工具群。中国传媒大学11H.264型和级•基本型:实时视频通信;•主型:数字广播电视与视频存储;•扩展型:流媒体;•级:每一型设置不同的参数如取样速率、图像规格、编码比特率等，成为对应编解码器的级。中国传媒大学12SVC(H.264/AVCAMD2)13多视点视频编码(MVC)N个视点多视点视频解码多视点视频编码M个恢复视点存储/传输系统………应用：多视点立体显示（裸眼）；自由视点视频（视点和观看方向可交互改变；支持沉浸感电视会议；中国传媒大学14(MVC)H.264/AVC的第四个扩展2个视点时，可应用于立体电视编码。中国传媒大学155、Slices(片)•H.264编码的结构——一个视频图像可以划分成一个或多个片进行编码,每片包含整数个宏块;•5种类型:I-Slices\P-Slices\B-Slices\SI-Slices\SP-Slices;•目的:限制误码的扩散和传播,使编码片与片之间保持独立;•SlicesGroup(片组)。中国传媒大学16SlicesGroup交错散乱前景/背景中国传媒大学17二、H.264采用的先进技术•分层设计；•帧内预测编码；•帧间预测编码；•整数变换；•量化处理；•去块效应滤波；•熵编码中国传媒大学181、分层设计•在网络传输环境中，其视频编码方案主要由以下两部分组成：视频编码层VCL(videocodinglayer)和支持视频在不同网络之间传输的网络抽象层NAL(networkabstractionlayer)。NAL头RBSPNAL头RBSP中国传媒大学192、帧内预测编码•H.264并不直接对图像块进行处理，而是根据邻近块的值来预测当前宏块的值，然后再对预测值和原始值的差值进行变换、量化和编码。•H.264支持帧内编码模式:亮度块4×4与16×16编码模式;色度块8×8编码模式;中国传媒大学20（1）、4×4帧内预测模式QABCDEFGHIJKLMNOPabcdefghijklmnop中国传媒大学21中国传媒大学224×4预测块•SAE:绝对误差和中国传媒大学23(2)16×16帧内预测模式•对于图像中的平坦区域，以16×16为单位进行预测更有助于加快处理速度和降低码率。H.264提供了垂直预测、水平预测、直流预测和平面预测四种16×16的预测模式。中国传媒大学2416×16预测块中国传媒大学25(3)色度块的帧内预测及编码•每个帧内编码宏块的8×8色度分量由已编码左上方色度像素的预测而得，两种色度分量常用一种预测模式。4种预测模式类似于帧内16×16的4种预测模式，只是模式编号不同，其中DC为模式0，水平为模式1，垂直为模式2，平面为模式3。中国传媒大学26(4)帧内预测模式的编码方式传输中国传媒大学273、帧间预测编码•H.264编解码器采用基于块的运动补偿。除了保留以前编码标准的主要特性外，同时还采用了一些新的特性来提高编码效率。其主要方法包括：•(1)在运动搜索时使用不同大小和形状的块进行搜索；•(2)使用1/4像素精度搜索，即使用高精度的运动矢量来表示图像块的运动方向和位移；•(3)使用多个预测帧进行帧间预测；•(4)引入SP帧和SI帧；中国传媒大学28（1）、树状结构运动补偿（TreeStructuredMotionCompensation）中国传媒大学29区域划分举例中国传媒大学30（2）、1/4像素精度运动矢量•H.264算法由于采用1/4像素精度来表示运动矢量的大小，因此能够更准确的得到预测块相对于原始块的位移，从而提高了预测精度，以达到压缩码率的效果，它能够节省20%的比特开销。中国传媒大学31（3）、多个参考帧进行帧间预测•H.264标准中，在帧间编码过程中不只使用一个参考帧进行预测。编码器可以在多个参考帧中进行运动搜索，选择一个效果最好，与编码帧最相似的一帧作为参考帧。•可以得到更好的主观图像质量及编码效率。•增加处理延时而且编解码器需要更多的内存来储存参考帧。中国传媒大学32中国传媒大学33MVP运动矢量预测•由于每个帧间的分割区域需要相应的运动矢量。MV可由邻近已编码的分割区域的MV预测得到。BAFCBAFC中国传媒大学34（4）、引入SP帧和SI帧•适应带宽自适应性和抗误码的要求定义：•SP帧和SI帧；•SP帧可以参考不同的参考帧重构图像。•应用：流切换、拼接、随机进入、快进快退、错误恢复。•编码效率低于P帧，高于I帧，改善网络亲和性，支持流媒体服务，具备强抗误码性能，适应干扰大、丢包率高的无线信道。中国传媒大学35（4）、引入SP帧和SI帧•H.264除了支持I帧、P帧和B帧外，还支持新的码流间可转换帧—SP帧和SI帧。A0PA1PA2PA3PA4PB0PB1PB2IB3PB4P码流A码流B中国传媒大学36SP帧切换码流A0PA1PA2PSPA3PA4PB0PB1PB2PSPB3PB4P码流A码流BAB2SSP注：码流A和B是不同参数编码的同一内容节目。中国传媒大学37SPAB2的编码解码过程T-QVLETMCSPAB2帧B2帧A1T-1+Q-1VLDTMC帧B2SPAB2帧A1++++中国传媒大学38SI帧拼接和随机进入A0PA1PA2PSPA3PA4PB0PB1PB2PSPB3PB4P码流A码流BAB2SI注：码流A和B是不同内容节目。中国传媒大学39利用SI帧、SP帧进行错误恢复A0PA1PA2PA3PA4PB2SP码流AB2SI中国传媒大学404、整数变换•对每个宏块的预测误差都将进行变换，量化和编码。H.264的“Baseline”型（profile）根据所压缩的数据类型不同而采用三种不同的变换方式。•适用于帧内预测宏块4×4亮度DC系数块的变换；•适用于任何宏块色度2×2DC系数块的变换；•适用于其他4×4残差数据块的变换；•如果需要，还可以选择与运动补偿块大小（4×8、8×4、8×8、16×8）相对应的变换。中国传媒大学41宏块扫描和传输顺序中国传媒大学42（1）4×4残差变换•变换适用于运动补偿或帧内预测后的4×4残差数据块（0~15和18~25）。虽然该变换的基础是DCT变换但二者之间有根本的差别：•1)该变换是一种整数变换，所有的运算都是整数运算并且没有精度损失。•2)H.264标准中对该变换的反变换有详细的说明，如果完全按照说明正确执行，编解码器之间不会出现误匹配。•3)该变换的核心部分不需要乘法，仅仅需要加法和移位运算。中国传媒大学43作业7（4月21日）•1、H.264与目前广泛应用的视频压缩标准相比有哪些突出的优点？有无缺点？•2、H.264有哪些Profiles？分别针对哪些应用？•3、什么是H.264的Slices？Slices有什么作用？H.264的Slices有哪几种类型？•4、H.264编码的分层设计分为哪几个层？分别有什么作用？中国传媒大学44作业7（4月21日）•5、H.264编码支持哪两种帧内编码模式？分别有什么特点？•6、在进行帧间预测编码处理时，H.264为什么采用不同大小和形状的块进行运动补偿？•7、H.264采用了哪些先进的技术措施？•8、H.264的SP帧和SI帧有什么特点?分别应用在哪些场合?•9、H.264编码标准的整数变换有什么特点？