H.265(Hevc)技术详解

HEVCH.2652014-9AgentH.265的发展背景和历程H.265的关键技术H.265编码能力对比H.265的产品实现H.265应用实测3H.265与4K视频背景(1)4视频应用向以下几个方向发展的趋势愈加明显：高清晰度(HigherDefinition)：数字视频的应用格式从720P向1080P全面升级，在一些视频应用领域甚至出现了4Kx2K、8Kx4K的数字视频格式;高帧率(Higherframerate)：数字视频帧率从30fps向60fps、120fps甚至240fps的应用场景升级;高压缩率(HigherCompressionrate)：传输带宽和存储空间一直是视频应用中最为关键的资源，因此，在有限的空间和管道中获得最佳的视频体验一直是用户的不懈追求。背景（2）5由于数字视频应用在发展中面临上述趋势，如果继续采用H.264编码就出现的如下一些局限性：(1)宏块个数的爆发式增长，会导致用于编码宏块的预测模式、运动矢量、参考帧索引和量化级等宏块级参数信息所占用的码字过多，用于编码残差部分的码字明显减少。(2)由于分辨率的大大增加，单个宏块所表示的图像内容的信息大大减少，这将导致相邻的4x4或8x8块变换后的低频系数相似程度也大大提高，导致出现大量的冗余。(3)由于分辨率的大大增加，表示同一个运动的运动矢量的幅值将大大增加，H.264中采用一个运动矢量预测值，对运动矢量差编码使用的是哥伦布指数编码，该编码方式的特点是数值越小使用的比特数越少。因此，随着运动矢量幅值的大幅增加，H.264中用来对运动矢量进行预测以及编码的方法压缩率将逐渐降低。(4)H.264的一些关键算法例如采用CAVLC和CABAC两种基于上下文的熵编码方法、deblock滤波等都要求串行编码，并行度比较低。针对GPU/DSP/FPGA/ASIC等并行化程度非常高的CPU，H.264的这种串行化处理越来越成为制约运算性能的瓶颈。H.265应运而生基于以上应用发展趋势和H.264的局限性，面向更高清晰度、更高帧率、更高压缩率的高效视频编码标准(HighEfficiencyVideoCoding）HEVC(H.265)协议标准应运而生。HEVC的:核心目标：在H.264/AVChighprofile的基础上，保证相同视频质量的前提下，视频流的码率减少50%。在提高压缩效率的同时，允许编码端适当提高复杂度（三倍计算复杂性下）。编码框架：沿用H.263的混合编码框架，即用帧间和帧内预测编码消除时间域和空间域的相关性，对残差进行变换编码以消除空间相关性，熵编码消除统计上的冗余度。HEVC在混合编码框架内，着力研究新的编码工具或技术，提高视频压缩效率。技术创新：基于大尺寸四叉树结构的分割技术，多角度帧内预测技术，运动估计融合技术，高精度运动补偿技术，自适应环路滤波技术以及基于语义的熵编码技术。6H.265（HEVC）标准完成时间点72010年1月，ITU-TVCEG(VideoCodingExpertsGroup)和ISO/IECMPEG(MovingPictureExpertsGroup)联合成立JCT-VC(JointCollaborativeTeamonVideoCoding)了联合组织，统一制定下一代编码标准：HEVC(HighEfficiencyVideoCoding)。2012.2：委员会草案（标准草案完成稿）；HEVC委员会草案获得通过。2012.7：HEVC国际标准草案获得通过；2013.1：国际标准最终获得通过；AgentH.265的发展背景和历程H.265的关键技术H.265编码能力对比H.265的产品实现H.265应用实测8H.265与4K视频H.265关键技术(1)—四叉树编码结构该结构使用编码单元(CodingUnit,CU)，预测单元(PredictionUnit,PU)和变换单元(Transformunit,TU)3个概念描述整个编码过程。编码单元：HEVC定义了5种类型的编码元:128×128(LCU)，64×64，32×32，16×16，8×8(SmallestCodingUnit,SCU)。对于每个CU，HEVC使用PU来实现该CU单元的预测过程，对于帧内预测，HEVC定义了34种帧内预测方向（H.264为9种），对于帧间预测，HEVC采取了运动矢量方案(MVR)、差值滤波(IF)、运动共享(MS)、运动向量竞争(MVC)和基于块的照明竞争(B-BIC)来提高编码性能。变换单元，则是针对正交变换和量化。对于正交变换，HEVC采用包含了16×16，32×32和64×64等尺寸块的变换矩阵、旋转变换和基于模式的方向性变换来提高编码性能。910LCU的树形结构示意图(a)2N×2N(b)N×2N(c)2N×N(d)N×N4种PU分割类型64×64CU所支持的4种AMP分割形态H.265关键技术(1)—四叉树编码结构HEVC的变换结构突破了原有的变换尺寸限制，可支持4×4至32×32的编码变换，以TU为基本单元进行变换和量化。为提高大尺寸编码单元的编码效率，DCT变换同样采用四叉树型的变换结构。下图为编码单元、变换单元的四叉树结构关系图，其中虚线为变换单元四叉树分割，实线为编码单元四叉树分割，编号为各编码单元的编码顺序。H.265关键技术(1)—四叉树编码结构11左图是传统的H.264标准，每个宏块大小都是固定的；右图是H.265标准，编码单元大小是根据区域信息量来决定的H.265关键技术(1)—四叉树编码结构12H.265关键技术(2)—预测编码技术HEVC的帧间、帧内预测的基本框架与H.264基本相同：采用相邻块重建像素对当前块进行帧内预测，从相邻块的运动矢量中选择预测运动矢量，支持多参考帧预测等。HEVC改进之处：帧内预测将原有的8种预测方向扩展至33种，增加了帧内预测的精细度。另外，帧内预测模式保留了DC预测，并对Planar预测方法进行了改进。目前HM模型中共包含了35种预测模式，下图只显示了34种，未显示Planar预测方法。318101942011210221223524251362:DCmode2614277281529130163183217339多角度帧内预测1314H.265关键技术(2)—预测编码技术帧间预测技术广义B预测技术：HEVC仍然采用了H.264中的B预测方式，同时还增加了广义B(GeneralizedPandBpicture，GPB)预测方式。GPB预测结构对传统P帧采取双向预测方式进行预测，前向和后向参考列表中的参考图像都必须为当前图像之前的图像，且两者为同一图像，这种运动预测方式增加了运动估计的准确度，提高了编码效率。高精度运动补偿技术：a.HEVC的编码器内部增加了像素比特深度，最大可支持12bit的解码图像输出，提高了解码图像的信息精度。b.HM模型采取了高精度的双向运动补偿技术，即无论最终输出图像比特深度是否增加，在双向运动补偿过程中都将使用14bit的精度进行相关计算。运动融合技术：将以往的跳过预测模式(SkipMode)和直接预测模式(DirectMode)的概念进行了整合。采用融合模式时，当前PU块的运动信息(包括运动矢量、参考索引、预测模式)都可以通过相邻PU的运动信息推导得到。编码时，当前PU块只需要传送融合标记(MergeFlag)以及融合索引(MergeIndex)，无需传送其运动信息自适应运动矢量预测技术：为一般的帧间预测PU服务，通过相邻空域相邻PU以及时域相邻PU的运动矢量信息构造出一个预测运动矢量候选列表，PU遍历运动矢量候选列表，在其中选择最佳的预测运动矢量。利用AMVP技术可充分发掘时域相关性和空域相关性。H.265关键技术(3)—环路滤波151个HEVC环路滤波包括3个环节：去块滤波：在H.264的去块滤波技术的基础上发展而来的，但为了降低复杂度，目前的HM模型取消了对4×4块的去块滤波采样点自适应偏移(SampleAdaptiveOffset，SAO)：HEVC采用的新技术，SAO在编解码环路内，位于Deblock之后，通过对重建图像的分类，对每一类图像像素值加减一个偏移，达到减少失真的目的，从而提高压缩率，减少码流。分为带状偏移(BandOffset，BO)和边缘偏移(EdgeOffset，EO)两大类自适应环路滤波(AdaptiveLoopFilter，ALF)：HEVC采用的新技术，在编解码环路内，位于Deblock和SAO之后，用于恢复重建图像以达到重建图像与原始图像之间的均方差(MSE)最小。H.265关键技术(4)—熵编码16H.264的熵编码CABAC编码器采用串行处理的方式，解码端需要非常高频率的计算能力；而H.265选用了两种并行商编码方案，提高并行处理能力，降低对解码端芯片的频率要求：可支持上下文自适应变长编码(CAVLC)：用于低复杂度的编码场合基于语法元素的上下文自适应二进制算术编码(SB-CABAC)：用于高效的编码场合。H.265关键技术(5)—细粒度slice分块边界17H.265的熵编码slice边界划分不以LCU为单位，而是以更小的CU为单位，每个slice的大小都可以精确控制，同时解决了码率控制和负载均衡的问题。但是带来的代价是slice边界处理更为复杂。片的分割如图：H.265关键技术(6)—比H.264改进之处18相对于H.264，H.265标准的算法复杂性有了大幅提升，以此获得较好的压缩性能。H.265在很多特性上都做了较大的改进，具体各项改进如表所示：H.264H.265MB/CU大小4×4‥16×164×4‥64×64亮度插值Luma-1/2像素{1,-5,20,20,-5,1}Luma-1/4像素{1,1}Luma-1/2像素{-1,4,-11,40,40,-11,4,-1}Luma-1/4像素{-1,4,-10,57,19,-7,3,-1}Luma-1/4像素{-1,3,-7,19,57,-10,4,-1}MVP预测方法空域MVP预测空域+时域MVP预测AMVP\Merge亮度Intra预测4×4/8×8/16×16:9/9/4模式34种角度预测+Planar预测DC预测色度Intra预测DC,Horizontal,Vertical,PlaneDM,LM,planar,Vertical,Horizontal,DC,diagonal变换DCT4×4/8×8DCT4×4/8×8/16×16/32×32DST4×4去块滤波器4×4和8×8边界Deblock滤波较大的CU尺寸，4×4边界不进行滤波AgentH.265的发展背景和历程H.265的关键技术H.265编码能力对比H.265的产品实现H.265应用实测19H.265与4K视频编码能力对比图像大小-帧数场景视频质量PSNRY主观同等质量下的码率(kbps)码率降低比率H.264H.265D1-24fps简单4353835134.8%风景45.8120575037.8%运动38.5123078036.6%720P-24fps简单42.583553735.7%风景45.4207013593.5%运动39.52252144236.0%分别采用不同的编码技术编出D1和720P的视频，在同等分辨率下每种编码技术码率对比如下表所示：20编码能力对比21相同质量情况下，H.265编码比H.264编码的码率减少25%～35%。质量越高，编码后的码率差别越大。编码能力对比22编码能力对比编码标准码率降低的平均值H.264/MPEG-4AVCHPMPEG-4ASPH.263HLPH.262/MPEG-2MPHEVCMP35.4%63.7%65.1%70.8%H.264/MPEG-4AVCHP---44.5%46.6%55.4%MPEG-4ASP------3.919.7%H.263HLP---------16.2%相同PSNR时，几种不同视频编码标准的对比：23压缩能力对比