HEVC相关技术简介

新一代视频编码标准HEVC(HighEfficiencyVideoCoding)相关技术简介刘晟何美伶许晴晴2014-11-10纲要HEVC产生的背景HEVC与H.264/AVC的联系与区别HEVC编码层结构视频应用发展趋势●HDTV●3DTV●自由多视点视频●实时视频会议●IPTV业务●3G无线网络应用范围更广码率与带宽复杂的应用环境视频应用发展趋势●高清晰度(HigherDefinition)：数字视频的应用格式从720P向1080P全面升级，在一些视频应用领域甚至出现了4Kx2K、8Kx4K的数字视频格式●高帧率(Higherframerate)：数字视频帧率从30fps向60fps、120fps甚至240fps的应用场景升级●高压缩率(HigherCompressionrate)：传输带宽和存储空间压缩要求更高H.264编码的局限性导致运动矢量幅值大幅增加，H.264中用来对运动矢量进行预测以及编码的方法压缩率将逐渐降低。分辨率的大幅增加单个宏块所表示的图像内容的信息大大减少，这将导致相邻的4×4或8×8块变换后的低频系数相似程度也大大提高，导致出现大量的冗余。宏块个数的爆发式增长针对DSP等这种并行化程度非常高的CPU，H.264的这种串行化处理越来越成为制约运算性能的瓶颈。并行度比较低码率压缩趋势HEVC在H.264/AVC的基础上提出码率压缩提升一倍，符合发展规律！HEVC的提出■ISO-IEC/MPEG和ITU-T/VCEG成立了一个研究视频编码的联合协作小组JCT-VC(thejointcollaborativeteamonvideocoding)，其宗旨是建立新一代的视频编码标准。■2010年4月在德国德雷斯顿召开了JCT-VC第一次会议，确定了新一代视频编码标准的名称：HEVC(HighEfficiencyVideoCoding)。并且建立了测试模型TMuC(TestModelunderConsideration)，分领域搜集和审阅技术提案。初步定于2012年7月完成标准的最终稿。■2010年10月在广州召开了JCT-VC第三次会议，会上确立了HEVC的第一个试验模型HM1。■新一代视频压缩标准的核心目标，是在H.264的基础上将压缩效率提高一倍。即在保证相同视频图像质量的前提下，视频流的码率减少50%。在提高压缩效率的同时，可以允许编码端适当提高复杂度。纲要HEVC的背景HEVC与H.264/AVC的联系与区别HEVC编码层结构H.264和HEVC关键特性对比H.264HEVCMB/CU大小4×4‥16×164×4‥64×64亮度插值Luma-1/2像素{1,-5,20,20,-5,1}Luma-1/4像素{1,1}Luma-1/2像素{-1,4,-11,40,40,-11,4,-1}Luma-1/4像素{-1,4,-10,57,19,-7,3,-1}Chroma-1/8像素{-3,60,8,-1}MVP预测方法空域MVP预测空域+时域MVP预测AMVP\Merge亮度Intra预测4×4/8×8/16×16:9/9/4模式33种角度预测+Planar预测+DC预测色度Intra预测DC,Horizontal,Vertical,PlaneDM,LM,planar,Vertical,Horizontal,DC,diagonal变换DCT4×4/8×8DCT4×4/8×8/16×16/32×32DST4×4去块滤波器4×4和8×8边界Deblock滤波较大的CU尺寸，4×4边界不进行滤波SAO和ALF。纲要HEVC的背景与H.264/AVC之比较HEVC编码层结构HEVC编码器框架混合编码结构ReconstructedVideooutputHEVC编码器框架HEVC以LCU块为单位对输入视频帧进行处理，首先是进行预测，可进行帧内预测或帧间预测。帧内预测：预测块由当前帧中已编码并解码重建的相邻块预测得到。帧间预测：预测块通过基于一个或多个参考帧的运动估计和运动补偿得到。然后通过当前块减去预测块得到预测残差。预测残差进一步进行变换编码和量化，从而得到量化后的残差系数。然后对量化后的残差系数、编码模式以及相关的编码参数等信息进行熵编码，从而得到压缩后的比特流。同时量化残差还要进行反变换和反量化，然后将残差和预测值相加起来重建图像，再进行滤波，生成参考帧。HEVC编码层结构A.基于四叉树结构的分割技术B.帧内预测编码技术C.帧间预测编码技术D.并行化设计CU、PU和TU1.CU(CodingUnit)CU是进行帧内预测和帧间预测编码的基本单元，它总是方形的从SCU（8x8）到LCU（64x64），CU块从LCU块开始递归划分，一个块被划分为四个相同大小的子块。通过率失真代价（Rdcost=SAD+Bits）选取最优的分割大小。CU、PU和TUACTU(LCU)1.CU(CodingUnit)CU递归分割。支持8x8~64x64CU总是平方块，且亮度单位常为8x8,16x16,32x32,64x64。基于四叉树结构的分割技术这种扫描顺序保证了对于不同分割都能按照相同的遍历顺序进行寻址，有利于程序中的递归实现。如果仍是采用光栅扫描顺序，对CU的寻址会很不方便，因此，HEVC定义了Z扫描顺序。2.PU（Predictionunit）PU是用来传输和预测过程的信息的基本单元，它是在编码单元CU基础上进行划分的。一般来说，它不一定是正方形的，这是为了分块能更好与图像中真实物体存在的边界匹配。每一个CU中可以包含一个或多个PU。2.PU（Predictionunit）PART_2Nx2NPART_2NxNPART_Nx2NPART_NxNPART_2NxnUPART_2NxnDPART_nLx2NPART_nRx2NInterIntraAsymmetricMotionPartition(AMP)帧内PU分割帧间PU分割Note：PART_NxNonlyfor8x8CUAMPonlyfor64x64CUCU划分完以后，针对每个CU划分PU，PU是进行预测的单元。每个CU可以包含一个或多个PU。AMPAMP模式示例(RaceHorses)AMPmodesareeffectivelyusedfortextureswhichcannotberepresentedbysquareorsymmetricpartitionmodes.3.TU（Transformunit）TU用于变换和量化的单元。与PU相同，TU也是在CU基础上划分的。TU的形状取决于PU的划分模式，当PU为正方形时，TU也是正方形的（4x4to32x32）当PU为非正方形时，TU也是非正方形的（32x8、8x32、16x4、4x16）。一个CU可以包含一个或多个TU，TU也是一个四叉树结构。3.TU（Transformunit）划分成最小的基于四叉树结构的分割技术CUTU的由CU的大小决定，亮度和色度具有相同的分级深度。DCT:4×4、8x8、16x16、32×32。DST:4x4（仅适用于帧内预测，在单边预测模式中，距离参考像素越远，预测误差越大，左边像素为参考像素，右边像素为预测像素，那么左边预测像素的预测准确性高于右边预测像素的预测精度，离散正弦变换ＤＳＴ能够很好地适应这种预测误差的统计特性）。TransformUnit(TU)structure编码单元、变换单元的四叉树结构关系图帧内预测编码技术IntraPrediction帧内预测：利用图像的空间相关性，用周围重建像素值对当前编码块进行预测。帧内预测编码技术318101942011210221223524251362:DCmode2614277281529130163183217339PUsizeNumberofintramodes435835163532356435IntraPrediction目前HM模型中共包含了35种预测模式，左图并未显示Planar预测方法。色度分量的帧内预测采用了5种预测模式，分别为水平、垂直、DC预测、亮度模式以及对角模式。帧内预测编码技术IntraPrediction帧内预测编码技术Planar模式在平面预测中，首先右下角的像素Ｚ由图中重建像素Ｌ和Ｔ平均得到，然后利用重建像素Ｌ和Ｔ与Ｚ进行线性插值计算出最下面一行和最右边一列像素值，如图中像素Ｍ和Ｎ，然后利用插值得到的像素进行双线性插值计算其它预测像素值，如图中像素Ｐ线性插值双线性插值根据PU大小决定候选预测模式数目NPU类型N值4×488×8816×16332×32364×643利用SATD(HadamardtransformedSAD)模型遍历35种模式MPM+基于SATD得到的N种预测模式率失真代价值计算选取最优的预测模式{最有可能模式（MPM，MostProbableMode）是指当前块周围已编码过的左边块和上边块的最佳预测模式。帧内编码流程帧间预测编码技术InterPrediction帧间预测利用连续图像之间的相关性，通过运动估计和运动补偿的编码方法去消除视频信息的时间冗余。利用先前已编码重建帧作为参考帧进行预测。1、帧间预测采用融合模式时，当前PU块的运动信息(包括运动矢量、参考索引、预测模式)都可以通过相邻PU的运动信息推导得到。编码时，当前PU块只需要传送融合标记(MergeFlag)以及融合索引(MergeIndex)，无需传送其运动信息。2、帧间预测还可以通过空域相邻PU以及时域相邻PU的运动矢量信息构造出一个预测运动矢量候选列表，PU遍历运动矢量候选列表，在其中选择最佳的预测运动矢量。——（时空域MVP）运动融合技术：SKIP模式和MERGE模式1）skip模式本身就是一种特殊的merge模式。Skip=merge+（CBF=0）2）HEVC里的merge模式是整合了H.264中的direct模式和skip模式。H.264中的direct模式是给定预先设定的值进行传输。而HEVC里的merge和skip不是这样。3）skip模式和merge模式之间的区别：skip模式不传残差，只传skip_flag和merge_index。Merge模式传残差和merge_index。4)Skip模式作用：节省码率。5）merge模式：不需要进行复杂的运动估计，只有运动补偿，当前PU块的运动信息都可以通过相邻PU的运动信息推导得到。INTER模式下预测运动矢量选取Note：只有左边超出slice或者帧内编码，才能缩放上边。空域候选——左边选择一个，上边选择一个获取顺序：左边——A0A1scaledA0scaledA1上边——B0B1B2scaledB0scaledB1scaledB2缩放条件：周围块的运动矢量参考帧的POC和当前预测单元的参考帧的POC不一致时才能缩放如果空域得到的2个预测运动矢量都存在且不相等，则跳过时域候选时域候选——先H后C3如果H位置的PU和当前PU不在同一个对应的LCU中，则标记不可用最后将时域候选和空域候选得到的预测运动矢量加入列表，进行去冗余，添加0运动矢量，得到一个只有2个预测运动矢量的列表，然后根据代价值选择最佳的预测运动矢量环路滤波环路滤波自适应环路滤波(ALF)去块滤波采样点自适应偏移(SAO)无4X4块采样点自适应偏移(SampleAdaptiveOffset)带状偏移将像素值强度等级划分为若干个条带，每个条带内的像素拥有相同的偏移值。现有的HM模型将像素值强度从0到最大值划分为32个等级。同时这32个等级条带还分为两类，第一类是位于中间的16个条带，剩余的16个条带是第二类。编码时只将其中一类具有较大补偿值的条带偏移信息写入片头；另一类条带信息则不传送。这样的方式编码将具有较小偏移值的一类条带忽略不计，从而节省了编码比特数。带状偏移32级像素值条带分割示意图采样点自适应偏移(SampleAdaptiveOffset)边缘偏移主要用于对图像的轮廓进行偏移。它将当前像素点值与相邻的2个像素值进行对比，用于比较的2个相邻像素可以在图9中所