H265讲解最终牛逼版

LOGO指导老师：齐美彬报告人：陈秀丽余登超朱广辉2012.12.8Contents简介HEVC描述帧内预测（intraPrediction)帧间预测（interPrediction）熵编码与环路滤波器（EntropyCodingandLoopFiltering简介1、简介2002音视频编码标准我国自主的视频编码标准2006年获颁为国家标准H.JPEGMPEGAVS1992ISO与CCITT通过JEPG2000ISO与CCITT通过JEPG20001991ISO/TEC通过MPEG-11994ISO/TEC通过MPEG-21998ISO/TEC通过MPEG-41988CCITT通过H.2611995ITU-T通过H.2632003.3ITU-T与ISO/IEC通过H.264数字图像编码的发展HEVC也被称为H.2651、简介未来数字视频的特点：数字视频的应用格式从720P到1080P，数字视频帧率从30fps到60fps1）宏块个数的爆发式增加。2）宏块内容复杂度的降低化。3）运动矢量数值的大幅度增加。H.264需要改进的原因：对于宏块级数字视频压缩的处理过程，H.264没有任何的修改，包括帧间预测、帧内预测、变换量化、熵编码和去块效应处理过程，都还一直保持着2003年草稿发布时的实现方式。也就是说H.264核心压缩原理一直没有调整更新。H.264向H.265过渡的原因1、简介H.265引入了32×32、64×64甚至于128×128的宏块类型,目的在于减少高清数字视频的宏块个数，减少用于描述宏块内容的参数信息。1）更大的变换块，H.265扩充到16×16、32×32甚至于64×64的变换和量化算法，用于大大减少H.264中变换相邻块间的相似系数2）使用一种新的MV（运动矢量）预测方式3）H.265会引入更加复杂的帧内预测方法4）H.265熵编码仅使用改进过的CABAC(H.264—CAVLC）5）H.265提出多个更加灵活的自适应去块效应滤波器下一代视频编码H.265的新特点HEVC描述HEVC描述HEVC(HighEfficiencyVideoCoding)-高效视频编码---H.265基于块的混合编码结构（变换加预测）灵活的四叉树编码块分割结构包含CTU（Codingtreeunit)—LCU(LargestCU)CU(Codingunit)PU(Predictionunit)TU(Transformunit)四种编码单元分为图像分割，帧内/帧间预测，变换和量化，熵编码，环形滤波器1、编码结构综述HEVC描述HEVC并不明确规定一个编解码器如何实现，而是规定了一个编码后的视频比特流的句法，和该比特流的解码方法，各厂商的编解码器在该框架下可以互通，在实现上具有较大的灵活性.1、编码结构综述HEVC描述HM编码器框图编码结构综述HEVC描述1、CTU（LCU）分割2、片结构（slice）3、砖结构（tile）4、CU分割5、PU分割6、TU分割2、图像分割HEVC描述1、CTU（CodingTreeUnit)分割（LCU)一个LxL亮度样本块(L=163264)CTUor单色平面的一个LxL样本块两个相应色度样本块CTU大致与AVC（H.264）中的宏块类似(宏块:由一个16x16亮度像素和附加的一个8x8Cb和一个8x8Cr彩色像素块组成)允许的最大尺寸为64x642、图像分割HEVC描述2、片结构（Slicestructure)作用：传输视频编码数据分组片结构熵片组在熵片之间执行，其他与片组相同，一个片结构可以包含好几个熵片。2、图像分割headerCUCU………CUHEVC描述3、砖结构一行和一列中同规格的编码树块（CTB）的整数数量矩形结构，并包含一个整数数量的CTB（Codingtreeblock)片结构与砖结构的关系（满足其中一个或都满足）：1）一个片结构中的全部CTB属于同一个砖结构2）一个砖结构中的全部CTB属于同一个片结构CTB光栅扫描在砖结构中是连续的，在图像中不一定连续2、图像分割HEVC描述4、编码单元（CU）结构作用：用于帧内/帧间编码的区域分割正方形结构尺寸：最小8x8，最大与CTU相同（最大64x64）skipped无MV差异和残差信息的帧间预测模式CUnon-skipped可用于帧内/帧间预测中的任一个2、图像分割CU树结构对于亮度被限制在8x8到64x64之间，无分割时则为CU3的情况。CU根据两种性能来进行划分：1）最大CU（LCU，largestCU）-CTU2）CU所属的LCU中的最大分层深度如果LCU尺寸=16和分层深度=2，则其编码结构与H.264中的宏块相同HEVC描述5、预测单元（PU）结构作用：获取预测过程的相关信息不一定是正方形，目的是为了促进与图像中实物边界相匹配的分割方式帧间编码PU有8种分割模式non-skipped帧内编码PU有2种分割模式Skipped仅有一种分割模式2、图像分割HEVC描述帧间编码PU有8种分割模式后四种为不对称分割(1/4,3/4)与CU的关系如下：1）PART_NxN模式仅在相应CU尺寸大于最小CU尺寸（8x8）时使用；2）PART_2Nx2N模式的CU只有一个PU，PART_NxN模式下的CU有4个PU，其余的预测模式有2个PU。4x4尺寸块在帧间编码PU中不可使用，目的是减少运动补偿的存储宽度2、图像分割HEVC描述帧内编码PU有2种分割模式PART_2Nx2N模式的CU只有一个PU，PART_NxN模式下的CU有4个PUskipped模式仅有一种2Nx2N模式2、图像分割HEVC描述2、图像分割Example:128x128CUSkip模式：PU=128x128Intra模式：PU=128x128orPU=64x64Inter模式：PU=128x128or128x64or64x128or64x64or128x32or128x96or32x128or96x128HEVC描述6、变换单元（TU）结构作用：用于变换和量化过程TU为正方形，TU尺寸为4x4~32x32的亮度样本尺寸CU可能包含1个或更多个TU，一个PU也可能包含1个或更多个TU2、图像分割HEVC描述多个TU可以排列成一个四叉树结构，如图2、图像分割HEVC描述四叉树结构的最大深度是可调的，会在片头语法中直接指明2、图像分割headerCUCU………CUHEVC描述TU尺寸标志（TUsizeflag）置0时，TU尺寸与其PU一样置1时，PU对称---NxN，PU不对称---N/2xN/22、图像分割HEVC描述CUPUTU三者的关系2、图像分割RQT—残差四叉树变换帧内预测（intraPrediction)帧内预测亮度帧内预测模式帧内编码PU生成帧内预测样本色度帧内预测模式PU中的所有TU应该对每个成员使用同样的相关帧内预测模式编码器可以从35个预测模式中选取最优的亮度帧内预测模式（DC，平面和33个角度）1、预测模式帧内预测帧间预测方向和帧间预测模式标数间的映射关系---亮度1、预测模式帧内预测色度预测模式---5种：平面（0），垂直（1），水平（2），DC（3），直接采用与亮度相同的预测模式(4)与亮度预测方向相同1、预测模式帧内预测用于帧内预测样本生成的相邻样本是在其生成过程之前进行滤波。intraFilterType（帧内滤波器类型）推导过程：1）变量minDistVerHor推导如下：minDistVerHor=Min(Abs(intraPredMode-26),Abs(intraPredMode-10))2)如果intraPredMode为intra_DC（预测模式为DC），intraFilterType置13）如果minDistVerHor比intraHorVerDistThres[nS]大，intraFilterType置1，否则置0.2、相邻样本滤波帧内预测x=-1…nS*2-1滤波样本数列pF[x,y]推导过程：y=-1…nS*2-1intraFilterType[nS][intraPredMode]置12、相邻样本滤波Contents帧间预测（interPrediction）PredictionModes(预测模式)在HM编码器中，一个帧间编码的CU可分割成多个帧间PUs，每个帧间编码的PU有一组运动参数，这些运动参数由多于一个的运动矢量，相应的参考图像索引，以及参考图像列表使用标志组成。一个帧间编码的CU可以用如下编码模式编码：MODE_SKIP和MODE_INTER当一个CU使用skip模式(i.e.,PredMode==MODE_SKIP)进行编码时，对该CU不进行划分，只包含一个PU，其大小为PART_2Nx2N，即不进行预测，直接将CU的运动参数赋给PU进行编码，无残差数据。当一个CU使用MODE_INTER，有八种类型的分区模式(PART_2Nx2N,PART_2NxN,PART_Nx2N,PART_2NxnU,PART_2NxnD,PART_nLx2NandPART_nRx2N，PART_NxN【该分区模式指定CB划分成四个相等大小的PBs，但该模式仅支持CB大小等于最小允许的CB大小（即4×4）的时候。即仅在达到CU最大深度级时使用，此时N=4】。对于每个PU可以使用基于运动合并（合并模式）或实际运动参数估计的一般的帧间预测（帧间模式）。跳跃模式：通过使用合并模式推导当前PU的运动参数。运动参数通过检查所有可用的合并候选人决定，选择最好的运动参数集，其代价Jmode（模式决定的代价函数）最小的。帧间模式：当一个CU使用MODE_INTER时，每个PU的运动参数决定首先基于ME（运动估计）代价Jpred,SATD（用于预测参数决定的基于代价函数的SATD）完成。分为两种情况：1)合并模式情况，运动参数的决定从检查相邻PUs的可用性开始以形成合并候选。如果没有可用的候选，HM编码器则简单跳过合并模式的代价计算，当前PU也不会选择合并模式。2)帧间模式情况，最好的运动参数通过调用运动估计过程推导。在运动估计过程中，最好的运动参数基于代价函数Jpred,SATD获得，并与合并模式推导的运动参数代价Jpred,SATD进行比较，选择较小代价的作为最好的运动参数。PredictionModes(预测模式)HEVC包括一种合并模式，用来从空间或时间的相邻块推导运动信息。它被表示为合并模式，是因为它形成了一个合并区域共享所有的运动信息。运动合并是为了寻找相邻帧间编码的PU，它的运动参数可以被推断为当前PU的运动参数。编码器从多个候选中选择推断出最好的运动参数，这些候选通过空间相邻PUs和时间相邻PUs形成，并传输相应的索引来表明选择的候选是哪些。PredictionModes(预测模式)运动合并候选的推导过程运动合并中选择两种类型的合并候选：1）spatialmergecandidate（空间合并候选）：从5个不同位置的候选中选择4个合并候选；2）temporalmergecandidate（时间合并候选）：从2个候选中选择1个合并候选。产生空间-时间候选列表，除去list中具有相同运动参数的重复的候选。因为在解码器中假设每个PU中有恒定数目的候选，当候选的数目没有达到合并候选的最大数目(MaxNumMergeCand--在sliceheader中标志)时需生成额外的候选。如果候选的数目达到最大数目，则推导过程停止。在目前常见的测试条件下，MaxNumMergeCand被设为5。运动合并候选的推导过程RemoveduplicatedcandidatesAddcombinedbi-predictivecandidatesAddnon-scaledbi-predictivecandidatesAddzeromergecandidatesFinalmergecandidates(maximumnum