多媒体通信技术视频编码及速率控制

第07讲视频编码及速率控制多媒体通信技术：视频编码及速率控制信息科学与工程学院宁波大学NingboUniversity典型的视频编解码处理图像复杂度分析速率控制DCTQ熵编码缓存DQIDCT运动补偿预测参考帧存储运动估值预处理熵编码DQIDCT运动补偿帧存储－dfdfkbkbˆ解码器编码器视频信号输入视频信号输出多媒体通信技术：视频编码及速率控制信息科学与工程学院宁波大学NingboUniversity1条2条3条4条5条6条7条8条9条10条123456YCbCr条(slice)结构宏块结构多媒体通信技术：视频编码及速率控制信息科学与工程学院宁波大学NingboUniversityA/DA/DA/Dγ校正γ校正γ校正RGB到YCrCb变换滤波滤波滤波2:1亚取样2:1亚取样RGBYCrCb图像信号预处理多媒体通信技术：视频编码及速率控制信息科学与工程学院宁波大学NingboUniversity运动估值/补偿•采用具有运动补偿的帧间预测；•运动估值部分，亮度图像分割成16×16的宏块；•搜索范围可以取±128(H)×±32(V)DCT变换•将宏块再分成8×8子块多媒体通信技术：视频编码及速率控制信息科学与工程学院宁波大学NingboUniversity816192226272934161622242729343719222627293434382222262729343740222627293235404826272932354048582627293438465669272935384656698316161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616帧内编码的量化矩阵帧间编码的量化矩阵量化通过量化，保留重要的DCT系数，将其数值进一步离散化，并将不重要的DCT系数量化到零。对不同的DCT系数根据其重要程度的不同采用不同大小的量化台阶。多媒体通信技术：视频编码及速率控制信息科学与工程学院宁波大学NingboUniversity01561415272824713162629423812172530414391118243140445310192332394552542022333846515560213437475056596135364849575862630462022363852157212337395328192434405054391825354151551017263042465660111627314347576112152832444858621314293345495963之字形扫描顺序交替扫描顺序熵编码多媒体通信技术：视频编码及速率控制信息科学与工程学院宁波大学NingboUniversity-42123-10001-1914-802000168-9300003-20010003001-1000000000000000000000000000之字形扫描后产生一维序列为：-4212-1916143-1-8833-2-900023000000000010011000……游程编码表示为：(0,-42),(0,12),(0,-19),(0,16),(0,14),(0,3),(0,-1),(0,-8),(0,8),(0,3),(0,3),(0,-2),(0,-9),(3,2),(0,3),(10,1),(2,1),(0,1),(6,-1),(EOB)多媒体通信技术：视频编码及速率控制信息科学与工程学院宁波大学NingboUniversity速率控制一般在编码器和信道之间设置一个缓冲器：(1)当码率高于信道传输速率时，缓冲器会越来越满；(2)当码率低于信道传输速率时，缓冲器则会越来越空。对压缩的码率进行控制改变量化器的量化台阶大小原则：尽可能保证图像质量稳定的前提下，使压缩码流的速率使用恒速信道的要求！多媒体通信技术：视频编码及速率控制信息科学与工程学院宁波大学NingboUniversity视频序列的编码预测编码•帧间预测，用于消除时间冗余信息•实时应用场合：一般不采用后向或双向预测随机接入点：间隔一段时间插入一个帧内预测编码图像•支持VCR交互操作•可编辑性能多媒体通信技术：视频编码及速率控制信息科学与工程学院宁波大学NingboUniversityIBBPBBBPIB123456789前向预测双向预测GOPIBBPBBBIBB123456789前向预测双向预测GOP多媒体通信技术：视频编码及速率控制信息科学与工程学院宁波大学NingboUniversityDC系数的帧内预测•DC分量代表该块的平均灰度•空间域内图像的灰度是连续变化的，相邻块的DC分量之间存在较大的相关性ABCXDC系数预测AC系数预测ACX多媒体通信技术：视频编码及速率控制信息科学与工程学院宁波大学NingboUniversity运动矢量的帧内预测•空间相邻宏块的运动矢量之间存在着相关性ABCEABCEABCEABCEMVAMVBMVCMVA8x44x816x1616x8多媒体通信技术：视频编码及速率控制信息科学与工程学院宁波大学NingboUniversity图像的帧内预测编码•对于帧内编码的帧不做帧间预测多媒体通信技术：视频编码及速率控制信息科学与工程学院宁波大学NingboUniversity帧间预测编码的优化隔行扫描图像的预测•用于场图像的场间预测P帧参考图像可为前一场或同极性前一场B帧参考图像可为前后帧的任意场•用于帧图像的场间预测帧图像宏块分成奇偶场宏块，分别运动估计•用于P帧的双基预测一帧的奇偶场宏块交叉运动估计，再预测•用于场图像的16x8预测场图像的宏块分成上下16x8的半块进行场间预测多媒体通信技术：视频编码及速率控制信息科学与工程学院宁波大学NingboUniversity帧间预测的几种特殊情况•不受限的运动矢量参考图像边界外像素可通过外推得到•跳过模式预测值为0或可量化到0•双向直接模式当前块的双向预测运动矢量通过已编码块推导运动估值的图像块大小•16x16,8x16,16x8,8x8,4x8,8x4,4x4亚像素精度的运动矢量估计多参考帧预测多媒体通信技术：视频编码及速率控制信息科学与工程学院宁波大学NingboUniversity基于率-失真优化的编码模式选择多种编码模式选择•帧内/帧间编码--其中S为信源样值集合I为S集合中对应的采用的编码模式•预测模式率失真优化满足R(S,I)≤Rc),(minISDI多媒体通信技术：视频编码及速率控制信息科学与工程学院宁波大学NingboUniversity低计算复杂度的变换编码与量化4x4正交变换二维DCT变换)1,,2,1,0;1,,2,1,0(2)12(cos2)12(cos),()()(2),(1010NvNuNvkNujkjxvCuCNvuyNjNk其中0x10x21/C(x)多媒体通信技术：视频编码及速率控制信息科学与工程学院宁波大学NingboUniversity4x4DCT变换)3,2,1,0;3,2,1,0(8)12(cos8)12(cos),()()(21),(3030vuvkujkjxvCuCvuyjkcababacabacacabaXcbbcaaaabccbaaaaY)83cos(21),8cos(21,21cba多媒体通信技术：视频编码及速率控制信息科学与工程学院宁波大学NingboUniversity4242224242221121211121111121X1221111121121111E)XC(CY22222222fTffbabbababaabababbababaaba多媒体通信技术：视频编码及速率控制信息科学与工程学院宁波大学NingboUniversity2/1111/2111112/11/211111Y2/1111112/11111/211/2111)CE(YCX22222222iiibabbababaabababbababaaba4x4逆变换多媒体通信技术：视频编码及速率控制信息科学与工程学院宁波大学NingboUniversity1),(ffQYfloorZijij整数运算的量化其中Yij、Zij分别为量化前后的变换系数，Q为量化步长，f反映量化器死区宽度采用整数运算的编码器，将量化与之前的Ef结合，减少运算量多媒体通信技术：视频编码及速率控制信息科学与工程学院宁波大学NingboUniversity基于对象的视频编码编码器与解码器结构•可视对象ViualObject▫视频帧/视频场景中的某物体/2D或3D图形•视频对象VideoObject▫视频帧/帧内物体•视频对象平面VOPlane▫某一时刻的VO/某一帧中的VO多媒体通信技术：视频编码及速率控制信息科学与工程学院宁波大学NingboUniversity一个视频场景:可以由一个背景对象和若干个前景对象构成tVOP1VOP2VOP3视频对象(VO)视频对象平面多媒体通信技术：视频编码及速率控制信息科学与工程学院宁波大学NingboUniversityVO形成编码控制视频信号交互VO0编码VOn编码MUX输出比特流交互DEMUX输入比特流交互VO0解码VOn解码VO合成…视频输出交互(a)(b)…多媒体通信技术：视频编码及速率控制信息科学与工程学院宁波大学NingboUniversity任意形状VOP的预测编码MB2匹配块MB1匹配块MB3匹配块MB2MB1MB3MBr当前VOP参考VOPMiNjkyxkkjiAlphamvjmvibjibSAD111)0),((!),(),(•根据形状将VOP用一个矩形框套住，然后对矩形框中的宏块分别进行处理多媒体通信技术：视频编码及速率控制信息科学与工程学院宁波大学NingboUniversity任意形状VOP的纹理编码•块填充方法▫VOP之外的像素没有定义，先填充再DCT▫目的：使空间域像素值变化平缓▫邻近点填充、定值填充(2N-1或0)、低通外插•形状自适应DCT▫利用一组预定义好的一维DCT多媒体通信技术：视频编码及速率控制信息科学与工程学院宁波大学NingboUniversity任意编码•二值形状编码BAB(BinaryAlphaBlock)▫I-VOP的BAB块直接编码▫P-VOP/B-VOP在BAB编码前需进行运动补偿•灰度形状编码▫分成2部分：轮廓和Alpha值形状信息通常用位图法表示。0/1表示透明/非透明，0~255表示透明度多媒体通信技术：视频编码及速率控制信息科学与工程学院宁波大学NingboUniversity视频对象序列的编码VOP1VOPkVOPk+1VOP1VOP2GOV1GOV2VOL1VOL2VO1VO2GOVVOPVOLVOVSVSGOV2…GOVNVOL2…VOLNVO2…VONVOP1…VOPk-1VOPk+1…VOPNVOP1…VOPN第1层第2层多媒体通信技术：视频编码及速率控制信息科学与工程学院宁波大学NingboUniversitySM3速率控制MPEG1标准的速率控制的仿真模型，基本思想是，首先进行目标比特分配；然后在编码中调整每一条(slice)量化台阶进行码率调整，使实际码率接近预分配值。(1)目标比特分配根据信道速率Rc，针对GOP中的帧类型设定初始编码比特数；然后根据最接近的IPB帧实际产生的平均速