第三讲-预测技术

第三讲时域预测技术王荣刚北京大学深圳研究生院数字媒体研究中心2015.09.28内容提要时域预测类型局部运动补偿亮度补偿全局运动补偿2内容提要时域预测类型局部运动补偿亮度补偿全局运动补偿3Picture级预测图像编码类型IPicturePPictureBPicture4IPicture为什么要编IPicture?镜头切换随机访问容错编辑5IPPPPPPicturePPicture特点只允许前向参考不会引入编码延时：编解码顺序一致允许多帧参考一般可继续被参考，预测效果具有传播特性6BPicture特点允许做双向预测，预测效率更好引入编码延时，输出需要重排序：编解码顺序不一致一般不做为参考帧，方便做码率调整7IBPBP层次BPicture如果允许BPicture作参考，则通过引入分层B帧，进一步提高编码效率8预测方法帧差问题为什么残差图像不是“零图像”？有办法进一步降低残差图像的信息量吗？9residual-=DecodedFrame1Frame2运动补偿10运动补偿residual-=DecodedFrame1MotionCompensatedFrame1Frame2-=residualFrame2内容提要时域预测图像类型局部运动补偿亮度补偿全局运动补偿11时域预测级别Picture级Slice级MB级Block级12局部运动估计13块匹配运动估计全搜索：FullSearchmethod(FS)三步搜索法：Three-StepSearch(3SS)新三步搜索法：NewThree-StepSearch(N3SS)四步搜索法：Four-StepSearch(4SS)菱形搜索法：DiamondSearch(DS)全搜索法遍历搜索范围内的所有候选块共(2w+1)2个位置的块需要被遍历优点：可以找到最佳匹配块弱点:计算量太大，难以实时快速运动估计简化代价函数计算提前结束判决缩小搜索范围选取最好的起始搜索点规划最佳搜索路径，最小化搜索点数16三步搜索法Three-StepSearch(3SS)Kogaetal9Points:Centralpoint&its8surroundingsDistance:w/2FindthebestmatchUsepreviousbestascenterHalfdistance,select8newRepeatalgorithm3timesExamines25pointsAssumesauniformdistributionofMV’sNewThree-StepSearch(N3SS)Li,Zeng,LiouExperimentsshowthatmostofbestmatchesarenearcenterAddmorepointsincenterinfirststep:8neighborsofcenterofsearcharea(33Searchpoints)Morerobust&Smallererrorinmotioncompensation111111111232222222333333311111111四步搜索法Four-StepSearch(4SS)Po,MaTheideaissameasN3SSCentralpointand8surroundingwithdistance=2Ifbestmatchoncenter,setdistance=1select8newpointsandend；elseselectbestmatchasnewcenterwithpreviousdistance(2)Iffollowingsteprepeated3times,setdistance=1,select8newpointsandend2to4steps17-27searchpoints,LesssearchpointsonaverageBetterMSEthan3SS&lesssearchpointsthanN3SS,Betterprediction3433333334444444311111122222222111BlockMatching(FastAlgorithms)DiamondSearch(DS)Zhu,MaStartwith9pointscreatingalargediamondwithcenterofsearchwindowincenterFindbestmatch,repeatwiththisbestmatchascenterIfbestmatchisincenter,use5pointscreatingsmalldiamond,findbestmatch,thisistargetBetterperformancethan3SSLesscomplexthanN3SSand4SS,withsameperformance性能对比比较各种快速算法的计算复杂度和解码图像PSNR值.实验条件图像块尺寸8x8搜索范围：+/-7个像素搜索窗口大小：22x22.计算复杂度AveragecomputationsforMEalgorithms050100150200250computationsChemicalplantCronkiteCaltrainToyvehicleChemicalplant20523252119Cronkite19722231918Caltrain20723231918Toyvehicle18521171614ESTSSNTSS4SSDSTable1:AveragenumberofcomputationsneededfordifferentMEalgorithms解码图像PSNR值Table2:AveragePSNR(dB)fordifferentMEalgorithmsAveragePSNRfordifferentMEalgorithms010203040PSNR(dB)ChemicalplantCronkiteCaltrainToyvehicleChemicalplant25.7924.5324.9124.7324.59Cronkite34.4233.2233.4733.1933.33Caltrain27.8626.2827.0427.6327.61Toyvehicle23.9123.8623.8623.8123.81ESTSSNTSS4SSDS结论全搜索法的解码图像质量最高，但计算复杂度是其他快速算法的近10倍三步搜索法不适于估计小幅度运动.新三步搜索法对三步搜索法的弱点进行了改进四步搜索法适于估计小幅度运动.菱形搜索法的性价比最高块匹配在以下情况下失效:有光线变化模糊化：Blur复杂运动:旋转,缩放,对象边界运动等初始搜索中心很重要！如何尽快找到合适的搜索中心？运动矢量预测局部相邻图像块的运动具有很大相似性，可以利用这种相似性，对当前块的运动矢量进行大致运动估计相邻替换法均值法中值法等等24DBCAE?问题：运动补偿块选多大合适？越小越好？越大越好？25例子26Residual(nomotioncompensation)Residual(16x16bocksize)Residual(8x8bocksize)Residual(4x4bocksize)可变块运动补偿恒定图像块无法精确估计对象边缘的运动，以及块内运动27Residual(nomotioncompensation)分像素运动补偿对象的运动是连续的，即使是刚性平移运动，不同时间点的位置差异不一定是和采样的整像素坐标对齐的例如半像素运动问题：这些位置不存在采样点，它们的值如何估计？28分像素滤波双线性滤波：像素相关性和距离成反比29a=round{[(1-dx)·(1-dx)·A]+dx·(1-dy)·B+(1-dx)·dy·C+dx·dy·D]}1-dx1-dy进一步提高运动补偿效率30Residual(4x4bocksize;halfpixel)Residual(4x4bocksize;quarterpixel)Residual(8x8bocksize)Residual(4x4bocksize)多帧参考有些对象周期性运动，例如多帧参考比单帧预测更准确31后向运动补偿有些对象在前向相邻帧中找不到，但在后向相邻中可以找到后向运动补偿效率更高32双向运动补偿有些场景下采用双向运动补偿效率更高，例如渐变场景F1=(F0+F2)/233F0F1F2场景发生变化的原因？物体运动局部运动补偿光照变化亮度补偿镜头切换突变渐变摄像机运动全局运动补偿34内容提要时域预测图像类型局部运动补偿亮度补偿全局运动补偿35亮度补偿当图像亮度发生局部或全局变化时，运动补偿失效，只能通过亮度补偿，提高预测效率例如：F1=a*F0+b36F0F1时域预测总结零运动补偿适用于静止区域前向运动补偿无法预测由于物体与运动引起的暴露区域和新出现的物体双向运动补偿可以弥补前向运动补偿的效率不足亮度补偿预测亮度变化37内容提要时域预测图像类型局部运动补偿亮度补偿全局运动补偿38全局运动估计全局运动是指在视频序列中占有较大比例的像素运动，一般主要是由摄像机的运动造成的通常视频图像由前景和背景构成，如果在拍摄过程中摄像机是运动的，同时前景物体也有其自身的运动，那么背景的运动是由摄像机运动造成的，称为全局运动而前景物体所表现出来的运动是前景物体相对于摄像机的运动，称为局部运动。全局运动估计的目的就是要从视频序列中找出造成全局运动的摄像机运动的规律39摄像机运动成像模型摄像机把3-D空间点(X,Y,Z)映射到2-D空间平面点(x,y)上。图像平面与Z轴垂直，中心坐标为(0,0,f)，这里f表示摄像机的焦距。映射关系可表示为：40摄像机运动类型摄像机的运动主要有：Pan（摄像机绕Y轴角度的水平旋转运动）Tilt（摄像机绕X轴角度的垂直旋转运动）Track（摄像机沿水平轴的运动）Boom（摄像机沿着垂直轴的运动）Zoom（由摄像机焦距改变而产生的图像放大-zoomin或缩小-zoomout）Dolly（水平后向移动）41摄像机运动模型（1）设(X,Y,Z)和(X‘,Y’,Z‘)分别为一个物体上的点在相邻两帧中的三维坐标，如果三维场景中的物体的运动为位移、旋转和线性变化，则(X,Y,Z)和(X',Y',Z')的关系为：通常将三维空间中物体的表面看成许多空间平面的组合，其中每一个平面都满足下面的约束条件（不再同一条线上的三点确定一个平面）：透视投影下，有如下关系：42摄像机运动模型（2）根据公式(1-2)-(1-4)，可推导出八参数透视模型：对透视投影进行简化，即假设物体与摄像机的距离Z远大于物体本身的深度变化△Z，则可用正交投影来近似透视投影：根据公式(1-2)，(1-3)，(1-6)，可推导出八参数透视模型的简化模型，即六参数仿射模型：43'ffZZ(,)(,),(',')(',')(16)xyXYxyXY摄像机运动模型（3）对仿射运动模型进一步简化，就可以得到刚性模型和位移模型摄像机运动模型的坐标轴变换关系和几何变换描述：44典型全局运动45translationalgeometricaffineperspective像素域全局运动估计最小二乘法找到一些初始的匹配点对（x,y）-(x’,y’)E分别对每个参数求偏导等于0，求解方程组46运动矢量域全局运动估计像素域估计复杂度过高，不适合实时处理应用运动矢量域估计47参数估计首先，将图像分块，对每个图像块采用位移模型做运动估计，得到每个图像块的运动矢量用8参数全局运动模型参数推算每个图像块的运动矢量，采用最小二乘拟合，使得推算的运动矢量尽量接近运动估计得结果具体计