三维视频中深度图像的处理及其ASIC实现删减稿

1三维视频深度图像处理及其ASIC实现郭琪，周莉，刘正华，杨博（山东大学信息科学与工程学院，山东济南250100）摘要：在自由视点视频技术中，深度图像预测及处理是其关键技术。运动-视差联合估计的方法可以推算出深度图像，基于自适应色度图像分割方法可以有效地处理深度图像的预测噪声。本文基于自适应色度分割方法，采用专用集成电路（ASIC）完成深度图像的处理及优化。经系统级仿真验证，结果表明：该深度图像处理方法具有实时性、兼容性、实用性等特点，适用于实时自由视点3D视频的处理。关键词：专用集成电路设计；自由视点视频；深度图像；色度图像分割；运动-视差联合预测中图分类号：TN919.81文献标识码：AResearchof3DVideoDepthMapProcessingandASICDesignGUOQi,ZHOULi,LIUZheng-hua,YANGBo(SchoolofInformationScienceandEngineering，ShandongUniversity，Jinan250061，China)Abstract:Infreeviewpointvideotechnology,theestimationandenhancementofdepthmapisthekeypoint.Depthmapiscalculatedbasedondisparityoffsetvalues,anddisparityvectorcanbepredictedbythecombinedtemporalandinterviewestimationmethod.Theadaptivecolorimagesegmentationmethodcanhandlethedepthimagenoisepredictioneffectively.Onthebasisofadaptivecolorsegmentationmethod,thispaperusingASICtocompletetheestimationandenhancementofdepthmap.Thesystemisvalidatedbysimulation,theresultsshowthat:thedepthimageprocessingmethodhastheadvantagesofrealtime,compatibility,practicalfeatures,suitableforreal-timefreeviewpointvideo3Dprocessing.Keywords:ASICdesign;freeviewpointvideo;depthmap;chrominanceimagesegmentation;thecombinationoftemporalandinterviewprediction0引言自由视点视频(FreeViewpointVideo,FVV)技术是自由视点3D视频处理领域中最有前景的一种技术[1～4]。自由视点视频处理技术的基本方法是基于深度图像来估计和重建多视点视频，从而显著减少数据带宽，所以深度图像的估计和处理方法是自由视点视频技术的关键和重点。深度图像可以直接由基于运动-视差联合估计的方法计算出来，利用这种方法能够有效减少自由视点视频技术中深度图像处理过程所需的数据带宽，并且没有增加额外的硬件资源消耗和计算时间成本。但是这种方法是在一个特定的搜索窗口内用特定的代价函数来进行块搜索，所以它存在一些问题：在物体的边缘存在着块效应，在连续的大背景区域、复杂背景区域存在预测噪声。基于色度分割的方法可以改进这些错误。1色度分割原理原始的YUV图像是由亮度分量和色度分量组成的。在一般的运动-视差联合估计的方法中，只有亮度信息被用到，以求得视差矢量和深度图像，包含有丰富的物体边界信息的色度分量没有被用到。对于连续物体表面或者背景区域，色度分量值几乎是相同的。所以如果色度图像按照特定的标准被分割，物体的表面或者背景区域就能被相应的检测出来。如果深度图像的像素值在同一个分割内各不相同，那么在这个区域肯定存在深度预测错误。通过检测到错误像素的位置，采取相应的措施来纠正这些错误。色度分割方法的三个步骤[5]：第一步：将U/V分量归一化到[0,255]2之间。第二步：进行图像分割，如果当前像素值与其相邻的顶部或者左侧像素值绝对值小于THDIV_，则它被划分到相同的分割，否则分离到下一个新的分割，如公式（1）所示：THDIVccabsTHDIVccabsleveldivTHDIVccabsdivTHDIVccabsdivdivleftiitopiileftiileftitopiitopii_),(&_),(,__),(,_),(,,,,,,,(1)式中：idiv代表第i个像素的分割值，ic代表U/V像素值，,itopc和,ileftc分别代表第i个像素相邻的上方像素值和左边像素值，THDIV_代表色度分量分割阈值。第三步：同一个色度分割被认为是在同一个物体内。一般来说，同一个物体的像素深度值是一样的。第K个色度分割的平均深度值由公式（2）计算得到：kiikkmergenumdepthavc1_（2）式中：_kavcdepth代表第K个色度分割的平均深度。属于同一个色度分割（第K个）区域的深度图像的像素深度值可以由公式（3）来决定：)___(,)___(&)(,_THNUMPnumpdepthTHNUMPnumpKidepthavcdepthkikthki（3）式中：kdepthavc_表示第K个色度分割的平均深度，knump_表示第K个分割包含的像素个数，THNUMP__表示预设的像素序号阈值，用以保证属于同一个分割内的像素深度值取平均，属于不同分割的像素深度值保持不变。2深度图像处理模块设计方案2.1总体设计2.1.1深度处理模块的架构与组成设计根据算法结构与组成，确定深度模块的实现架构与组成，包括总线结构，存储结构，时钟频率，模块组成等。总线结构选用标准AXI总线。由于立体视频需要实时处理多路视频信号，所以需要的视频数据处理带宽极大，必须采用AXI总线设计才能满足实时处理要求。内部模块所产生的处理数据，如果不能暂存于片上存储单元中，则通过AXI总线写到片外缓存。同样的，读数据也通过AXI总线读入处理模块。存储结构根据视频像素YUV分量的组成，分为Interleave存储方式和非Interleave存储方式。Interleave存储可以设计出具有较长Burst传输的DMA设计，但是内部芯片设计较为复杂，而非Interleave存储则不利于实现高效的总线传输，但是DMA设计相对简单。根据所用的标准单元库，以及芯片实际电路设计来确定所需的时钟频率,根据以往的经验不低于200MHz。2.1.2运动估计与视差估计存储单元设计由于需要对当前块同时进行运动预测与视差预测，所以宏块中间预测结果需要尽可能存储于片上存储单元中，以减少总线的输入输出数据带宽。假设视差估计的搜索窗口为PW*PH，图像分辨率为FW*FH，运动预测采用固定搜索窗口范围48*48。视差预测模块与运动预测模块同时读入相应参考宏块存入片上缓存，片上存储单元需要将进行完预测，并且后续预测有可能会用到的宏块都存储下来以减少数据带宽，增加处理速度。这样，运动估计存储单元MEM（MEMemory）至少需要有16*3+4个像素行的容量，即FW*52。相应视差存储单元DEM（DEMemory）至少需要有FW*PH+4容量。2.1.3芯片软硬件验证平台设计芯片设计离不开验证平台。大规模集成电路设计过程需要完善的验证平台进行仿真、测试来证明其功能和性能的正确性、完整性、实时性。立体视频编码芯片基于传统的Verilog和C语言来搭建软硬件验证平台，如图1所示。3DUfsdbvcdlogTestbenchconfigurationStimulus&videoinputmonitorresetclocksdfCmodelcomparebitstreamMem&controller图1深度处理模块的软硬件验证平台图1中，stimulus&videoinput产生模块测试激励和输入编码前视频数据。Monitor、reset、clock用于产生通用的测试信号和输入。SDF文件用于芯片后仿真。Mem&controller为行为级存储器控制模块和片外存储单元。测试平台可以产生各种调试信号，如波形信号fsdb、vcd，运行记录文件log，并产生最终的硬件结果。硬件结果与C/C++描述的软件编码参考模型结果进行比对，来判断硬件结果的正确性。2.1.4深度处理模块的总体框图对应于色度分割方法，整个系统分为三个部分，依次为：色度分量U/V锐化模块Sharp、色度分量分割模块Frag、深度图像滤波模块Filter。整个深度图像优化系统的框图如图2所示：AXI总线色度锐化色度分割深度滤波总线控制器系统控制器&存储控制器Memory图2深度图像处理系统总体框图各模块功能定义如下：色度锐化模块Sharp对读取的U/V分量进行锐化处理；色度分割模块Frag对处理过的U/V分量按照一定的规则进行划分；深度滤波模块Filter对得到的深度图像进行滤波以保证深度图像的优化是在同一个划分内进行的。2.2色度分量锐化模块色度锐化模块框图如图3所示，首先考虑存储器的大小，对于一帧分辨率为1024*768的图像来说，如果采样格式为4：2：0的话，其U/V分量为512*384。所以这里定义内部原始像素存储器为8位位宽的，地址从0到196607的存储器，用来存放片外读取的U/V分量。类似的定义内部锐化像素存储器为同样类型的存储器，用来存放经过锐化处理过的U/V分量，这两个存储器的输入、输出均由存储器控制器来控制。定义两个Reg寄存器MaxValueReg和MinValueReg用来保存两个比较器输出的中间结果。存储器控制器依次产生内部原始像素存储器的地址，内部原始像素存储器顺序输出给比较逻辑，等所有像素都输出一遍后，寄存器MaxValueReg和MinValueReg里面就分别保存了整帧的U/V色度分量最大值和最小值。然后使能掉寄存器，让寄存器保持原来的值。控制器再依次产生内部原始像素存储器的地址，此时控制器根据后续的计算模块的时序，对每一个像素值进行锐化处理，得到的结果保存在内部锐化像素存储器里面。DMAMaxValueRegMinValueReg内部原始像素存储器比较器内部锐化像素存储器存储器控制器存储器控制器图3色度分量锐化模块系统框图2.3色度分量分割模块色度分割模块框图如图4所示，从Sharp模块出来的数据直接进入Frag模块进行处理，图4中内部锐化像素存储器和其右侧的存储器控制器和图3中相对应，用浅灰色标出。根据像素所处的位置来选择不同的处理方法：如果当前像素处于第一行，那么只需要将当前像素与其左边相邻的像素进行比较即可;如果当前像素处于第一列，则只需要与其上方相邻的像素比较即可;如果是其他位置的像素，则需要同时和其左边的相邻像素和上方的相邻像素比较。比较准则见公式（1），得到的分割数FragNumber存在4像素分割数存储器里面。DMA内部锐化像素存储器分割数像素分割存储器存储器控制器存储器控制器图4色度分割模块系统框图2.4深度图像滤波模块深度图像模块框图如图5所示，其中：从片外存储里面读出色度分量分割模块的结果，放入内部滤波存储器，随后在存储器控制器的控制下，与事先预设好的P_NUM_TH一起进入比较器进行比较以得到同一个分割内的平均深度值ave_depth。根据公式（3）来进一步修正深度图像depth的值，结果存在结果存储器里面。DMA内部滤波存储器存储器控制器结果存储器比较器SumRegNumberReg同一分割取平均存储器控制器图5深度图像滤波模块系统框图3结果及分析Verilog代码经Synopsys综合工具DesignCompiler的逻辑综合，深度图像处理模块在SMIC0.18µm工艺下，能