基于轮廓特征理解的城市道路图像深度估计

基于轮廓特征理解的城市道路图像深度估计丁伟利*李勇王文锋曹秀艳燕山大学电气工程学院河北省秦皇岛市066004摘要准确估计道路场景图像中的深度信息，是智能交通和机器人导航中对障碍物估计和定位的关键。本文提出了一种基于区域特征理解的单幅静态城市道路图像深度估计算法，通过边缘生长图像分割算法得到一系列封闭的图像区域；然后统计每个分割区域自身的多元特征,包括区域的颜色、面积、位置，所包含的直线、垂线和平行线；基于这些特征，进一步估计道路消失点，并实现天空、垂直面和道路区域的分割和三维空间推理，最后根据典型道路的深度变化规律实现对道路图像的深度估计。实验结果表明，本文提出的算法能够有效地估计道路消失点以及道路区域内部的渐变深度信息。关键词机器视觉；深度估计；图像理解；三维空间推理；单幅图像中图分类号：TP391.9文献标识码：A国家标准学科分类代码：640.4035DepthEstimationofUrbanRoadImageBasedonContourUnderstandingDingWeili,LiYong,WangWenfengCaoXiuyan(InstituteofElectricalEngineering,YanshanUniversity,Qinhuangdao,Hebei,066004,China)AbstractEstimatingthedepthoftheroadsceneisakeystepforintelligenttransportationandrobotnavigation.Thispaperpresentsadepthestimationalgorithmforsinglestaticroadimage.Thealgorithmobtainsaseriesofclosedareasoftheimagebedeontheedgegrowingsegmentationalgorithmfirstly;thenwecomputethestatisticcharacteristicsofeachregion,includingcolor,area,position,straightlines,verticallines,andparallellines.Basedonthesecharacteristics,theroadvanishingpointwasfurtherestimated,andthesky,roadandverticalregionsareestimated.Finally,thedepthoftheroadimageisestimatedbyusingvanishingpointandthestatisticcharacteristics.Experimentalresultsshowthattheproposedalgorithmcaneffectivelyestimatetheroadvanishingpoint,aswellastheroaddepthinformation.KeywordsComputervision;Depthestimation;Imageunderstanding;3Dspaceestimation;SingleimageOCISCodesXXX.XXXX;XXX.XXXX;XXX.XXXX（需给出具体的栏目分类，而不是总的栏目号，如320.320无效）1引言从单幅图像恢复场景深度信息和三维结构是计算机视觉一项重要的研究内容，它通过提取与深度相关的视觉线索和一些先验知识完成深度估计，有助于实现基于单像机的场景理解、目标定位、三维测量和重建，在机器人导航、智能交通和增强现实场景注册领域有广泛的应用前景[1-2]。现有的基于单幅图像的深度估计算法主要利用三维空间的几何线索，如消失点、地平线、曲面边界、纹理、明暗信息等，恢复单幅图像三维结构，同时结合图像纹理、相对深度、摄像机位置等线索确定图像绝对深度。例如，Criminisi利用消失点信息和透视投影几何关系恢复场景的三维几何关系[2]；Delage采用马尔科夫随机场结合几何线索，基于动态贝叶斯网络重建墙壁、天花板和地板的深度关系[3]；Saxena根据不同景物中纹理、阴影、遮挡所反映的深度特征，结合MRF（马尔科夫）随机场模型综合估计每个像素的深度信息[4-5]；Hoiem将问题转化为图像分类分割的问题，将图像像素分为地面、天空和垂直面三类，然后依据图像中景物对象和地面的相交位置估计场景深度[6-9]；Barinova等人基于Hoiem提出的深度估计方法进一步应用CRF随机场模型推断地面-垂直面边界的参数信息[10]；Hedau等人利用参数化的3D盒子基于Hoiem方法实现了室内场景的深度推理[11]；Cao等人提出了基于闭合迭代的区域分割及深度估计方法，在闭合迭代区域分割过程中交替执行区域合并和深度估计，直至获得预期结果[12]；Rusell等人为分割图像推断区域几何和区域边缘信息，利用依赖于地面的深度模型估计图像深度[13]；闫硕等人改进了Hoiem方法，将室外场景标记为天空、地面和直立物三个类别，对于标记为地面的区域按照相机拍摄的固定几何关收稿日期：年-月-日；收到修改稿日期：年-月-日基金项目：国家自然科学基金(61005034)，河北省自然科学基金(F2012203185)，秦皇岛市科学技术研究与发展计划(2012021A054)资助课题。作者简介：丁伟利（1979-），女，博士，副教授，主要从事计算机视觉方面的研究。E-mail：[e-mail]*通信联系人。E-mail:[e-mail]系进行深度推理，对于直立区域则根据是否与地面接触结合消失点进行深度估[14,15]；李乐、Cheng等人提出一种通过分析理解街景图像内的景物构图关系实现图像深度估计的方法，提高了Hoiem方法深度估计的精度和准确性[16,17]。上述算法中，Saxena和Hoiem的算法最具有代表性，但其算法的结果依赖于基于超像素块的特征提取和区域分割结果，并且需要大量数据集进行训练和学习，因此深度估计结果不仅依赖于区域分割结果，而且每更换一个新的场景，原有的模型将失效，需要重新采集相应的深度数据进行训练，算法计算复杂耗时，不能满足即时深度估计。从精度上来说，Saxena算法的深度估计精度较低；Hoiem的算法没有考虑到区域内深度的渐变，认为同一区域所有像素的深度均相同，因此对于地面区域的深度估计不够精确。虽然相关改进算法提高了深度估计的精度，但仍然不能从本质上避免深度估计依赖于超像素图像分割和训练数据集的问题。从应用领域来说，深度估计的一个重要应用就是智能交通和机器人导航中道路和障碍物深度的准确预测和感知，因此上述算法应用在道路图像的深度估计中仍然存在一定的问题。为了解决上述算法的不足，本文针对道路图像的特点，提出一种新的基于分割区域特征理解的单幅图像深度估计方法。该算法不需要进行超像素分割、数据集训练和学习，仅利用边缘和颜色信息实现道路、垂直面、天空的推理和深度估计。算法首先通过边缘生长图像分割算法得到一系列有意义的封闭图像区域；然后统计每个分割区域自身的颜色、位置特征、包含的直线、垂线和平行线信息；接下来计算道路消失点；最后综合利用这些特征完成道路、天空、垂直区域的识别以及深度估计。2道路图像分割道路场景图像中各个物体均有其边缘，边缘线往往反映了3D世界中两个不同物体的轮廓信息和深度信息。通常，沿着人们的视线方向,场景中的物体由近及远出现，越近的物体轮廓信息越完整，越远的物体被遮挡的可能性越大,因此边缘像素往往属于两个重叠物体中的前景物体。根据上述特点，基于边缘信息对道路场景图像进行分割将有利于道路场景的深度估计。在前期研究中，本文作者提出了基于边缘生长的图像区域分割算法[18]，该算法首先采用Canny算子检测图像边缘。然后从边缘图像中的断点出发，通过对边缘局部结构进行直线和对称性生长消除所有断点，得到初步分割结果。最后通过相邻两个区域的颜色差别判断生长的边缘是否合理，如果相邻区域具有相似的灰度，则合并两个区域。与现有图像分割算法相比，上述算法对道路图像的分割结果具有更加明显的物理意义，如图1所示。图1.a为典型的道路图像，图1.b为Canny边缘检测结果。基于边缘生长图像分割算法，生长后的边缘图像如图1.c所示，图1.c中封闭的轮廓由图1.d表示为彩色图像，其中不同的颜色代表不同的区域。由图1.d中的分割结果可知道路场景中的车道线、道路区域、栏杆、植被、桥梁结构均得到了近似完整的分割，十分有利于下一步的场景结构分析和理解。为了分析方便，本文假设由边缘生长图像分割算法所获得的图像子区域数量为n，每一个区域记为,(0)iin。图1分割结果。（a）原图像；（b）边缘图；（c）边缘生长图；（d）分割区域标记图Fig.1Segmentationresults.(a)Originalimage;(b)Edgemap;(c)Edgegrowthgraph;(d)Segmentedregionslabeleddiagram3道路图像特征提取3.1区域特征向量针对道路图像的每一个子区域,(0)iin，定义其轮廓为{(,)0}iijijCxyjm（m为轮廓所包含的像素点个数），统计其自身的多个特征，包括颜色、重心位置、轮廓中的直线信息等，记为：{,,,,,,|}iiiiiiiiFGrHAPNlVlPl(1)式中，iGr表示区域i的灰度均值，iiishH,表示区域i中出现次数最多的H，S分量值。iA表示区域面积，即区域内像素总数；iP表示轮廓iC的重心点，iNl记录了区域轮廓拆分后的直线，iVliVl记录了区域轮廓中的垂线，iVliPl记录了区域轮廓中与道路方向平行的平行线。iNl、iVl和iPl的计算方法如下：首先以边缘点(,),()jijijPxyHjm-H为中心，构造大小为L的滑动窗口对轮廓iC进行局部方向编码。设滑动窗口所截的轮廓端点坐标分别为1122(,),(,)iiiixyxy，则点jP的局部方向为[19]：TsyyxxyyTsyyxxyyTs,,1803.57--arctan,,3.57--arctan,0121212121212(2)其中，直线度因子Lds/12，12d表示端点1122(,),(,)iiiixyxy间的直线距离，L为滑动窗口所截得的轮廓的长度，T为设定的阈值。经过编码后的连续边缘将在角点处断开为若干条连续的线条。进一步，根据文献[18]中提出的直线度误差判别准则和同方向点的稀疏直线拟合方法可以提取出轮廓中的直线，记为12{,,,}ikNllll，其中112212{(,),,(,),,(,)0}kmmjjmmlxyxyxymjmmikX，k代表轮廓中直线的数目，1m和2m分别表示轮廓中第k条直线的起点和终点像素距离轮廓起点的像素数。对于轮廓iC中的某直线,kl取两端点为A和B，线条kl的倾斜角度计算公式为：22112211221211112()4/2tan()ksssssss(3)其中,12211,...,211()1kkmmsxxmm,121221,...,211()()1kkkmmssxxyymm12222,...,211()1kkmmsyymm12,...,2111kkmmxxmm,12,...,2111kkmmyymm.如果倾斜角度90k（本文定义10），即判断,kl为垂直线，并存入iVl。对区域的轮廓iC中的任意两条直线,klkl和rl,根据本文作者在文献[20]所提出的方法，利用主方向一致性判别两条直线是否为平行线，即假设直线,klkl的主方向为k，直线,klrl的主方向为r，如果kr（本文定义15），且,kirilVllVl