基于立体视觉的无人智能车车前障碍检测研究中期报告20130515

毕业设计（论文）中期报告题目：基于立体视觉的无人智能车车前障碍检测研究院（系）光电工程学院专业光信息科学与技术班级090108姓名黄佩学号090108122导师秦文罡2013年05月07日一、设计（论文）进展状况开题答辩结束后，通过阅读书籍，搜集了大量无人驾驶车和移动机器人障碍检测方面的资料。了解双目立体相机的使用原理，熟练了Bumblebee2相机使用流程，并应用其采集多组照片以便随后要用。其次初步制定了障碍检测的基本算法：基于自适应分割和立体视觉相结合的障碍检测，并运用此算法对所捕获的图像初步进行图像分割。1.1双目立体相机的成像原理所谓双目立体视觉技术是指通过对同一物体从不同角度获得的两幅图像来恢复出被拍摄物体的三维信息(尤其是物体的深度信息)的过程。由于物体表面的每一点对于成像面都有一条投射光线,而这条直线上的每一点在图像上都有相同的二维投影坐标。所以仅由一幅图像是无法确定究竟这条投影直线上的哪一点才是真正的物体点。但若已知两幅由不同角度对同一物体进行拍摄而得到的图像,则物体在这两个成像面上的投影光线将在空中相交于一点,这一点的值即可视为被测物体的三维坐标。1.2图像捕获图1图22.1自适应分割算法图像分割的基本思想就是利用场景中路面与障碍物之间的颜色差异,初步将每个像素点划分为可行区域和可疑障碍区域。由于环境条件的变化引起道路的可行区域的颜色变化,在进行分割时不可能按照单一预先设定的路面颜色和固定不变的阈值进行分割。本文通过计算当前光照条件下路面的参考色调、饱和度值以及自适应光照条件的阈值对车辆场景图像达到自适应的图像分割。不同物体很少具有相同的色度和饱和度,同时强度分量受环境光照影响大,但对颜色分割的影响不大。在区分可行区域与障碍物时,采用HSI(色调，色饱和度，亮度)表色系统的色调H和色饱和度S作为判别依据,对采集图像的左图像进行彩色图像分割。每次进行分割前需将图像从RGB空间转换到HIS空间。自适应图像分割的具体步骤如下:（1）计算参考路面平均色调和饱和度值。选择采集图像中车辆行进的正前方的方型区域(20x20),计算此区域内的平均色调H和饱和度S(在选择避障算法时,要保证车辆正前方一定距离内无障碍物)。该参考值是动态变化的,可减少光照变化的影响。其中,对于前后两次采集的路面参考值H有较大变化的则认为后一次失效,需重新检测。这样可避免突如其来的动态障碍物处于车辆较近的正前方时所引起的失误。（2）根据当前参考路面区域的色度值调整分割阈值。（3）实时分割。选取图像每个像素点(i,j)四邻域计算其平均色调值：NvuHrjiPhvu/)],([),(),(及饱和度：NvuSrjiPsvu/)],([),(),(。其中:Hr和Sr分别为邻域内某点(u,v)的色调和饱和度值；N为邻域内点的个数。衡量任一像素点(i,j)是否为可行路面应满足两点要求:HjiPh,＜Ht以及SjiPs),(＜St。如果条件成立,则划为路面,将此像素点的颜色用白色表示。。搜索当前参考路面图像中色调和饱和度的最大值Hm和Sm,与上一次参考路面的最大色调Hmˊ与饱和度Smˊ比较。使设定的的阈值Ht和St分别按照Hm/Hmˊ和Sm/Smˊ的比例缩放。自适应分割（图3）自适应分割结果如图3所示。(a)和(c)为车辆所采集的不同场景、不同光照条件的原始图像;(b)和(d)为自适应彩色图像分割后的结果。从图中可看出所用方法可适应光照条件的变化,得到较好的结果。这种基于颜色的障碍物检测不可避免地将一些可行区域,如图a中地面上的薄垫划分为障碍区域,但立体视觉的方法将进一步可靠地检测出障碍区域。2.2立体视觉障碍检测立体视觉的方法就是根据物体的高度值划分障碍区域。高度值高于或低于地面一定阈值的点被认为是障碍点。本文对于经自适应图像分割出的每个非路面区域,取区域对角线上的点代表本区域作立体视觉的计算,可减少匹配的时间复杂度,提高算法的实时性。同时,采用Bumblebee2摄像机配置:两摄像机光轴平行安装,摄像机的内参相等,如图4所示。这样其极线与图像的行基本一致,匹配点的寻找在图像相应行上寻找即可。另外,如果在左图点A和点B连接线上的点,其在右图的对应点仍然在A和B的匹配点A′和B′的连线上,这样在寻找对角线上点的匹配点时只需要在相应对角线上寻找即可。证明过程如下:空间点P在左图像上的坐标为(u,v),右图像坐标为(u′,v′),按上述摄像机模型,以左摄像机C1的坐标系(Xc,Yc,Zc)为世界坐标系,若P在世界坐标系下的坐标为(X,Y,Z),在不考虑摄像机畸变时,有:其中ax,ay,u0,vo,s,由摄像机的内部参数决定,b为基线长度。由上两式可推出u=u′+axb,v′=v。若左图中A、B两点坐标为（u1,v1）和（u2,v2)，则其连线L方程为（u2-u1)y=(v2-v1)x+u2v1-v2u1。它们对应右图中的坐标为（u1+λ,v1)和（u2+λ,v2),连线L′方程为(u2-u1)y=(v2-v1)x+v1(u2+λ)-v2(u1+λ)。代入上面L和L′的方程可知，对于任意L直线上的点（x,(v2-v1)x+u2v1-v2u1)/(u2-u1)同时满足L′的方程。因此可推出作图A和B连接线上的任意一点，其在右图的对应点仍然在A和B匹配点A′和B′的连线上。图4立体视觉双摄像机配置立体视觉方法检测障碍区域的具体步骤如下:1）.搜索分割后的可疑障碍区域的对角点。从图像(m×n)的左下角开始对图像进行逐行扫描,当遇到不为分割设置的白色(可行区域)像素点时,设置当前行的非路面区域的最左点Um和最右点Un(如果一直搜索到图像的最右端都为非路面区域,则设置Un=m),并记录行坐标Vm,则非路面区域对角线的右下点X2的坐标为(Un,Vm)。以后每行扫描中如果某行最左(右)点的坐标小(大)于当前设置的Um(Un)值,则更新Um(Un)值。直到某行Vn扫描过程在Um和Un范围内全都为可行区域(如果一直搜索到图像的最上端都为非路面区域,则设置Vn=n)。非路面区域对角线左上点X,坐标即(Um,Vn)。为了消除图像分割时,路面或障碍区域一些小区域的影响,对于Un一Um＜l0同时Vn一Vm10的区域不做区域边界处理。2）.计算对角线上各点的高度信息。先利用极线约束和相似性找出X1和X2在右图的对应点坐标Xl′和X2′。这样在搜索左图区域对角线上点的匹配点的时候只需在右图的X1′和X2′的连线上搜索。我们对每个区域选取区域对角线上20个点做立体视觉的匹配。得出左右图像的对应点,根据事先标定好的摄像机内外参数以及立体视觉的空间点重建的原理,计算每点的高度信息hi(i=1,2,3…,20)3.根据高度值判定区域的可行性。对角线上各点的最大高度值Hmax为本区域的高度值的最大值,如果Hmax与地面高度的差值小于设定阈值(5cm)则为可行区域,把此区域设置成白色,否则为非障碍区域,并计算其相对车辆的距离值返注：1、正文：宋体小四号字，行距22磅。2、中期报告装订入毕业设计（论文）附件册。回。这种立体视觉的算法利用了区域对角线的特性以及左右图像中对应点的直线关系，提高了立体视觉匹配的实时性。二、存在问题及解决措施图像捕获已经完成，算法也基本确定但还未完善，有些地方还不是很懂。通过查阅资料或者请教老师同学来解决。三、后期工作安排（1）完善障碍检测算法。（2）熟悉应用Matlab软件，并熟练用其对于已获取图像进行处理。（3）撰写毕业论文，准备好期末的答辩。