立体视觉深度获取

第十章基于立体视觉的深度估计立体视觉立体成象我们将场景中同一点在两个不同图像中的投影点称为共轭对其中的一个投影点是另一个投影点的对应(correspondence)两幅图像重叠时的共轭对点的位置之差(共轭对点之间的距离)称为视差(disparity)通过两个摄像机中心并且通过场景特征点的平面称为外极(epipolar)平面外极平面与图像平面的交线称为外极线．立体成象立体成象FxzxlFxzBxrrlxxBFz由相似三角形可得合并两项，可得F是焦距，B是基线距离立体成象因此，各种场景点的深度恢复可以通过计算视差来实现．大角度立体方法——提高场景点深度计算精度的有效途径主要的问题有：随着基线距离的增加，两个摄像机的共同的可视范围减小场景点对应的视差值增大，则搜索对应点的范围增大，出现多义性的机会就增大．由透视投影引起的变形导致两个摄像机获取的两幅图像中不完全相同，这就给确定共轭对带来困难．立体成像的一般情况在实际中，两条外极线不一定完全在一条直线上，即垂直视差不为零两个摄像机的光轴不平行立体图像校正•立体图像对重新取样，使外极线对应于图像阵列的行立体图像校正将两图像投影到一个平面上就能得到理想的极线几何．左(右)摄像机中的每一个像素点分别对应于左(右)摄像机坐标系统中的一条射线。设Tl和Tr分别表示将左、右摄像机的射线变换到公共平面坐标系的刚体变换，确定每个图像的顶点在公共平面上的位置，创建新的左、右图像网格，将每一个网格点变换回原来的图像上．使用双变量线性内插方法内插像素值可确定公共平面上新的左、右图像中的像素点。平行光轴立体视觉系统Zw=0左摄像机左图像:参考右图像:目标右摄像机高度Zw视差景深Z基线视差公式P(X,Y,Z)pl(xl,yl)光心Olf=焦距像平面左摄像机B=基线景深平行光轴立体视觉系统f=焦距光心Orpr(xr,yr)像平面右摄像机dxBfDZ视差:dx=xr-xl立体匹配求解对应问题是立体成象系统的核心内容求解对应问题极富有挑战性，可以说是立体视觉最困难的一步．方法基于特征（点、线）的匹配(稀疏匹配)基于区域的匹配(稠密匹配)立体匹配的困难场景投影到两幅图像中并不总是一致的摄像机相关图像噪声、不同增益、不同对比度等等...视点相关透视畸变遮挡镜面反射复杂场景因素重复场景无纹理区域引入约束，减少搜索范围外极线约束一幅图像上的特征点一定位于另一幅图像上对应的外极线上将二维搜索转会为一维搜索问题在外极线的一个小邻域内进行搜索一致性约束对图像进行规范化处理(Normalization)设参考摄像机和其它摄像机的图像函数分别为jif,0jifk,和，则图像窗内规范化图像函数为：njmijifmn1122)),((1μ是图像窗内光强的平均值,σ是光强分布参数:nimjkkjifjif110),(),(相似估价函数为差值绝对值之和顺序约束如果在参考图像中点A在点B的左边=在目标图像中点A的匹配点也在点B的匹配点的左边对细小物体不成立ImagefromSunetal.CVPR05其它约束唯一性约束一幅图像(左或右)上的每一个特征点只能与另一幅图像上的唯一一个特征对应．连续性约束物体表面一般都是光滑的，因此物体表面上各点在图像上的投影也是连续的，它们的视差也是连续的．在物体边界处，连续性约束不能成立．特征匹配——稀疏在立体图像对中识别兴趣点(interestingpoint)，而后在两幅图像中匹配相对应的点．识别兴趣点(interestingpoint)在图像中具有很大变化的区域内寻找兴趣点在以某一点为中心的窗函数中，计算其在不同方向上的变化量为避免将多个相邻点选为同一个特征对应的兴趣点，将特征点选在兴趣测度函数具有局部最大值的地方特征匹配对于左图像中的每一个特征…左图像角点线结构特征匹配在右图像中寻找…当相似度达到最大时的偏移量就是视差右图像角点线结构特征匹配——稀疏基于特征的立体匹配算法产生对应于图像特征点的场景稀疏深度图．仅仅能恢复用于求解共轭对的像素子集对应的特征点深度．要想得到其它点的深度值，必须通过使用有关计算方法来估算，如内插值技术．基于边缘特征的立体匹配算法（1）采用标准的摄像机设置，并利用边缘点作为图像特征。（2）采用外极约束使匹配过程简化：为求左图像某扫描行上一个边缘点Pil在右图像上的对应点，沿右图像的同一扫描行扫描寻找匹配点即可。根据相容性约束，所求对应点Pir也应为一边缘点，且两个边缘点的幅值和方向应保持一致。基于边缘特征的立体匹配算法描述输入图像：左边缘图像el(i,j)，1≤i≤I,1≤j≤J右边缘图像er(i,j)，1≤i≤I,1≤j≤J输出图像：视差图像d(i,j)，1≤i≤I,1≤j≤J若干标记：il左图像的现行行指标；ir右图像的现行行指标；jl左图像的现行列指标；jr右图像的现行列指标；基于边缘特征的立体匹配算法描述算法步骤：（1）初始化操作：将d(i,j)清零，并置：il=1，ir=1，jl=1和jr=1。（2）匹配运算：（2-1）从左边缘图像的第il行当前列开始，寻找下一个待匹配的边缘点Pil。这里，Pil的列指标由jl指示；（2-2）在右边缘图像的第ir=il行上，寻找Pil的对应点Pir。方法如下：比较候补边缘点和Pil的幅值和方向，看是否一致。如果需要的话，可引入顺序约束以进一步减少匹配运算。上述过程不断进行直到在右图像上找到具有最大一致性的边缘点为止，并将其定为Pil的对应点Pir。这里，Pir的列指标由jr指示。然后，根据jl和jr的值计算待匹配的边缘点Pil处对应的视差。即置d(il,jl)=jl-jr。基于边缘特征的立体匹配算法描述算法步骤(续)：一旦右图像上的一个边缘点被定为左图像上的一个边缘点的对应点，则根据唯一性约束，该点以后将不能和左图像上任何别的边缘点相匹配。（2-3）进行行终止检查。若左图像的现行行上已无待匹配的边缘点，去（3）；否则，回到（2-1）。（3）若il=I，去（4）；否则，置il=il+1、jl=1和jr=1，回到（2-1)；（4）根据视差图像d(i,j)和摄像机的系统参数，计算各边缘点处的三维坐标。算法特点：鲁棒，但仅在图像的边缘点处可以获得相应景物的三维位置信息。基于区域相关性的立体匹配(稠密)计算一幅图像的一个小窗函数内的像素与另一幅图像中具有同样的潜在对应特征的小窗函数的像素之间的相关值．具有最大相关值的小窗区域就是对应区域．只有满足外极线约束的区域才能是匹配区域．考虑到垂直视差的存在，应将外极线邻近的像素点也包括在潜在的匹配特征集中．立体匹配评价函数立体匹配评价函数稠密匹配对参考图像中每一点找到对应于场景中同一点的匹配像素，得到稠密的视差图导致稠密立体匹配困难的原因左、右图像的彩色不一致图像中存在遮挡区域图像中存在镜面反射现象图像中存在重复模式图像中存在无纹理区域算法评估以真实视差场为参照，对计算得到的视差场进行评估，统计视差场的准确度，以此反映匹配方法的性能立体匹配算法的几个要素特征约束条件优化方法局部优化全局优化……基于滑动窗相关和连续性约束的立体匹配算法基于滑动窗相关的动态规划立体匹配算法基于区域特征的图割立体匹配算法基于置信度传播的区域匹配算法经典相关窗法对参考图像中每个点(xl,yl)定义以它为中心的窗口(xl,yl)左图像在目标图像中一定范围搜索匹配点…(xl,yl)右图像经典相关窗法…视差就是当相关值达到最大时的偏移量(xl,yl)dx(xr,yr)右图像经典相关窗法基于相关窗的立体匹配算法匹配度计算：vivixwjwjy2lvivixwjwjy2rly)(x,fy))d,(xfy)(x,(f1)1)(2w(2v1d)j,E(i,误差函数使用特征：右图所示组合特征基于相关窗的立体匹配算法匹配度计算：使用特征：右图所示组合特征Rijdvwfxyfxdyfxyfxylryjwjwxivivlyjwjwxivivryjwjwxiviv(,,)()()(,)(,)(,)(,)1212122相关函数基于相关窗的立体匹配算法若干标记：il左图像的现行行指标；ir右图像的现行行指标；jl左图像的现行列指标；jr右图像的现行列指标；w固定窗口的宽度指标；v固定窗口的高度指标；输入图像：左灰度图像fl(i,j)，1≤i≤I,1≤j≤J右灰度图像fr(i,j)，1≤i≤I,1≤j≤J输出图像：视差图像d(i,j)，1≤i≤I,1≤j≤J基于相关窗的立体匹配算法算法步骤：（1）初始化操作：将d(i,j)清零，并置il=v+1，ir=v+1和jl=w+1。（2）匹配运算：（2-1）在右图像的第ir=il行上寻找与左图像上的当前像素Pil=fl(il,jl)最相似的对应点Pir。方法如下：以固定尺寸的窗口套住当前像素Pil，并让同一尺寸的窗口顺序滑过右图像的第ir行，在每一个像素位置，计算所定义的误差函数E(il,jl,d)（也可计算所定义的相关函数R(il,jl,d)）,直到在右图像上找到最相似的像素点Pir为止。并将Pir定为Pil的对应点。若Pir的列指标由jr指示，那么，置d(il,jl)=jl-jr。一旦右图像上的一个像素点被定为左图像上的一个像素点的对应点，则根据唯一性约束，该点以后将不能和左图像上任何别的像素点相匹配。同样，也可引入顺序约束以进一步减少匹配运算。（2-2）做行终止检查：若jl=J-w，去（3）；否则，置jl=jl+1，回到（2-1）。（3）若il=I-v，去（4）；否则，置il=il+1、ir=ir+1和jl=w+1，回到（2-1）。（4）根据视差图像d(i,j)和摄像机的系统参数，计算各边缘点处的三维坐标。基于相关窗的立体匹配算法算法特点：误匹配的原因：（各类匹配算法的共同问题）可获得稠密视差误匹配可能较多。重复场景遮挡局部优化经典相关窗法结果自适应支持权值法格式塔心理学相似性准则接近性准则根据相似性和接近性设计邻近像素对匹配窗中心像素的权值[YoonCVPR05]在CIELab颜色空间的相似性:接近性:欧氏空间距离Weights:匹配代价累积公式自适应支持权值法0,,(,)(,)(,)(,)(,)(,)ppdppddddqNqNdddqNqNwpqwpqeqqEppwpqwpq(,)exp(())pqpqcpcgwpqk222()()()pqpqpqpqcLLaabb自适应支持权值法结果自适应支持权值法结果自适应窗口加权法结果“贴标签”，标签就是视差给特定像素分配一个标签有分配代价给临近像素分配一对标签有分离代价找到总的分配代价和分离代价之和最小图割算法置信传播算法马尔科夫随机场图割算法通过计算赋权图的最小割集求能量最小化以割代价为能量，求得的割集就是标签,通过最大流算法使能量迅速减少运行时间与像素数和标签数成线性关系近似地说,低维多项式stcutL(p)p“cut”xy标签xy视差标签图割算法图割算法结果在能量中包括遮挡项[KolmogorovICCV01]置信传播算法在马尔可夫网络上传播消息的迭代推导算法消息:反映邻近站点变量取值对该站点变量取值的影响对树结构有精确解，对有环图有较好的近似解DDDDVVVVD对称置信传播算法结果Middlebury评估网站排名第一(June2005)Middlebury评估网站排名第三(June2005)对称置信传播算法结果Middlebury评估网站排名第一(June2005)Middlebury评估网站排名第一(June2005)对称置信传播算法结果基于分割区域的算法隐含假设颜色平滑的区域内部视