双目立体视觉

Image&VisionLab双目立体视觉Binocularstereovision信息视觉处理Image&VisionLab2内容（Contents）极线几何Essential矩阵、fundamental矩阵弱标定立体重建（视差、双目匹配）多个摄像机结构光时空立体光条距离（range）数据实例：视差与三维图最新进展（运动提取等）进一步学习材料Image&VisionLab32D和3D的关系现实存在的问题一般的物体(Objects)都是三维的；图像(Images)却是有关灰度，颜色等信息的阵列；3D的深度(Depth)信息在一幅图像上不能明显的显示出来。2D的分析需要3D的信息物体表面是连续，平滑(Smooth)的；物体都有特定的形状和边界。3D的信息可以通过2D的图像计算出来视差(Disparity)，深度(Depth)信息等等。Image&VisionLab4为什么需要两个眼睛？物体的深度信息不能通过单眼所获得。Image&VisionLab5为什么需要两个眼睛？物体的深度信息可以通过双眼的观察得到。Image&VisionLab6双目立体视觉三维测量原理(Triangulation)双目立体视觉三维测量是基于视差原理。计算公式：Image&VisionLab7视差(Disparity)与深度(Depth)的关系视差和深度成反比关系：Image&VisionLab8视差(Disparity)与深度(Depth)的关系同一深度下的视差一样Image&VisionLab9亚像素(Sub-pixel)在某些对精度要求较高的场合，需要对视差进一步精细化(Refinement)，亚像素是其中的一种方法。Image&VisionLab10立体视觉（StereoVision）由两幅或多幅从不同视点拍摄的图像恢复场景三维信息的技术两个主要的子问题匹配问题-视差图(DisparitySpaceImage)相似而不是相同遮挡问题:场景的某些部分只在一幅图像中可见重建问题-3D重建所需要的摄像机参数立体摄像机标定Image&VisionLab11立体图对(Stereopair)问题匹配问题(立体匹配)-视差图重建问题-3D?3D?匹配?Image&VisionLab12极线几何(EpipolarGeometry)动机:在哪寻找匹配点?极平面极线极点极线约束匹配点必须在极线上plprPOlOrelerPlPr极平面极线极点Image&VisionLab13极线几何(EpipolarGeometry)基线：左右两像机光心的连线；极平面：空间点，两像机光心决定的平面；极点：基线与两摄像机图像平面的交点；极线：极平面与图像平面的交线。plprPOlOrelerPlPr极平面极线极点基线Image&VisionLab14Essential矩阵左右两幅图像相对应的点之间的关系可以通过Essential矩阵或是Fundamental矩阵来表明。Essential矩阵是摄像机标定情况下用的。公式：pr和pl分别是齐次摄像机坐标向量。公式描述了点pr位于与向量Epl相关的外极线上。Essential矩阵是奇异矩阵，并有两个相等的非零奇异值，秩为2。0)(lTrEppImage&VisionLab15Fundamental矩阵当内部参数未知（非标定的摄像机）：公式可表示为：M为内参矩阵ql,qr为图像坐标Fundamental矩阵秩同样为2。Fundamental矩阵是摄像机非标定的情况用的。llMpq0)(lTrFqqrrMpqllqMp1rrqMp11EMMFTReference:《LearningOpenCV》Image&VisionLab16弱标定(WeakCalibration)定义：对于内部参数未知的摄像机，通过两幅图中的冗余点集合来估计外极几何。方法：8点算法(Longuet-Higgins1981)最小二乘法最小二乘法的8点算法规范化线性8点算法(Hartley1995)Reference:《计算机视觉——一种现代方法》第10章Image&VisionLab17弱标定(WeakCalibration)使用一个玩具房子的两幅图像上的37个点作为输入的弱标定实验。数据点在图中用圆点表示，所经过的外极线用短的直线段表示。左图显示使用最小二乘法的普通8点算法得到的输出结果；右图为使用Hartley变换后的该方法的输出结果。Image&VisionLab18图像校正(RectifiedImages)目的：规范化极线约束中的极线分布，使得匹配效率得到进一步的提高。校正后的图像不需要求极线方程，因为相对应的匹配点在图像相对应的扫描线(Scan-line)上。Image&VisionLab19图像校正(RectifiedImages)在校正图像中所有极线都平行Image&VisionLab20图像校正(RectifiedImages)把极点拉向无穷远处。Image&VisionLab21图像校正(RectifiedImages)校正后Image&VisionLab22立体匹配(Stereomatch)选取何种匹配基元进行匹配？两种主要的方法特征匹配稠密匹配Image&VisionLab23特征匹配(Featurematch)常用特征边缘线(长度、方向、平均对比度)角点匹配算法在立体图对中抽取特征定义相似度利用相似度和极线几何寻找匹配Image&VisionLab24特征匹配(Featurematch)对于左图像中的每一个特征…左图像角点线结构Image&VisionLab25特征匹配(Featurematch)在右图像中寻找…当相似度达到最大时的偏移量就是视差右图像角点线结构Image&VisionLab26稠密匹配（Densematch）找到对应于场景中同一点的像素通常假设经过立体校正分块平滑表面朗氏表面目标:找到视差图Image&VisionLab27稠密匹配（Densematch）局部算法(Local/window-basedalgorithms):在匹配点的一个特定窗口中计算相似度。SSD，SAD，MSE，MAD，etc.全局算法(Globalalgorithms)：能量方程：模拟退火(Simulatedannealing),动态规划(DynamicProgramming),最大流(Max-flow),图像分割(graph-cut),etc.)()()(dEdEdEsmoothdataImage&VisionLab28匹配方程(MatchingFunction)Image&VisionLab29特征匹配VS稠密匹配特征匹配(Featurematch)：速度快，匹配效率高；特征的提取可以到亚像素级别，精度较高；匹配元素为物体的几何特征，对照明变化不敏感；重建需要拟合。稠密匹配(Densematch):重建不需要拟合；速度慢，效率低；对于无纹理，纹理不明显的图像匹配效果不理想；对光强、对比度、照明条件敏感。Image&VisionLab30立体匹配的困难场景投影到两幅图像中并不总是一致的摄像机相关图像噪声、不同增益、不同对比度等等...视点相关透视畸变遮挡镜面反射即使在测试的标准图像中匹配也不是容易的事重复场景无纹理区域遮挡Image&VisionLab31Image&VisionLab32立体匹配中常用约束(Constraints)极线约束：匹配点一定位于两幅图像中相应的极线上；顺序一致性约束：位于一幅图像上的极线上的系列点，在另一幅图像中的极线上具有相同的顺序；唯一性约束：两幅图像中的对应的匹配点应该有且仅有一个；视差连续性约束：除了遮挡区域和视差不连续区域外，视差的变化应该都是平滑的。Image&VisionLab33算法评估以真实视差场为参照，对计算得到的视差场进行评估，统计视差场的准确度，以此反映匹配方法的性能具体实例--SSDImage&VisionLab36具体实例--SSDImage&VisionLab37多个摄像机Image&VisionLab38多个摄像机三个摄像机增加第三个摄像机可以消除（大部分）由双目图像点造成的不确定性。本质上，第三幅图像可以用来检查前两幅图像中假定的匹配：和前两幅图像中匹配点对应的三维空间点首先被重建，然后再投影到第三幅图。如果在第三幅图像的再投影点周围没有相容的点，那么这个匹配一定是错误的匹配。Image&VisionLab39多个摄像机多个摄像机Okutami和Kanade(1993)提出一个多摄像机的算法，其中同时利用所有图像来搜索匹配。基本想法：假设所有图像都是被校正过的，讲搜索正确的视差的操作转换为搜索正确的深度或者深度的倒数。选择第一幅图像作为参考，将与所有其他摄像机相关的平方差加到一个全局评价函数E中。评价函数E是深度倒数的函数。Image&VisionLab40多个摄像机下图是不同数量的摄像机评价函数E的函数值：Image&VisionLab41结构光(StructureLight)光学投影器将一定模式的结构光投射于物体表面，在表面上形成由被测物体表面形状所调制的光条三维图。结构光的目的就是增加三维物体的纹理信息。Image&VisionLab42结构光的三大基本原则编码要唯一；汉明距离（Hammingdistance）为1;满足抽样定理。Image&VisionLab43结构光光条模板（Pattern）二进制编码(binarycode)格雷码(Graycode)改进格雷码灰度编码：锯齿状条纹(Saw-toothpattern)、正弦状条纹、etc.金字塔子光栅条纹投射法(Pyramidsub-gratingprojectingmethod)伪随机编码阵列(Pseudo-randomencodedarray)Ref:Salvietal.,Patterncodificationstrategiesinstructuredlightsystem,PatternRecognition,37,827-849,2004.Image&VisionLab44各种结构模板光举例二进制编码(binarycode)格雷码(Graycode)Image&VisionLab45各种结构模板光举例改进格雷码Image&VisionLab46各种结构模板光举例灰度编码(n-arraycodes)Image&VisionLab47各种结构模板光举例金字塔子光栅条纹投射法(Pyramidsub-gratingprojectingmethod)Image&VisionLab48各种结构模板光举例伪随机编码阵列(Pseudo-randomencodedarray)63*65的伪随机阵列：Image&VisionLab49各种结构模板光实例Image&VisionLab50实验设施示意图Image&VisionLab51实验设施(ExperimentalSetup)Reference：High-AccuracyStereoDepthMapsUsingStructuredLightImage&VisionLab52时空立体光条(SpacetimeStereo)空间域匹配函数公式：I1I2分别为图像1和图像2的灰度值；Vs是x1像素邻近域的向量。时空匹配函数公式：Image&VisionLab53时空立体光条(SpacetimeStereo)空间匹配和时空匹配的比较Image&VisionLab54实验设施(ExperimentalSetu