您好,欢迎访问三七文档
周文晖计算机学院D.Marr视觉计算理论:计算机视觉的第三阶段(后期阶段)是获得物体的三维模型表征。如何从图像中自动计算三维几何?换句话说:图像中提供了哪些关于三维信息的线索?包含了哪些深度线索呢?阴影MerleNormanCosmetics,LosAngeles阴影纹理TheVisualCliff,byWilliamVandivert,1960阴影纹理遮挡FromTheArtofPhotography,Canon阴影纹理遮挡运动阴影纹理遮挡运动模糊阴影纹理遮挡运动模糊其他线索高光轮廓对焦...ShapeFromXX=阴影、纹理、遮挡、运动、...Twoisbetterthanone?红蓝眼镜偏振光眼镜快门眼镜LGOptimus3DHuman-EyeSeparation(~6.5cm)Left2DImageRight2DImageBrain3DView左、右图像提供了怎样的深度线索?Left2DImageRight2DImageBrain3DView采用一对像机代替人眼Left2DImageRight2DImageBrain3DViewDisplacement(StereoBaseline)采用一对像机代替人眼Displacement(StereoBaseline)Left2DImageRight2DImageComputer3DViewDisplacement(StereoBaseline)Left2DImageRight2DImageComputer3DView光线OP上的任意点都投影在图像平面的p点上。深度感知存在歧义第二个像机可解决单目存在的深度歧义可通过三角测量获得深度两直线相交于一点plpr问题:如何根据pl和pr点获取深度?考虑左、右像机光轴平行的特殊情况P(X,Y,Z)pl(xl,yl)光心Olf=焦距像平面左摄像机B=基线深度Zf=焦距光心Orpr(xr,yr)像平面右摄像机x’zfxCC’XBfxxfBzdxxBfzdd=x-x'称为视差思考:该视差公式隐含了什么条件?通常的立体视觉系统(包括人类视觉系统)都是采用会聚方式。fieldofviewofstereoonepixeluncertaintyofscenepointOpticalaxesofthetwocamerasneednotbeparallel平行光轴立体视觉系统◦短基线较大的公共视野区域深度误差(不确定区域)较大平行光轴立体视觉系统◦短基线较大的公共视野区域深度误差(不确定区域)较大◦长基线公共视野区域较小深度误差(不确定区域)较小平行光轴立体视觉系统◦短基线较大的公共视野区域深度误差(不确定区域)较大◦长基线公共视野区域较小深度误差(不确定区域)较小会聚光轴立体视觉系统◦会聚角度为θ◦公共视野区域大可以得到的结论是?1、基线或聚散度增加导致视野范围减少2、基线或聚散度影响三维重建的精度会聚立体视觉系统能否利用之前的推导结果?立体视觉中重要的几何约束:极线约束场景点P在视图π中的投影点为像素点p,则在视图π’中的投影点p’必定满足双目几何约束:◦必定位于图像平面π’与OPO’平面的交线上。像素点p和p’是场景点P在两视图上的投影。像素点p和p’称为对应点或匹配点。•极平面极点极线基线极点极线极线约束:对应点必定在极线上!基线(Baseline):连接像机中心的直线极点(Epipole):基线与图像平面的交点极平面(Epipolarplane):基线和场景点组成的平面极线(Epipolarline):极平面与图像平面的交线所有的极线相交于极点思考:极线约束的意义或用处?所有极线水平极点在基线B上的无穷远处左、右图对应极线在同一水平。对应像素点只存在水平坐标差异,不存在垂直坐标差异。即仅有水平视差,垂直视差为0。视差定义:d=x-x'x’zfxCC’XBf光轴会聚的立体视觉系统能否利用平行光轴的推导结果?立体图像校正◦将左、右图像平面都投影到平行于基线的公共平面。◦变换后的对应极线处于同一水平线(共线)。校正的目的:◦输入图像通过透视变换使得外极线水平,且共线。◦畸变校正,使得成像过程符合小孔成像模型。plprPOlOrXlXrPlPrZlYlZrYrT校正步骤:◦将左右图像平面都投影到平行于基线的公共平面。◦图像行像素重采样。◦最小化图像畸变。[ZhangandLoop,MSR-TR-99-21]立体视觉系统的参数◦内部参数对于每个像机,其图像坐标系与像机坐标系间的关系。焦距、光心、畸变系数◦外部参数两像机间的相对位置和方向。旋转矩阵R和平移矢量T(由双目像机标定获得)plprPOlOrXlXrPlPrflfrZlYlZrYrR,T符号定义:场景点P在左右像机坐标系下的坐标为Pl=(Xl,Yl,Zl),Pr=(Xr,Yr,Zr)。外部参数◦平移矢量T=(Or-Ol)◦旋转矩阵RPr=R(Pl-T)场景点P在左右图像平面上投影pl=(xl,yl,zl),pr=(xr,yr,xr)。◦对于所有的像素点有zl=fl;zr=frllllrrrrfZfZpPpPplprPOlOrXlXrPlPrflfrZlYlZrYrR,T同时旋转左右像机使得它们具有相同的X轴。定义左像机的旋转矩阵为Rrect。右像机旋转矩阵为RrectR'立体图像校正后RrectR'?plprPOlOrXlXrPlPrZlYlZrYrT,0,0rlBTPPT由立体图像标定有,立体图像校正后,有校正目标:即:可得由于R为正交矩阵,有rlPRPT11llllllrrrrrrPRPPRPPRPPRP,0,0rlBTPPT111rrllrrlrRPRRPTPRRRPRRT11rlrlRRRIRRRrlRRRStereopairsbeforerectificationStereopairsafterrectificationUnrectifiedRectified平行光轴的双目立体视觉x’zfxCC’XBfBfzddxx还有问题吗?问题:如何确定对应像素点?立体匹配的过程:为左图像的每个像素点(xl,yl),在右图像中搜索对应点。(xl,yl)LEFTIMAGE问题:在右图像中如何搜索?极线约束的意义:◦将对应点搜索由原来的二维平面上搜索变为在极线上的一维搜索。对于校正后的立体图像:◦在图像水平方向搜索比较右图对应极线上的每个像素,寻找最相似的像素作为对应点。即在右图同一水平方向上的视差范围内搜索。(xl,yl)RIGHTIMAGE相似度值最大问题1:以左图为基准图,视差搜索范围如何确定?问题2:相似性测度如何选择?匹配基元:参与立体匹配,计算相似测度的基本单元常用的匹配基元:◦像素单个像素存在相似性歧义需结合一行或整幅图像的所有像素同时完成匹配◦局部窗口区域具有较好的局部独特性隐含假定:窗口内所有像素应能表征中心像素◦特征具有较好的独特性稀疏且不均匀分布根据立体匹配过程中涉及的像素范围,可分为:◦局部立体匹配通常以基于局部窗口的立体匹配方法为主。匹配基元:局部窗口◦全局立体匹配匹配过程中,求解一行或整幅图像中所有像素的相似测度和最大/最小。匹配基元:像素根据立体匹配过程中采用的匹配基元,可分为:◦致密匹配搜索每个像素的对应点,构建致密视差图匹配基元为像素◦稀疏匹配仅为特征搜索对应点,构建稀疏的视差图.匹配基元为特征。以基准图的待匹配点为中心创建一个窗口,以在对准图中对应外极线上某一像素点为中心创建同样大小的滑动窗口,窗口内相邻像素的亮度值分布来表征中心像素。比较对准图中每个滑动窗口内容与基准图参考窗口内容的相似程度。PPRightepipolarlineSearchRangeLeftepipolarlineMatchingcostdisparityLeftRightscanline问题:采用哪种相似性测度?对于已校正的双目立体图像对,则在扫描线上搜索。常用的相似性测度包括:◦距离测度:L1距离、L2距离、...◦相关系数:NCC、ZNCC◦非参数化测度:RANK、Census像素亮度差的绝对值和(SumofAbsoluteDifferences,SAD):像素亮度差的绝对平方和(SumofSquaredDifferences,SSD):,(,)(,)pSADlruvWCIuvIudv2,(,)(,)pSSDlruvWCIuvIudv问题:距离测度越小,相似性越?LeftRightscanlineSSD归一化互相关(NormalizedCross-Correlation,NCC),22,,(,)(,)(,)(,)ppplruvWNCClruvWuvWIuvIudvCIuvIudv,22,,(,)(,)(,)(,)pppllrruvWZNCCllrruvWuvWIuvIIudvICIuvIIudvI问题:相关系数越小,相似性越?LeftRightscanlineNCCRANK:,,(,)pRanklruvWCIuvIudv,,,,pkkkmnWIuvImnIuv统计匹配窗口内像素亮度值小于中心像素的个数。,kIuvCensus:,,,,pCensuslRuvWCHAMMINGIuvIudv,,,,kkkmnWpIuvBITSTRINGImnIuv是将匹配窗口内像素按一定顺序映射为二进制位串,如像素亮度值大于中心像素则映射为1,反之为0。然后比较左、右匹配窗口二进制位串的汉明距离。问题:RANK和Census区别?groundtruth问题:视差图灰度级代表的含义?(a)SAD匹配结果(b)ZSAD匹配结果(c)SSD匹配结果(d)ZSSD匹配结果(e)NCC匹配结果(f)ZNCC匹配结果(g)Rank匹配结果(h)Census匹配结果for(j=line_start;j=line_end;j++){for(i=row_start;I=row_end;i++){//遍历基准图像素for(d=dpXMin;d=dpXMax;d++){//视差搜索cov_tmp=0.0;num=0;for(n=j-vradius;n=j+m_vradius;n++){for(m=i-hradius;m=i+hradius;m++){//遍历窗口addr=n*width+m;subtmp=template_img[addr]-shift_img[addr+d];cov_tmp+=(subtmp0)?subtmp:-subtmp;}}}}}特点:以窗口内像素亮度值的分布特性表征中心像素◦单个像素在亮度、色彩上存在歧义隐含条件:匹配窗口内视差平滑◦匹配窗口内像素应具有相同的视差值。因此,当匹配窗口跨越深度不连续区域时就会因违背假设而引起误配。匹配窗口大小的选择问题5x5匹配窗口7x7匹配窗口11x11匹配窗口19x19匹配窗口匹配窗口变小细节丰富噪声大视差边缘处好匹配窗口变大视差更平滑噪声小视差边缘处差思考:试解释原因?Input–Groundtruth7x7windowSharpedgesareblurred!AdaptivewindowSharpedgesandlessnoise3x3windowToonoisy!优点:◦容易
本文标题:第九章-立体视觉
链接地址:https://www.777doc.com/doc-4702684 .html