IE3-IU-04

章毓晋清华大学电子工程系100084北京图象工程（下）第2页第4讲章毓晋(TH-EE-IE)第5章立体视觉：双目5.1立体视觉5.2双目成象和视差5.3基于区域的双目立体匹配5.4基于特征的双目立体匹配5.5视差图误差检测与校正第3页第4讲章毓晋(TH-EE-IE)立体视觉主要研究如何借助（多图象）成象技术从（多幅）图象里获取场景中物体的距离（深度）信息5.1.1立体成象方式5.1.2立体视觉模块5.1立体视觉第4页第4讲章毓晋(TH-EE-IE)5.1.2立体视觉模块六个模块六项工作1.摄象机标定2.图象获取3.特征提取立体视觉借助不同观察点对同一景物间的视差来帮助求取3-D信息（特别是深度信息）。所以需要判定同一景物在不同图象中的对应关系选择合适的图象特征以进行多图象间的匹配第5页第4讲章毓晋(TH-EE-IE)5.1.2立体视觉模块六个模块六项工作4.立体匹配根据对所选特征的计算来建立特征间的对应关系，从而建立同一个空间点在不同图象中的象点之间的关系，并由此得到相应的视差图象5.3-D信息恢复根据得到的视差图象，可以进一步计算深度图象，并恢复场景中的3-D信息第6页第4讲章毓晋(TH-EE-IE)5.1.2立体视觉模块六个模块六项工作6.后处理3-D信息常不完整或存在一定的误差(1)深度插值只能恢复出图象中特征点处的视差值(2)误差校正（见后）(3)精度改善象素级视差到亚象素级的视差第7页第4讲章毓晋(TH-EE-IE)获得同一场景的两幅视点不同的图象5.2.1双目横向模式5.2.2双目横向会聚模式5.2.3双目纵向模式5.2双目成象和视差第8页第4讲章毓晋(TH-EE-IE)5.2.1双目横向模式•摄象机坐标系统和世界坐标系统重合•象平面与世界坐标系统的XY平面也是平行•两个镜头中心间的连线称为系统的基线B第9页第4讲章毓晋(TH-EE-IE)1.视差和深度5.2.1双目横向模式)(1ZxX)()(2ZBxXB21xxBZBDBZ1第10页第4讲章毓晋(TH-EE-IE)1.视差和深度•3-D空间点在两个摄象机的公共视场（视角不同，被摄物的形状，摄影环境）•测距精度x1e=x1+e，d1e=x1+e+x2+B=d+e5.2.1双目横向模式)(1111eddeBdBdBZZZeeeZBeZZeBZeZ22)()(第11页第4讲章毓晋(TH-EE-IE)2.角度扫描成象象素是按镜头的方位角和仰角均匀分布的可借助镜头的方位角来表示物象的空间距离5.2.1双目横向模式ZX1tanZXB2tan21tantanBZ第12页第4讲章毓晋(TH-EE-IE)两个单目系统绕各自中心相向旋转5.2.2双目横向会聚模式sincos1XrXxsincos2XrXxsin2BrdxxBZsin2sincos221cossincos2BZ第13页第4讲章毓晋(TH-EE-IE)两个摄象机是沿光轴线依次排列•基本排除由于遮挡造成的3-D空间点仅被一个摄象机看到的问题•公共视场的边界很容易确定5.2.3双目纵向模式ZxX1ZZxX2122xxZxZ2121xxxxZX第14页第4讲章毓晋(TH-EE-IE)直接用单点灰度搜索会受到图象中许多点会有相同灰度、图象噪声等因素影响而不实用5.3.1模板匹配5.2.2双目立体匹配5.3基于区域的双目立体匹配第15页第4讲章毓晋(TH-EE-IE)5.3.1模板匹配相关函数对f(x,y)和w(x,y)幅度值的变化比较敏感相关系数xytysxwyxftsc),(),(),(2122),(),(),(),(),(),(),(xyxyxywtysxwyxfyxfwtysxwyxfyxfts第16页第4讲章毓晋(TH-EE-IE)5.3.2双目立体匹配1.极线约束C‘和C“之间的连线称光心线，光心线与左右象平面的交点E’和E”分别称为左右象平面的极点光心线与物点W在同一个平面中，这个平面称为极平面，极平面与左右象平面的交线L'和L分别称为物点W在左右象平面上投影点的极线第17页第4讲章毓晋(TH-EE-IE)5.3.2双目立体匹配2.匹配影响因素(1)由于景物自身形状或景物互相遮挡的原因，用左图象确定的某些模板不一定能在右图象中找到完全匹配的位置。此时常需根据其他匹配位置的匹配结果来插值这些无法匹配点的数据(2)不同模板图象应有不同模式。但在平滑区域得到的模板图象具有相同或相近的模式，使匹配有不确定性，并导致产生误匹配。此时可需要将一些随机的纹理投影到这些表面上以将平滑区域转化为纹理区域第18页第4讲章毓晋(TH-EE-IE)5.3.2双目立体匹配3.光学特性计算利用灰度信息进一步计算物体表面的光学特性N为表面面元法线方向的单位向量S为点光源方向的单位向量V为观察者视线方向的单位向量反射亮度I(x,y)为合成反射率(x,y)和合成反射量R[N(x,y)]的乘积)],([),(),(yxRyxyxIN第19页第4讲章毓晋(TH-EE-IE)5.3.2双目立体匹配3.光学特性计算第一项散射效应，第二项镜面反射效应H为镜面反射角方向的单位向量向量H反映出视线向量V的变化)],([),(),(yxRyxyxINkyxR)()1()],([HNSNN)](1[2)(VSVSH第20页第4讲章毓晋(TH-EE-IE)5.4基于特征的双目立体匹配基于区域方法的缺点是依赖于图象灰度的统计特性，所以对景物表面结构以及光照反射等较为敏感5.4.1基本方法5.4.2动态规划匹配第21页第4讲章毓晋(TH-EE-IE)5.4.1基本方法典型方法的主要步骤(1)用边缘检测寻找物体的轮廓线，并在轮廓线上确定特征点(2)利用立体匹配方法匹配各特征点(3)对匹配点求视差，获取匹配点的深度(4)利用获得的匹配点进行深度插值，以进一步得到其它各点的深度第22页第4讲章毓晋(TH-EE-IE)5.4.1基本方法),()','(yxvu3-D空间坐标中一个特征点W(x,y,–z)通过正交投影后在左右图上分别为：按先平移再旋转的坐标变换对u计算],sincos)[(),(yzBxvu第23页第4讲章毓晋(TH-EE-IE)5.4.1基本方法平行于XZ平面的一个平面图：cossin)(xBETQETOSTOSusincos)(cossintan)(sinzBxxBxBzucot)(cscu'Buz第24页第4讲章毓晋(TH-EE-IE)注意：仅由稀疏的匹配点并不能唯一地恢复物体外形示例：过这4个点的曲面可以有无穷多个5.4.1基本方法第25页第4讲章毓晋(TH-EE-IE)顺序性约束：物体可见表面上的特征点与它们在两幅成象图象上投影的顺序正好反过来有遮挡时，图象上投影的顺序不满足顺序性约束5.4.2动态规划匹配第26页第4讲章毓晋(TH-EE-IE)建立在两条极线上确定的多个特征点之间的对应关系将匹配各特征点对的问题描述为一个在由特征点对应结点的图（graph）上搜索最优路径的问题5.4.2动态规划匹配第27页第4讲章毓晋(TH-EE-IE)5.5视差图误差检测与校正视差图产生误差周期性模式、光滑区域的存在，以及遮挡效应、约束原则的不严格性，等等通用快速的视差图误差检测与校正算法•直接对视差图进行处理•与产生该视差图的具体立体匹配算法独立•计算量仅仅与误匹配象素点的数量成正比第28页第4讲章毓晋(TH-EE-IE)1.误差检测顺序匹配约束5.5视差图误差检测与校正)()()()()()()()(RRL≥LRRLLQXPXQXPXQXPXQXPX≤对点P和Q的Z坐标的限制第29页第4讲章毓晋(TH-EE-IE)1.误差检测检测匹配交叉（顺序匹配约束未满足）区域令PR=fR(i,j)和QR=fR(k,j)为fR(x,y)中第j行中任意两象素，则其在fL(x,y)中的匹配点可分别记为PL=fL(i+d(i,j),j)和QL=fL(k+d(k,j),j)。定义C(PR,QR)为PR和QR间的交叉标号，如果顺序匹配约束满足记为C(PR,QR)=0；否则记为C(PR,QR)=1。对应象素点PR的交叉数（crossnumber）Nc5.5视差图误差检测与校正ikQPCjiNNkRR10c),(),(第30页第4讲章毓晋(TH-EE-IE)2.误差校正假设{fR(i,j)|i[p,q]}是对应PR的交叉区域，则该区域内所有象素点的总交叉数（totalcrossnumber）Ntc为：校正交叉区域中误匹配点（零交叉校正算法）(1)找出具有最大交叉数的象素fR(l,j)：5.5视差图误差检测与校正qpijiNjiN),(),(ctc),(maxc],[jiNlqpi第31页第4讲章毓晋(TH-EE-IE)2.误差校正(2)确定对匹配点fR(k,j)的新搜索范围{fL(i,j)|i[s,t]}(3)从该搜索范围中找到能够减小总交叉数Ntc的新匹配点(4)用新匹配点来校正d(k,j)，消除对应当前最大交叉数象素的误匹配5.5视差图误差检测与校正),1(1),1(1jqdqtjpdps第32页第4讲章毓晋(TH-EE-IE)2.误差校正例5.5视差图误差检测与校正第33页第4讲章毓晋(TH-EE-IE)2.误差校正交叉区域：[fR(154,j),fR(162,j)]总交叉数：Ntc＝28(1)具有最大交叉数的象素：fR(160,j)(2)新匹配点fR(160,j)的搜索范围为：{fL(i,j)|i[181,190]}5.5视差图误差检测与校正第34页第4讲章毓晋(TH-EE-IE)2.误差校正(3)对应fR(160,j)且能够减小Ntc的新匹配点fL(187,j)(4)将对应fR(160,j)的视差值d(160,j)校正为d(160,j)=X[fL(187,j)]X[fR(160,j)]=275.5视差图误差检测与校正第35页第4讲章毓晋(TH-EE-IE)通信地址：北京清华大学电子工程系邮政编码：100084办公地址：清华大学东主楼，9区307室办公电话：[phone]传真号码：[phone]电子邮件：[e-mail]个人主页：~zhangyujin/实验室网：image.ee.tsinghua.edu.cn联系信息