视觉SLAM十四讲-第七讲-视觉里程计(1)

视觉SLAM十四讲从理论到实践高翔清华大学2016年冬第七讲视觉里程计（1）Chapter7:VisualOdometry(1)2第七讲视觉里程计（1）•本讲目标•理解图像特征点的意义,并掌握在单幅图像中提取出特征点，及多幅图像中匹配特征点的方法。•理解对极几何的原理，利用对极几何的约束，恢复出图像之间的摄像机的三维运动。•理解PNP问题，及利用已知三维结构与图像的对应关系，求解摄像机的三维运动。•理解ICP问题，及利用点云的匹配关系，求解摄像机的三维运动。•理解如何通过三角化，获得二维图像上对应点的三维结构。3第七讲视觉里程计（1）•从本讲开始，开始介绍SLAM系统的重要算法•视觉里程计：特征点法和直接法•后端优化•回环检测•地图构建47.1特征点法57.1特征点法•经典SLAM模型中以位姿——路标（Landmark）来描述SLAM过程•路标是三维空间中固定不变的点，能够在特定位姿下观测到•数量充足，以实现良好的定位•较好的区分性，以实现数据关联•在视觉SLAM中，可利用图像特征点作为SLAM中的路标67.1特征点法•特征点：图像当中具有代表性的部分•可重复性•可区别性•高效•本地•特征点的信息•位置、大小、方向、评分等——关键点•特征点周围的图像信息——描述子（Descriptor）•例子：SIFT/SURF/ORB见OpenCVfeatures2d模块7特征描述应该在光照、视角发生少量变化时仍能保持一致7.1特征点法•例子：ORB特征•关键点：OrientedFAST•描述：BRIEF•FAST•连续N个点的灰度有明显差异•OrientedFAST•在FAST基础上计算旋转87.1特征点法•BRIEF•BRIEF-128：在特征点附近的128次像素比较•ORB：旋转之后的BRIEF描述•BRIEF是一种二进制描述，需要用汉明距离度量9BRIEF的比较pattern7.1特征点法•特征匹配•通过描述子的差异判断哪些特征为同一个点•暴力匹配：比较图1中每个特征和图2特征的距离•加速：快速最近邻（FLANN）107.2实践：特征提取和匹配117.32D-2D：对极几何127.32D-2D：对极几何•特征匹配之后，得到了特征点之间的对应关系•如果只有两个单目图像，得到2D-2D间的关系——对极几何•如果匹配的是帧和地图，得到3D-2D间的关系——PnP•如果匹配的是RGB-D图，得到3D-3D间的关系——ICP137.32D-2D：对极几何•几何关系：•P在两个图像的投影为•两个相机之间的变换为•在第二个图像上投影为•记，称为极线，反之亦然•称为极点•实践当中：•通过特征匹配得到，P未知，未知•待求14𝑝1,𝑝2𝑇12𝑂1𝑃𝑒2𝑝2𝑙2𝑒1,𝑒2𝑝1,𝑝2𝑒1,𝑒2𝑇127.32D-2D：对极几何•世界坐标：•以第一个图为参考系，投影方程：•使用归一化坐标（去掉内参）：•齐次关系：•两侧左乘：•再一步左乘：15对极约束：带内参的形式：7.32D-2D：对极几何•对极约束刻画了共面的关系•定义：•Essential矩阵•Fundamental矩阵•在内参已知的情况下，可以使用E•两步计算位姿：•由匹配点计算E•由E恢复R,t16𝑂1,𝑂2,𝑃•对极约束的性质：•乘任意非零常数依然满足•E共五个自由度•当成普通矩阵的话，有八个自由度•可用八点法求解7.32D-2D：对极几何•八点法求E•将E看成通常3x3的矩阵，去掉因子后剩八个自由度•一对匹配点带来的约束：•向量形式：17八对点构成方程组7.32D-2D：对极几何•从E计算R,t：奇异值分解18四个可能的解，但只有一个深度为正7.32D-2D：对极几何•SVD过程中：•取因为E的内在性质要求它的奇异值为•最少可使用五个点计算R,t，称为五点法•但需要利用E的非线性性质，原理较复杂197.32D-2D：对极几何•八点法的讨论•用于单目SLAM的初始化•尺度不确定性：归一化t或特征点的平均深度•纯旋转问题：t=0时无法求解•多于八对点时：最小二乘或RANSAC207.32D-2D：对极几何•从单应矩阵恢复R,t：•八点法在特征点共面时会退化•设特征点位于某平面上：或•两个图像特征点的坐标关系：21中间记为H7.32D-2D：对极几何•该式是在非零因子下成立的•去掉第三行：•一对点提供两个约束•写成关于H的线性方程：•类似八点法•先计算H•再用H恢复R,t,n,d,K227.32D-2D：对极几何•小结•2D-2D情况下，只知道图像坐标之间的对应关系•当特征点在平面上时（例如俯视或仰视），使用H恢复R,t•否则，使用E或F恢复R,t•求得R,t后：•利用三角化计算特征点的3D位置（即深度）237.4实践：对极约束求解相机运动247.5三角化25•已知运动时，求解特征点的3D位置•几何关系：•求时，两侧乘•反之亦然•或者同时解•求的最小二乘解𝑠2𝑥1∧𝑠1,𝑠2−𝑅𝑥2,𝑥1𝑠1𝑠2=𝑡𝑥=𝐴𝑇𝐴−1𝐴𝑇𝑏7.5三角化•三角化中的问题：•解得深度的质量与平移相关•但是平移大时特征匹配可能不成功•方程•系数矩阵伪逆不可靠•行列式近零26−𝑅𝑥2,𝑥1𝑠1𝑠2=𝑡𝐴𝑇𝐴特例：相机前进时，虽然有位移，但位于图像中心的点无法三角化（没有视差）7.6实践：三角测量27