基于视觉的多机器人协作基于视觉的多机器人协作SLAM问题

科技导报2015，33（23）问题问题吕强，林辉灿，张洋，马建业装甲兵工程学院控制工程系，北京100072移动机器人的自主导航问题可以分为定位、地图构造和路径规划3个部分[1]。定位的任务是确定机器人在当前环境中的位姿，地图构建的任务是将对环境的零碎分布观测整合为一个联系的模型，路径规划的任务是确定最佳路径并导航机器人通过环境。起初定位和地图构建是分开研究的，后来学者们意识到二者是相互关联的。同时定位与地图构建（simultane⁃ouslocalizationandmapping，SLAM）是指机器人在未知环境中运动时增量地构建周围环境地图，同时运用此地图对机器人自身位姿进行估计[2]。SLAM是移动机器人系统最基本、最重要的一项能力，随着未知环境探测的日趋复杂和非结构化，SLAM已成为自主移动机器人亟待解决的重要基础性难题[3,4]，并被视为移动机器人领域的“圣杯”[5]。当摄像头作为唯一的感知外部环境的传感器用于SLAM，就称为视觉SLAM。准确的环境地图有助于实现高精度的定位，而精确定位则有利于建立更加真实可信的环境地图[6]，两者相辅相成。许多视觉SLAM系统在如下的环境中容易失败：外部环境、动态环境、显著特征太多或太少的环境、大尺度环境，以及当摄像头运动不稳和部分或全部的闭锁现象。视觉SLAM系统成功的关键是具备处理上述困难的能力。近10年来，从发表的论文可以看出一个清晰的趋势，就是使用视觉作为唯一的外部传感器的感知系统用于解决SLAM问题[7~11]。之所以会有这样的趋势，是因为基于摄像头的系统既能够获取尺度信息又能够恢复环境的外观、颜色和纹理，使得机器人能够完成更高级的功能，如在环境中识别人员。进一步说，摄像头更便宜、更轻且功耗更低。不幸的是相机数据存在误差，由于相机分辨率不足、光线变化、表面缺乏纹理和快速运动引起图像模糊等因素。许多学者对上述问题进行研究并取得不少成果，比较典型的有Klein等基于BA（bundleadjustment）的实时SLAM算法，即并行跟踪和构图（paralleltrack⁃ingandmapping，PTAM）[9]，Engel等采用直接的方法构建大范围内的半稠密地图，即LSD-SLAM[12]，以及RGB-DSLAM[13]和ORBSLAM[14]等。RGB-DSLAM采用一种能够同时获取环境彩色信息（RGB）和深度信息（depth）的RGB-D传感器。对于单个机器人的SLAM系统已经有不少的解决方案，然而多机器人的SLAM相较而言还是一个新领域，多机器人SLAM系统可以提升构图的速度和精度，有利于路径规划等探索研究。该领域的核心问题是多机器人之间的通信拓扑、任务规划和地图融合。任务规划：当多个机器人用于共同探索同一个环境进行研究时，需要处理好各个机器人的任务规划问题。做好任务规划可以节省探索整个研究环境的时间。通信拓扑是指机器人之间的通信结构，有完全连接和部分连接等多种通信拓扑结构。对于完全连接需要使用外部设备以克服通信带宽和距离的限制，外部设备用于将一个机器人的数据发送给所有的机器人[15]。部分连接采用两个机器人之间的一对一通信解决通信带宽和距离的限制问题，机器人仅能使用通信范围内的其他机器人的信息。地图融合是解决多机器人SLAM的关键问题，运用共享的信息改进全局地图的精度和构图范围，全局地图通过联合所有机器人的局部地图获得。当机器人之间的相对位置关系已知，只需要根据每个机器人的定位和构图进行拼接地图；而当机器人之间的相对位置未知时，需要对每个机器人的地图进行转换才能进行拼接地图。总之，虽然需要处理上述难题，但是多机器人SLAM能够以更快的速度、视觉SLAM仅采用图像作为外部信息，用于估计机器人位置的同时构建环境地图。SLAM是机器人自主性的基本前提，如今在小动态环境采用激光或者声呐传感器构建2D地图得到较好地解决。然而动态、复杂和大范围下的SLAM仍存在问题，使用视觉作为基本的外部传感器是解决问题的一个新颖热门的研究方法。在视觉SLAM中使用计算机视觉技术，如特征检测、特征描述和特征匹配，图像识别和恢复，还存在很多改善的空间。本文在视觉SLAM领域的最新技术的基础上，对基于视觉的多机器人协作SLAM领域的前沿技术进行综述。1102015世界机器人大会报道特刊更高的精度探索未知环境。而且，多机器人SLAM具有更强的容错能力，环境条件的恶劣或者变化、由于错误的数据关联或假设模型引起的算法失败等问题，可以通过多机器人系统克服。因此，近几年相对单个机器人的SLAM应用研究，多机器人的SLAM应用研究更加吸引人和热门。1视觉SLAM1.1同时定位和地图构建在1985—1990期间，Chatila和Smith提出地图构建和定位同时进行研究的问题。不久之后，该问题有了专业名称SLAM（simultaneouslocalizationandmapping）。有关SLAM的历史可以参阅Durrant和Bailey撰写的有关SLAM发展历程的文章[16,17]。SLAM指移动平台（机器人、运输载体等）能够构建所探索环境的全局地图，同时利用地图进一步确定自身位置。为了对环境构建地图，机器人必须拥有用于感知和获取外部环境观测的传感器，可分为外部传感器和内部传感器两种。外部传感器包括声呐、激光扫描仪、相机以及GPS等，这些传感器都存在噪声和距离受限的问题。此外，前3种传感器只能获得环境的局部视图。激光传感器和声呐传感器可以获取精确而稠密的环境结构信息，然而，存在的问题是：在复杂性高的环境以及物体识别方面均不可用，质量大、体积大使得难以在飞行机器人或者人型机器人上应用。另一方面，GPS在狭窄街道、城市峡谷、水下和室内等环境的定位精度不能满足要求。内部传感器能够测量机器人的速度、位置变化和加速度，例如编码器、加速度计和磁罗盘等，但由于存在累积误差，并不能保证足够的估计精度。在文献[18]~[20]中得到证实，为了获得机器人位置的高精度且鲁棒性好的估计，需要使用信息融合技术处理多个传感器的数据。然而，传感器增加引起的系统的造价过高、重量增加和功耗过大等问题，因此，探索如何仅仅依靠相机作为传感器实现同时定位和地图构建就显得尤为重要。1.2相机在SLAM中的应用第一个视觉导航的作品采用双目立体结构相机[21,22]，然而，多数情况下由于价格昂贵，很难获取双目或者三目立体相机。另一种解决方法是使用一对单目相机，导致需要考虑不懂方面的困难：采用硬件或软件的方式实现相机同步；每个CCD传感器对颜色或光线的响应略有不同；采取何种几何结构进行校准等。不管采用什么类型的相机，在使用之前都必须校准（手动或者自动），校准需要估计相机的内部参数和外部参数，前者依赖于相机的几何结构（焦距和光点），后者由相机在空间中的位置决定（某个坐标系统中的旋转和位移）。根据多视角棋盘校准图像，关联图像坐标与真实世界坐标可获取参数[23]，也有许多工具能够实现相机的校准：OpenCV的校准函数、Matlab的相机校准工具箱等。使用多相机带有或者不带有视角重叠的研究[24,25]，使用特殊镜头的相机如广角[26]或者全向[27]相机增加视觉范围，进而一定程度上减小累积误差。近几年出现的RGB-D传感器应用于室内环境的地图构建，已被验证是一种非常有前途的方法[28,29]。德国弗莱堡大学的Engelhard和慕尼黑技术大学的Sturm等[30]提出了一种基于RGB-D传感器的实时3D视觉SLAM方法，主要包括特征提取和匹配、位姿估计、位姿修正、位姿图优化4个步骤。该方法对Henry等提出的方法进行了3点改进：首先在特征提取时将SIFT特征替换为SURF特征，其次在位姿图优化时使用g2o方案代替TO⁃RO，最后在环境地图的表示时将点云地图转换成3D占据栅格地图。文献[31]中进一步对SIFT、SURF和ORB[32]3种不同的特征描述方法进行了研究和实验分析对比，而且针对着色点云地图存储量大和计算量大的问题，使用基于Octree的地图构建框架OctoMap将点云地图体素化转换成3D占据栅格地图。此外，他们还首次构建了一个包含RGB-D图像序列和真实摄像机轨迹的数据集用于评估SLAM系统的性能[33]。基于该数据集进行了大量的实验，结果表明其位姿估计平均精度为9.7cm和3.95°，平均每帧的处理时间为0.35s，基本满足实时运行的要求。自从单目SLAM的出现[34]，仅用一个相机实现同时定位和地图构建的方法就变得越来越流行。这是因为通过手机、数码相机或笔记本等可以轻松获得相机，比立体相机更加容易获取。单目方法的硬件简单灵活经济，数据处理时间也较短。仅依靠单目并不能直接获得足够的信息计算航标的深度，因此需要处理航标的初始化问题，通常有两种解决方案[35,36]。为了从一个相机获取环境的三维信息，需要处理多个观测图像的特征跟踪问题。2图像数据关联最先进的RGB-DSLAM系统大多数都采用迭代最近点（iterativeclosestpoint，ICP）算法去匹配点特征，这些点特征的空间位置是根据匹配的传感器深度数据计算得到的。然而，特征的深度测量数据经常被噪声所干扰，因为视觉特征倾向于在实物的边缘。为了减小估计误差，高翔等[37]采用了可靠的深度数值提取和选择特征的方法，如平面点特征。平面点特征有利于提高传统的ICP的精度和鲁棒性，同时保持合理的实时应用的计算消耗。通过公开数据集的轨迹跟踪和构图结果以及实物机器人的实际试验，验证了一个基于平面的RGB-DSLAM的系统的有效性。在单目视觉SLAM中，绝大多数采用基于特征的地图表示，因此此处主要对基于特征的运动估计方法进行分析。对该问题的研究，是计算机视觉领域中经典的从运动恢复结构（SFM）问题，也有学者将其等同于视觉里程计研究。基于2D图像特征的运动估计一般包括特征检测、特征匹配和运动估计。2.1特征提取特征提取对于视觉SLAM是最为关键也最为基础的一个环节，因为后续的所有处理都以此为基础进行。SIFT[38]111科技导报2015，33（23）多年的应用中验证其良好的性能，成功应用于视觉特征、目标识别、图像匹配和视觉构图等方面[32]。但由于采用128维向量，相较而言在计算和匹配过程中运算速度较慢，不利于在实时性要求很高的SLAM系统中的应用。SURF[39]能够在保持与SIFT相同性能的辨别率的情况下，提高运算和匹配的效率，然而该描述符使用了64维向量的浮点数据即256位，当需要存储数以百万计的描述符时也是不能满足要求的。BRIEF[40]使用二进制流作为关键点特征的描述符，该方法使用较少的位数就能够获得高性能且计算简单，文献[40]验证该方法在获得与SURF相当或者更好性能的情况下，需要的时间更少。ORB[32]是一种基于BRIEF的快速二进制描述符，该方法具有旋转不变性和抗干扰性能，更加适用于视觉SLAM系统对实时性和精度的要求。ORB-SLAM[14]是一个满足大、小范围，室内外环境的实时单目SLAM系统，且可以完全的自动初始化，采用适者生存的方法选择重构点和关键帧，生成稠密地图，该地图仅当场景内容改变时才更新，加强了终生地图构建的能力。2.2特征匹配特征匹配的性能对SLAM效果具有决定性的影响，为快速获得高精度的匹配，主要有两类算法[41]：一是灰度匹配，使用统计模型寻找点匹配；二是基于特征的方法，该方法基于从图像检测得到的特征（点、线或面）。两种方法各有千秋，灰度匹配的方法具有更高的精度但同时消耗更多的计算资源，目前来看并不满足视觉SLAM的实时性要求，另一方面，基于特征的方法需要的计算资源较少且抗干扰性能好。基于特征的方法需要先从图像中提取特征，在上一节中已经介绍过方法。基于特征的方法计算两个帧间的特征匹配，有两种思路：一是先提取前一帧图像的特征，然后在局部范围内的图像检索寻找对应点[42]，该方法具有的优点是算法速度快，局限性是仅