无人机视觉导航研究综述

第22卷增刊1系统仿真学报©Vol.22Suppl.12010年2月JournalofSystemSimulationFeb.,2010•62•无人机视觉导航研究综述吴显亮,石宗英,钟宜生（清华信息科学与技术国家实验室，清华大学自动化系，北京100084）摘要：对无人机视觉导航的现有算法从视觉处理和状态估计与数据融合两大方面作了分类总结，重点讨论了无人机获取图像的特征提取、视觉传感器同其他传感器的数据融合、以及实时得到状态估计的各种方法，同时，也涉及了未知环境下地图的建立，最后指出了无人机视觉导航在实际应用中面临的主要问题。关键词：无人机；视觉导航；特征提取；数据融合中图分类号：TP391.9文献标识码：A文章编号：1004-731X(2010)S1-0062-04AnOverviewofVision-BasedUAVNavigationWUXian-liang，SHIZong-ying，ZHONGYi-sheng(TsinghuaNationalLaboratoryforInformationScienceandTechnology,DepartmentofAutomation,TsinghuaUniversity,Beijing100084,China)Abstract：Inthispaper,someexistingalgorithmsconcerningvision-basedUAVnavigationwereclassifiedandsummarizedfromtwoaspects,visionprocessingandstatesestimationcompaniedwithdatafusion.FeatureextractionfrompicturesobtainedbyUAV,fusingcamerawithothersensorsandmanykindsofmethodstoobtainstatesestimationinrealtimeweremainlydiscussed.Meanwhile,mappingtheenvironmentwasalsoinvolvedespeciallyinunknownenvironment.Atlast,themainproblemsinpracticeassociatedwithvision-basedUAVnavigationwerepresent.Keywords：UAV;vision-basednavigation;featureextraction;datafusion引言1无人机（UnmannedAerialVehicles,UAV）的研究在最近几年有了很大的进展，应用领域也越来越广。在军用方面，由于无人机具有预警时间短、隐蔽性好、侦察能力强、巡航时间长、成本低、作战损失小等特点，可以广泛用于侦察、攻击、电子对抗等军事任务，也可用于靶机实验；在民用方面，可用于通信中继、气象探测、灾害监测、农药喷洒、地质勘测、地图测绘、交通管制、边境控制等诸多领域[1-2]。以往，无人机主要依靠惯性导航系统（InertialNavigationSystem,INS）和全球定位系统（GlobalPositionSystem,GPS）进行导航，然而，导航过程中惯性器件具有累积误差，对初始值过于敏感，而GPS并不是总是可获取的，并且即使是可以获取，其精度往往满足不了无人机导航的需要[3]。图像处理技术以及摄像机硬件的发展使得计算机视觉技术可以引入到无人机的导航问题中来。首先，依靠视觉所提供的实时信息可以与惯性导航和GPS信息进行融合，弥补后两者的缺陷，提高导航精度[4]。其次，摄像机更善于捕捉运动信息，传统的传感器则较吃力，从应用的角度来看，视觉信号的抗干扰性能很好，而无线电和GPS信号易受阻塞[5]。最后，摄像机属于被动传感器，利用的是可见光或者收稿日期：2009-06-17修回日期：2009-09-21基金项目：国家自然科学基金（60732064）作者简介：吴显亮(1984-),男,吉林省白山市,硕士生，研究方向为基于视觉的无人直升机导航与控制；石宗英(1969-),女,重庆市,博士，副教授，研究方向为移动机器人同时建图与定位、基于视觉的无人直升机导航与控制。红外线这种自然信息，这在军事隐蔽侦查上尤为重要[6]。然而在应用视觉技术时，摄像机获得的初始信息以图像的形式存在，伴随大量的冗余信息，需要采用图像处理技术来提取有效信息，这就带来了算法实时性问题[7]。同时，视觉导航依靠参照物，只能获得相对运动状态信息，因而，由于单个UAV高空飞行过程中难于寻找合适的固定参照物，应用较少。不过，在单个UAV起飞和降落过程中，固定视觉参照物很好获取，基于视觉导航的UAV降落问题已经有了很多的探讨[11-12]。而在飞行过程中，往往需要动态的特征目标，例如地面上的车辆或编队飞行中邻近的UAV[5,13-15]。本文主要总结了该领域近几年的相关工作，第一部分侧重于视觉导航中图像处理、分析与理解问题，第二部分则把侧重点放在数据融合和状态估计上，最后给出总结。1导航中的视觉处理在UAV视觉导航中,计算机视觉处理技术用于从图像中获取导航有效信息，实现对图像中运动或静止目标的提取。1.1图像预处理从视觉传感器获得的图像或视频易受到噪声或者是背景的影响，往往需要先进行图像的预处理，它包括图像的去噪、灰度化、二值化等。典型的去噪方法是滤波，其中中值滤波能有效抑制噪声，较好地保留边缘信息，是用于边缘跟踪的一种实用去噪方法[16]。当然，还有很多较为复杂的去噪滤波器设计方案，如Z.Li和Y.Liu等人利用改进的脉冲耦合神经网络（PCNN）滤波器去除背景噪声[17]。第22卷增刊1Vol.22Suppl.12010年2月吴显亮,等：机视觉导航研究综述Feb.,2010•63•图像二值化用于区分标志物与背景。C.S.Sharp和O.Shakernia在降落地点设计了矩形框图标识物，通过对机载摄像机获取的图像进行二值化将标识物与其余背景区分开[11]。G.Xu和Y.Zhang用类似方法实现了甲板上降落区域T形标识物的识别[12]。王魏和李平等人应用了主成分分析（PCA）和支持向量机（SVM）来确定目标区域[18]。B.Ludington和E.Johnson等人进行门窗标志的识别和分类时，先利用Halcon形状匹配滤波器来识别候选的标志物，接着又采用了一个颜色过滤器，使得待识别的图像只有黑色和白色构成，为下一步的轮廓提取提供条件[19]。1.2静止目标特征提取在导引无人机小范围飞行或起降时，常利用静止的标志物，它们既可以是专门设计的诸如定点降落时常常在降落点事先放置特殊形状或颜色的标志物，又可以是本来就有的道路，楼房，门窗，电线甚至地平线等。其提取方法包括角点提取、边提取、不变矩、Hough变换、贪婪算法等等。角点提取是一种典型的几何特征提取方法。J.Z.Sasiadek和M.J.Walker通过实验对Harris，SUSAN和phasecongruence三种角点检测算法进行了比较，Harris算法准确度仅次于phasecongruence，但实时性占优，phasecongruence算法可检测多目标，准确度最高，但它需要对噪声进行估计，计算量大，实时性差，SUSAN算法能够保证实时性要求，但是准确度差[20]。刁灿和王英勋等人基于角点处各个方向上灰度差变化较大的特征，依据SUSAN算法和角点几何结构分析，提出一种改进的角点特征提取算法[21]。潘翔和马德强等人利用Hough变换和RANSAC方法从单目图像序列中计算消失点，利用了Harris来提取角点[22]。C.S.Sharp和O.Shakernia通过分析提取的角点序列实现对矩形标识物的检测[11]。直线等几何形状被变换到特定坐标系中可以用点来表示，可采用霍夫变换进行提取。柴洪林、李红等人根据机场跑道指示灯具有明显线性的特点，采用霍夫变换实现了对跑道的检测[23]。赵亮和韩波等人采用改进的随机霍夫变换方法实现多个圆形的识别[24]。Z.Li和Y.Liu应用霍夫变换对输电线路进行检测，并利用基于先验知识的直线聚类方法进一步改善检测的准确性[17]。不变矩算法也是一类很经典的特征提取算法。徐贵力，倪立学等人又提出了基于方向链码的合作目标识别算法，该方法的耗时为不变距的96%，识别的可靠性比前者有显著提高[3]。张广军和周富强设计了新型双圆图案着陆平面靶标，并提出了在复杂背景中全自动双圆特征的图像提取新方法及标记特征点的方案[25]。S.M.Ettinger和M.C.Nechyb等人通过优化算法提取出水平线方程，考虑到天空和地面的实时变化，优化函数中的特征也是实时变化的[8,9]。G.Xu和Y.Zhang等人则应用了仿射瞬时不变量的方法对T标志进行识别[12]。还有一些方法用于精确提取标志物的轮廓，采用方法多类似于优化算法。例如方挺，杨忠等人通过双差分图像操作和多分辨率连通分支标记算法确定算法的运动区域后，提出了改进的贪婪算法来进行精确轮廓的提取[15]。耿明志和戎亚新采用2个图像采集分系统的双摄像机视觉导航系统在图像中锁定无人机，采用边缘跟踪算法，获取运动物体的外部轮廓特征，边缘跟踪算法对目标的旋转和变形较敏感，为使目标检测对旋转和变形有较好的适应性，需引入仿射变换[16]。B.Ludington和E.Johnson等人对门窗进行识别分类，先将彩色图像通过颜色过滤器转变成黑白图，然后用贪婪算法提取轮廓，最后将提取的轮廓用于分类[19]。1.3运动目标特征提取无人机大范围长时间的飞行时，所利用的特征标志物多是运动的，例如，将地面的运动车辆或是编队飞行中队列中的其他无人机作为标志物等。对运动目标的特征提取可以采用与静止标志物的特征提取相同的方法，也可以采用特定的运动物体检测方法，例如光流法、背景差法、帧差法等。采用静止特征的提取方法来检测运动物体时，往往需要在图像序列中进行特征匹配，继而进行运动估计，最后对不同的运动估计聚类，提取运动物体，如K.Kaˆaniche和B.Champion提出的一种对地面载具进行检测的视觉算法[10]。更多的运动目标检测方法直接对连续图像作处理，例如，背景差法、帧差法以及差分法。方挺、杨忠等人采用差分法得到运动区域的二值图像，并用连通标记法对二值图像分割，得到不同运动区域[15]。光流法在运动目标检测中也有重要的应用。A.E.Ortiz和N.Neogi对基于彩色图像的光流法进行了研究，将彩色图像分解为三个灰度图像，得到三个光流方程，采用最小二乘法求解平面上两个自由度的运动速度分量[26]。1.4其它视觉问题在视觉导航中，除了以上图像预处理和目标提取以外，还有一些其它问题需要解决，如遮挡问题[15]。也有的视觉导航方法完全绕过特征提取，直接将图像的某一参数作为控制输入。2状态估计与数据融合图像中提取出的特征目标可结合一些先验知识用于无人机自身运动状态的估计。当这些状态得到准确、实时的估计时，无人机的定位和导航问题也迎刃而解。这个问题包括将视觉传感器与GPS、惯性传感器融合，得到更准确的估计。2.1状态估计这里的状态估计指的是仅根据图像特征得到无人机自身状态的实时估计，不涉及其它传感器。现有方法包括基于几何关系或基于灰度和颜色信息的算法以及滤波算法。第22卷增刊1Vol.22Suppl.12010年2月系统仿真学报Feb.,2010•64•利用几何关系估计状态的方法很多。潘翔和马德强等人利用消失点几何模型计算无人机着陆的俯仰角，基于双目图像序列，提取Harris角点进行特征点匹配，获取无人机的深度信息，再联合无人机的俯仰角与深度信息，基于三维重建方法获得无人机的高度参数，最后采用自适应卡尔曼滤波进一步提高无人机高度估计的精度[11]。NajibMetni和T.Hamel等人提出从多幅图像中估计单应性矩阵，得到不同视角的相对位置信息，同时利用自适应控制律来估计相对深度信息并确定无人机的平移向量，接着将单应性矩阵解耦出旋转分量和平移