运动场景中目标检测与跟踪技术研究

运动场景中目标检测与跟踪技术研究刘振华2006年11月相对于静止场景，所谓运动场景中的目标检测与跟踪，是指在目标运动的同时，摄像机也由于运载平台的姿态或位置改变而发生运动，构成目标与背景共同变化下的目标检测与跟踪。运动场景中目标检测与跟踪技术的目的在于准确地探测目标、合理地提取目标特征、精确地跟踪目标，同时要考虑算法的实时可操作性。由于该技术在军事、交通、工业以及生物医学等领域具有广泛的应用前景，从而激发了国内外广大科研工作者的浓厚兴趣，成为计算机视觉领域的一个热点。研究现状Collins,Lipton,Kanade,Fujiyoshi,Duggins,Tsin,Tolliver,Enomoto,Hasegawa,“ASystemforVideoSurveillanceandMonitoring:VSAMFinalReportTechnicalreportCMU-RI-TR-00-12,RoboticsInstitute,CarnegieMellonUniversity,May,2000.1997年，美国国防高级研究项目署设立了以卡内基梅隆大学牵头，麻省理工学院等高校参与的视觉监控重大项目VSAM，主要研究用于战场及普通民用场景监控的自动视频理解技术美国康奈尔大学计算机系设计了一套航拍视频检测与持续跟踪系统，该系统能够对多运动目标实现长时间的准确跟踪，即使发生短时间内目标被遮挡或目标时静时动的情况2005年，美国中央佛罗里达大学计算机视觉实验室开发出了基于MATLAB的COCOA系统，用于无人机低空航拍视频图像的目标检测与跟踪处理BellW,FelzenszwalbP,HuttenlocherD,“DetectionandLongTermTrackingofMovingObjectinAerialVideo”“COCOA-TrackinginAerialImagery”SPIEAirborneIntelligence,Surveillance,Reconnaissance(ISR)SystemsandApplications,Orlando,2006,COCOAHomepageIsmailHaritaoglu,DavidHarwood,LarryS.Davis,“ActiveOutdoorSurveillance”ICIAP1999:1096-1099（ComputerVisionLab,MarylandUniversity）I.Cohen,G.Medioni,“DetectingandTrackingMovingObjectsinVideofromandAirborneObserver”Proc.IEEEImageUnderstandingWorkshop,pp.217-222,1998（UniversityofSouthernCaliforniaInstituteforRoboticsandIntelligentSystems）RonaldJones,DavidM.Booth,NicholasJ.Redding,“VideoMovingTargetIndicationintheAnalysts’DetectionSupportSystem”May,2006（DefenseScienceandTechnologyOrganization,Australia）KhaledKaâniche,BenjaminChampion,ClaudePégard,PascalVasseur“AVisionAlgorithmforDynamicDetectionofMovingVehicleswithaUAV”IEEEInternationalConferenceonRoboticsandAutomation2005(ICRA’05),April2005,Barcelone（UniversityofPicardieAmiensFrance）HaritaogluI,HarwoodD,DavisL,“W4:Real-timeSurveillanceofPeopleandTheirActivities”IEEETransPatternAnalysisandMachineIntelligence,2000,22(8):809-830（IBMandComputerVisionLab,MarylandUniversity）研究现状VSAMVSAM系统是在1997年至1999年间，美国国防高级研究计划局资助卡内基梅隆大学和萨尔诺夫戴维研究中心等著名大学和公司合作联合研制的视频监视与监控系统。目标是开发自动视频理解技术，并用于实现未来战争、人力费用昂贵、非常危险或者人力无法实现等场合的监控。该系统融合了数字摄像机、音频采集头、红外和微波报警探测器、温度探测器等多种类型的传感器，可以对监控地区进行全方位的昼夜监控。使用了地理信息和三维建模技术，提供可视化图形操作界面，当视频分析处理器报告了运动对象、对象类别及位置之后，操作员不仅可以在地理信息界面上进行虚拟对象标记，而且还能在辅助窗口观察对象的真实活动情况。在机载航空摄像机方面，不需要经常性的人工操纵，就能自动对准地面监视目标，实现对重要目标的长时间监视。VSAM使用架设在高处多方位旋转云台上的单个摄像机，可以全方位地实施视频监控。系统首先有规律地初始化一系列背景图像，然后利用基于特征区域的方法将实际摄录的视频图与相应的背景图作匹配，再利用背景减除法检测运动目标。VSAM由于传统的卡尔曼滤波方法只能处理单峰问题，该系统对传统的卡尔曼滤波思想进行了扩展，并使用了带目标模板更新的相关匹配算法实现了多目标的跟踪。VSAM针对机载航空摄像机所拍摄的视频图像，萨尔诺夫戴维研究中心研发了检测和跟踪独立地面车辆目标的视频图像理解技术。该技术的关键在于对航空摄像机的自运动补偿，对经过补偿的图像，利用三帧差减的方法检测目标。美国康奈尔大学计算机系设计的航拍视频图像目标检测与持续跟踪系统的特色在于，能够对多运动目标实现较长时间的准确跟踪，即使在短时间内目标被遮挡或移出视场以及目标时静时动。该系统在运动背景估计与补偿中所涉及的主要技术是基于Kanade-Lucas-Tomasi算法的特征点跟踪和基于M估计的鲁棒性仿射参数估计。然后利用三帧差减的方法检测目标运动，利用形态学操作分割图像并定位运动目标。对多目标进行标记之后，利用Hausdorff距离匹配和模板更新的方法对目标进行长时间的跟踪。4576102123152159253298COCOACOCOA系统是一种无人机航拍图像目标跟踪系统。该系统针对一段视频图像序列，通过三大技术环节，即背景运动补偿、运动检测与目标跟踪，来完成对目标的检测与跟踪。该系统基于MATLAB平台，可以适用于不同的光传感器（可见光或红外），最小的可跟踪目标约为100象素大小。该系统对机载光电传感器或红外传感器所摄视频图像进行鲁棒性背景运动补偿，并可生成全景图，利于更高层次的应用。对图像中多种运动目标（如汽车、坦克、摩托车等）进行可靠性检测并进行持久地跟踪。COCOA在背景运动补偿方面，利用Harris角点检测算法分别提取相邻两帧图像的特征点，对每一特征点先进行简单的粗匹配，而后利用RANSAC鲁棒估计算法完成特征点的筛选，通过筛选后的特征点的运动矢量集合来估计全局运动矢量。在运动检测方面，通过累积帧差法对汽车、卡车、坦克、摩托车等独立运动进行检测，再利用数字图像形态学操作去除噪声、捕捉大致的目标区域，再利用几何活动轮廓的水平集方法提取目标轮廓，最后利用基于核函数的方法（如MeanShift方法）与模板更新实现目标跟踪。COCOA背景运动补偿基于特征+基于灰度梯度运动检测累积帧差法+形态学操作目标跟踪LevelSet方法+MeanShift方法视频序列COCOA系统的基本技术环节归纳起来，运动场景中目标检测与跟踪技术主要包括以下三个关键技术：背景补偿与图像预处理：消除背景运动、随机噪声对目标检测与跟踪的影响。图像分割与目标检测：利用图像分割技术从图像中检测出可能的运动目标。特征提取和目标跟踪：对检测出的目标提取可识别的特征，依据这些特征在后续的视频图像序列中对目标进行跟踪。针对视频图像目标检测与跟踪技术，根据三维场景中目标距离成像传感器的探测距离，可划分为三种情况：①微弱点状目标的检测，即当目标距离成像传感器很远时，目标在图像平面上只占几个像素，呈现为微弱点状目标，信噪比较低；②扩展目标的检测，即当目标距离成像传感器较近时，目标在图像平面上表现为扩展目标，一般其为在视场中覆盖100×100像素以上，占视场比例较大的大型目标；③介于上述两种情况之间，此时目标在图像平面上一般不超过100×100个像素，具有一定的可视对比度。这三种情况下的目标检测与跟踪各有其特点，处理方法差异很大。本文的研究工作属于第三种情况，它是应用最广泛的一种情况，对于它的研究具有重要的意义。背景运动补偿技术在视频运动目标检测过程中，由于摄像机的运动，导致图像序列中运动目标和背景的相应运动。当目标与背景一起变化时，将使得目标检测变得复杂起来。为了从动态场景中检测出运动目标，通常需要对背景运动进行补偿。背景运动补偿技术的核心问题是背景运动矢量的估计。传统的运动估计采用平动来建模运动场（效果差）目前，常采用具有丰富描述参数的仿射变换和透射变换来建模运动场背景运动补偿技术－仿射模型524310''aayxaaaayx543210''ayaxayayaxax321333231232221131211'''tttZYXrrrrrrrrrZYXZYXTR摄像机的参数模型基于平行投影的六参数仿射模型利用当前帧和前一帧的图像对参数进行估计，就可以得到图像的运动参数。背景运动补偿技术－运动矢量估计运动矢量估计技术的研究总是围绕着计算复杂度和检测精度这对矛盾进行的。目前，运动矢量估计的算法主要包括灰度投影法、光流场法、图像块匹配法、特征匹配法和相位法等。传统的灰度投影法尽管该方法实现简单，但只能解决平移运动的问题，虽然后来有学者进行了改进，但也只能解决很有限的旋转运动的问题。光流场法的计算精度很高，但涉及到变分运算，计算较复杂，而且对噪声极为敏感。基于傅氏变换的方法虽然计算精度也很高，但采用了傅氏变换、相关运算或者极坐标变换，计算复杂度同样很高。目前较为常用的方法是图像块匹配法和特征匹配法。针对所研究的对象，本文采用基于特征点匹配的运动估计算法。特征点匹配的关键在于特征点的选择和匹配策略的选择。背景运动补偿技术－特征点的选择图像中的特征点（也称为角点）没有明确的数学定义，但人们普遍认为特征点是二维图像亮度变化剧烈的点或图像边缘曲线的曲率极大值的点，这些点体现了图像图形的重要特征。相比于块匹配法，利用这些特征点来估计运动矢量可以有效地减少数据量，提高计算的速度，且有利于图像的可靠匹配。有关于角点检测的研究开始于二十世纪七十年代，到目前为止，学者们已经提出了很多的算法，比较经典的算法有：Moravec算法、Harris算法、MIC算法、SUSAN算法等。理想的角点、边缘和平坦地区示例：背景运动补偿技术－特征点的选择－Moravec算法Moravec于1977年提出了利用灰度方差提取点特征的算子。该算法的思想非常简单，后来的很多算法都是基于该算子改进的。Moravec角点检测算法的具体步骤是：①计算每个像素的兴趣值(interestvalue),即以该像素为中心,取一个n×n的窗口,计算0度,45度,90度,135度四个方向的灰度差平方和,取其中的最小值为该像素的兴趣值。②根据实际图像设定一个阈