第五章--光电信息处理技术--成像目标探测与跟踪技术

主要内容成像探测与跟踪系统概述运动目标检测方法成像目标跟踪方法目标跟踪技术应用及发展主要内容成像跟踪系统概述运动目标检测方法成像目标跟踪方法目标跟踪技术应用及发展一、成像探测与跟踪系统概述精确制导、目标跟踪“道尔”野战地空导弹武器系统，是世界上最先采用垂直发射方式的近程防空系统，同时也是一种全天候、全自动、三位一体(目标搜索、跟踪和导弹发射装置同时装在一辆车上)的新一代高性能防空导弹发射车。它具有警戒、指挥与控制、导弹制导与发射等众多功能，既可以独立作战，也可以和发射连的其它发射车协同作战。它可在低空、超低空和近程区域内拦截多种非隐身与隐身空袭目。X-59导引头雷达导引头自动导系统一、成像探测与跟踪系统概述导引头舵机发动机尾翼自动导系统一、成像探测与跟踪系统概述一、成像探测与跟踪系统概述跟踪系统及跟踪一、成像探测与跟踪系统概述EF2000欧洲战斗机装备“海盗”机载红外搜索跟踪系统“海盗”系统（无源红外机载跟踪设备）可以为空中拦截和空地作战提供战术优势。该设备安装在机舱左侧、风挡玻璃的前方。“海盗”系统在空对空模式下运行的时候，具备搜索和跟踪系统（IRST）功能，提供无源目标探测和跟踪能力；在空对地模式下，可以执行多目标获取和识别任务，同时还能提供辅助导航和着陆功能。一、成像探测与跟踪系统概述红外监控系统一、成像探测与跟踪系统概述什么是视频(成像)目标跟踪？视频序列目标跟踪是指对传感器摄取到的图像序列进行处理与分析，充分利用传感器采集得到信息来对目标进行稳定跟踪的过程。一旦目标被确定，就可获得目标的位置、速度、加速度等运动参数，进而获得目标的特征参数。一、成像探测与跟踪系统概述什么是视频(成像)目标跟踪？在军事上，视频序列目标跟踪技术广泛应用于精确制导、战场机器人自主导航、无人机着降，靶场光电跟踪等领域。在现代高技术条件下的战争中，由于各种伪装、欺骗、对抗、反辐射技术大量使用，使得战场环境日益复杂，尤其是在复杂环境下的目标跟踪问题，成为该领域内研究的热点与难点；在民用上，该技术主要应用在智能视频监控、智能交通管制、医疗影像诊断等方面。一、成像探测与跟踪系统概述监视器摄像头伺候机构图像预处理目标检测图像分割目标识别自动跟踪目标特性分析、特征提取数字信号处理器光光光光光光光光光光光光光光光光光光光光光光光成像跟踪系统流程及框图一、成像探测与跟踪系统概述研究现状（国际）1997年，美国国防高级研究项目署设立了以卡内基梅隆大学牵头，麻省理工学院等高校参与的视觉监控重大项目VSAM，主要研究用于战场及普通民用场景监控的自动视频理解技术。1999年，美国康奈尔大学计算机系设计了一套航拍视频检测与持续跟踪系统，该系统能够对多运动目标实现长时间的准确跟踪，即使发生短时间内目标被遮挡或目标时静时动的情况。2005年，美国中央佛罗里达大学计算机视觉实验室开发出了基于MATLAB的COCOA系统，用于无人机低空航拍视频图像的目标检测与跟踪处理。一、成像探测与跟踪系统概述研究现状（国内）研究所：中科院光电技术研究所、长春光机所、上海光机所，安徽光机所、上海技术物理所、中科院自动化所，沈阳自动化所，中国工程物理研究院等。高校：国防科技技术大学、西北工业大学、哈尔滨工业大学、北京理工大学、北京航空航天大学、华中科技大学、空军工程大学等。一、成像探测与跟踪系统概述VSAM目标是开发自动视频理解技术，并用于实现未来战争人力费用昂贵、非常危险或者人力无法实现等场合的监控。该系统融合了数字摄像机、音频采集头、红外和微波报警探测器、温度探测器等多种类型的传感器，可以对监控地区进行全方位的昼夜监控。使用了地理信息和三维建模技术，提供可视化图形操作界面，当视频分析处理器报告了运动对象、对象类别及位置之后，操作员不仅可以在地理信息界面上进行虚拟对象标记，而且还能在辅助窗口观察对象的真实活动情况。VSAM使用架设在高处多方位旋转云台上的单个摄像机，可以全方位地实施视频监控。系统首先有规律地初始化一系列背景图像，然后利用基于特征区域的方法将实际摄录的视频图与相应的背景图作匹配，再利用背景减除法检测运动目标。VSAM由于传统的卡尔曼滤波方法只能处理单峰问题，该系统对传统的卡尔曼滤波思想进行了扩展，并使用了带目标模板更新的相关匹配算法实现了多目标的跟踪。VSAM针对机载航空摄像机所拍摄的视频图像，萨尔诺夫戴维研究中心研发了检测和跟踪独立地面车辆目标的视频图像理解技术。该技术的关键在于对航空摄像机的自运动补偿，对经过补偿的图像，利用三帧差减的方法检测目标。美国康奈尔大学计算机系设计的航拍视频图像目标检测与持续跟踪系统的特色在于，能够对多运动目标实现较长时间的准确跟踪，即使在短时间内目标被遮挡或移出视场以及目标时静时动。该系统在运动背景估计与补偿中所涉及的主要技术是基于Kanade-Lucas-Tomasi算法的特征点跟踪和基于M估计的鲁棒性仿射参数估计。然后利用三帧差减的方法检测目标运动，利用形态学操作分割图像并定位运动目标。对多目标进行标记之后，利用Hausdorff距离匹配和模板更新的方法对目标进行长时间的跟踪。4576102123152159253298COCOACOCOA系统是一种无人机航拍图像目标跟踪系统。该系统针对一段视频图像序列，通过三大技术环节，即背景运动补偿、运动检测与目标跟踪，来完成对目标的检测与跟踪。该系统基于MATLAB平台，可以适用于不同的光传感器（可见光或红外），最小的可跟踪目标约为100象素大小。该系统对机载光电传感器或红外传感器所摄视频图像进行鲁棒性背景运动补偿，并可生成全景图，利于更高层次的应用。对图像中多种运动目标（如汽车、坦克、摩托车等）进行可靠性检测并进行持久地跟踪。COCOA背景运动补偿基于特征+基于灰度梯度运动检测累积帧差法+形态学操作目标跟踪LevelSet方法+MeanShift方法视频序列COCOA系统的基本技术环节归纳起来，运动场景中目标检测与跟踪技术主要包括以下三个关键技术：背景补偿与图像预处理：消除背景运动、随机噪声对目标检测与跟踪的影响。图像分割与目标检测：利用图像分割技术从图像中检测出可能的运动目标。特征提取和目标跟踪：对检测出的目标提取可识别的特征，依据这些特征在后续的视频图像序列中对目标进行跟踪。主要内容成像探测与跟踪系统概述运动目标检测方法成像目标跟踪方法目标跟踪技术应用及发展1、静止背景下的目标检测帧差分法：二、运动目标检测1,,,ttgxyfxyfxy=-1,tfxy,tfxy,gxy静态场景目标检测相对简单，研究渐趋成熟动态场景相对复杂，成为当前研究领域的热点静态场景帧差的一个例子研究重点：运动目标的检测二、运动目标检测视频图像中的目标检测与跟踪，是计算机视觉的基础课题，同时具有广泛的应用价值。视频序列运动检测对于动态场景，由于目标与摄像头之间存在复杂的相对运动，运动检测富有挑战性。传统的帧差方法已经不再适用，如何能对全局的运动进行估计和补偿，成为问题的关键。第一帧帧差图像解决思路要检测动态场景中的运动目标，关键在于对场景的运动进行估计，通过估计出的运动参数补偿其运动，最后使用帧差法得到运动目标。提取特征点特征点匹配最小二乘求运动参数提取特征点前一帧图像后一帧图像运动补偿帧差法运动目标求解全局运动参数前一帧后一帧求特征点并匹配运动补偿补偿后的帧差图像实验结果与普通帧差法的比较第50帧第80帧第5帧帧差法特征匹配的方法原序列基于图像金字塔分解的全局运动估计采用了3层金字塔进行多分辨率计算,而且在每层迭代计算中,将基于块的外点去除算法与特征点提取算法相结合,这样既加快了算法的速度,又提高了计算结果的准确性。基本步骤如下：用高斯图像构造法构造图像金字塔；对金字塔顶层图像进行全局运动估计，求得运动参数；将顶层金字塔求得的参数集隐射到金字塔的中间层，并对该层进行全局运动估计，求得相应的运动参数；将金字塔中间层的参数集映射到金字塔的底层,对该层进行全局运动估计，求得该层的运动参数集。利用求得的最终参数集，对图像进行运动补偿，将运动补偿后的图像与前一帧图像进行差值。下图给出了运动补偿与直接帧差的结果比较图1Coastguard序列图像图2直接帧差和运动补偿后的差值图比较二、运动目标检测块匹配算法简介无需计算每一个像素的运动，而只是计算由若干像素组成的像素块的运动，对于许多图像分析和估计应用来说，块运动分析是一种很好的近似。如数字视频压缩国际标准MPEG1-2采用了基于块的运动分析和补偿算法。●●○rB搜索窗口k帧k+1帧二、运动目标检测块匹配算法的关键技术匹配准则(MatchingCriteria)搜索策略(SearchingStrategy匹配特征二、运动目标检测匹配准则目标帧锁定帧二、运动目标检测匹配准则１.均方差(MeanSquareError,MSE)WyxkyyxxIkyxImnyxMSE),(2)]1,,(),,([1),(２.平均绝对差(Meanabsolutediscrepancy,MAD)WyxkyyxxIkyxImnyxMAD),(|)1,,(),,(|1),(二、运动目标检测匹配准则3.互相关(Cross-correlation,CC)111/21/2221111((,,)(,,1)(,)((,,)((,,1)XYxyXYXYxyxyIxykIxxyykMCCxyIxykIxxyyk二、运动目标检测搜索策略全视场搜索(FS)对数搜搜三步搜索菱形搜索(DiamondSearch，DS)其他改进搜索策略Three-StepSearch(3SS)1111111112322222223333333搜索策略2D对数法搜索111112223344444444搜索策略二、运动目标检测匹配特征图像灰度、亮度、颜色等信息图像特征(边缘、轮廓、纹理、变换域特征等。主要内容成像探测与跟踪系统概述运动目标检测方法成像目标跟踪方法目标跟踪技术应用及发展1、目标跟踪方法分类三、成像目标跟踪方法成像跟踪系统经过图像的预处理、图像的分割识别等一系列信息处理，最终实现对目标位置的实时精确测量，即对目标或目标的局部实施稳定跟踪，实时输出目标的脱靶量。矩心(质心、形心)跟踪；边缘跟踪；峰值跟踪；相关跟踪；滤波跟踪。1．矩心跟踪矩心也叫质心或重心，是物体对某轴的静力矩作用中心。如果把目标图像看成是一块质量密度不均匀的薄板，以图像上各像素点的灰度作为各点的质量密度。这样就可以借用矩心的定义式来计算目标图像的矩心。1010),(1NxMyyxxfMNX1010),(1NxMyyxyfMNYxyabcdxcyc三、成像目标跟踪方法TemplateSearchimage2．相关跟踪由于目标运动、姿态发生改变、光照条件改变以及杂波背景的干扰，使得目标图像的分割提取十分困难，计算目标的矩心或形心不准确。在某种情况下，可以采用以图像匹配为基础的跟踪方法，习惯上称之为相关跟踪。三、成像目标跟踪方法分片跟踪—部分遮挡目标跟踪为什么引入分片跟踪：在目标跟踪领域，一个重要的难题就是目标的遮挡问题，因为遮挡发生时目标可能部分或全部不可见。模拟人眼跟踪目标的方式，发生遮挡时，人眼会关注目标的可见部分来继续跟踪。受这一思想启发，我们将目标分成多个小片，目标被遮挡时，利用“可见片”来跟踪。分片跟踪主要思想：将目标分片，建立目标分片表现模型（模板）。在目标上一帧的位置周围遍历搜索，找到与目标模板相似度最高的候选目标作为跟踪结果。当前帧上一帧目标位置候选目标位置搜索窗口目标分片分片跟踪其中相似度的度量是通过各片的空间直方图匹配来实现的。确定目标位置后，判断目标中各片的有效性，我们仅利用有效片进行下一帧的跟踪。被遮挡的区域片基本丢失模板更新由上可见这种分片方法已经可以很好的解决遮挡问题。但