第十章-成像目标探测与跟踪技术

电子科技大学光电信息学院二○○九年4月17日彭真明Email:[e-mail]主要内容成像探测与跟踪系统概述运动目标检测方法成像目标跟踪方法目标跟踪技术应用及发展主要内容成像跟踪系统概述运动目标检测方法成像目标跟踪方法目标跟踪技术应用及发展一、成像探测与跟踪系统概述精确制导、目标跟踪“道尔”野战地空导弹武器系统，是世界上最先采用垂直发射方式的近程防空系统，同时也是一种全天候、全自动、三位一体(目标搜索、跟踪和导弹发射装置同时装在一辆车上)的新一代高性能防空导弹发射车。它具有警戒、指挥与控制、导弹制导与发射等众多功能，既可以独立作战，也可以和发射连的其它发射车协同作战。它可在低空、超低空和近程区域内拦截多种非隐身与隐身空袭目。X-59导引头雷达导引头自动导系统一、成像探测与跟踪系统概述导引头舵机发动机尾翼自动导系统一、成像探测与跟踪系统概述一、成像探测与跟踪系统概述EF2000欧洲战斗机装备“海盗”机载红外搜索跟踪系统“海盗”系统（无源红外机载跟踪设备）可以为空中拦截和空地作战提供战术优势。该设备安装在机舱左侧、风挡玻璃的前方。“海盗”系统在空对空模式下运行的时候，具备搜索和跟踪系统（IRST）功能，提供无源目标探测和跟踪能力；在空对地模式下，可以执行多目标获取和识别任务，同时还能提供辅助导航和着陆功能。一、成像探测与跟踪系统概述红外监控系统一、成像探测与跟踪系统概述跟踪系统及跟踪实况一、成像探测与跟踪系统概述什么是视频(成像)目标跟踪？视频序列目标跟踪是指对传感器摄取到的图像序列进行处理与分析，充分利用传感器采集得到信息来对目标进行稳定跟踪的过程。一旦目标被确定，就可获得目标的位置、速度、加速度等运动参数，进而获得目标的特征参数。一、成像探测与跟踪系统概述什么是视频(成像)目标跟踪？在军事上，视频序列目标跟踪技术广泛应用于精确制导、战场机器人自主导航、无人机着降，靶场光电跟踪等领域。在现代高技术条件下的战争中，由于各种伪装、欺骗、对抗、反辐射技术大量使用，使得战场环境日益复杂，尤其是在复杂环境下的目标跟踪问题，成为该领域内研究的热点与难点；在民用上，该技术主要应用在智能视频监控、智能交通管制、医疗影像诊断等方面。一、成像探测与跟踪系统概述研究现状（国际）1997年，美国国防高级研究项目署设立了以卡内基梅隆大学牵头，麻省理工学院等高校参与的视觉监控重大项目VSAM，主要研究用于战场及普通民用场景监控的自动视频理解技术。1999年，美国康奈尔大学计算机系设计了一套航拍视频检测与持续跟踪系统，该系统能够对多运动目标实现长时间的准确跟踪，即使发生短时间内目标被遮挡或目标时静时动的情况。2005年，美国中央佛罗里达大学计算机视觉实验室开发出了基于MATLAB的COCOA系统，用于无人机低空航拍视频图像的目标检测与跟踪处理。一、成像探测与跟踪系统概述一、成像探测与跟踪系统概述研究现状（国内）研究所：中科院光电技术研究所、长春光机所、上海光机所，安徽光机所、上海技术物理所、中科院自动化所，沈阳自动化所，中国工程物理研究院等。高校：国防科技技术大学、西北工业大学、哈尔滨工业大学、北京理工大学、北京航空航天大学、华中科技大学、空军工程大学等。一、成像探测与跟踪系统概述监视器摄像头伺候机构图像预处理目标检测图像分割目标识别自动跟踪目标特性分析、特征提取数字信号处理器光光光光光光光光光光光光光光光光光光光光光光光成像跟踪系统流程及框图一、成像探测与跟踪系统概述主要内容成像探测与跟踪系统概述运动目标检测方法成像目标跟踪方法目标跟踪技术应用及发展1、静止背景下的目标检测帧差分法：二、运动目标检测1,,,ttgxyfxyfxy=-1,tfxy,tfxy,gxy实例：二、运动目标检测2、运动背景下的运动检测：光流法(Opticflow)块匹配算法(Blockmatching)二、运动目标检测光流简介二、运动目标检测光流的概念是Gibson于1950年首先提出的。光流是空间运动物体在观测成像面上的像素运动的瞬时速度；光流场是指图像灰度模式的表面运动。（a）未运动的圆(b)运动后的圆（c）圆的运动场{0)(txf由于亮度不随时间变化根据亮度恒定假设:)),(()),(()(dttdttxIttxItf0)(txttItxxIIxvItxtIIvOpticalFlow:1DCase根据亮度恒定假设有：根据泰勒公式，展开下式后，有：比较上两式，得：最后得出光流方程(也叫光流约束方程)：OpticalFlow:2DCase光流的求解Lukas-Kanade(卢卡斯-卡拉德算法)Horn-Schunck(霍恩-申克算法)二、运动目标检测实例实例Horn-Schunck方法Lucas-Kanade方法实例实例二、运动目标检测块匹配算法简介块运动估计与光流计算不同，它无需计算每一个像素的运动，而只是计算由若干像素组成的像素块的运动，对于许多图像分析和估计应用来说，块运动分析是一种很好的近似。如数字视频压缩国际标准MPEG1-2采用了基于块的运动分析和补偿算法。●●○rB搜索窗口k帧k+1帧二、运动目标检测块匹配算法的关键技术匹配准则(MatchingCriteria)搜索策略(SearchingStrategy匹配特征二、运动目标检测匹配准则目标帧锁定帧二、运动目标检测匹配准则１.均方差(MeanSquareError,MSE)WyxkyyxxIkyxImnyxMSE),(2)]1,,(),,([1),(２.平均绝对差(Meanabsolutediscrepancy,MAD)WyxkyyxxIkyxImnyxMAD),(|)1,,(),,(|1),(二、运动目标检测匹配准则3.互相关(Cross-correlation,CC)111/21/2221111((,,)(,,1)(,)((,,)((,,1)XYxyXYXYxyxyIxykIxxyykMCCxyIxykIxxyyk4.最大像素匹配统计(MaximumPixelscounting，MPC)1,|(,,)(,,1)|(,,,)0,ifIxykIxxyykTTxyxyotherwiseì-+D+D+?ïïDD=íïïî二、运动目标检测搜索策略全视场搜索(FS)对数搜搜三步搜索菱形搜索(DiamondSearch，DS)其他改进搜索策略2D对数法搜索JainandJainExaminecentralpoint&itsfoursurroundingsDistancefromcenter:r/2FindbestmatchIfbestmatchisincenteroronboundaries,halfdistancefromcenterExaminefivenewpointscenteringpreviousbestWhendistanceis1,useall9matches,findbest.Stop111112223344444444搜索策略Three-StepSearch(3SS)Kogaetal9Points:Centralpoint&its8surroundingsDistance:r/2FindthebestmatchUsepreviousbestascenterHalfdistance,select8newRepeatalgorithm3timesExamines25pointsAssumesauniformdistributionofMV’s1111111112322222223333333搜索策略二、运动目标检测匹配特征图像灰度、亮度、颜色等信息图像特征(边缘、轮廓、纹理、变换域特征等。主要内容成像探测与跟踪系统概述运动目标检测方法成像目标跟踪方法目标跟踪技术应用及发展1、目标跟踪方法分类三、成像目标跟踪方法成像跟踪系统经过图像的预处理、图像的分割识别等一系列信息处理，最终实现对目标位置的实时精确测量，即对目标或目标的局部实施稳定跟踪，实时输出目标的脱靶量。矩心(质心、形心)跟踪；边缘跟踪；峰值跟踪；相关跟踪；滤波跟踪。1．矩心跟踪矩心也叫质心或重心，是物体对某轴的静力矩作用中心。如果把目标图像看成是一块质量密度不均匀的薄板，以图像上各像素点的灰度作为各点的质量密度。这样就可以借用矩心的定义式来计算目标图像的矩心。1010),(1NxMyyxxfMNX1010),(1NxMyyxyfMNYxyabcdxcyc三、成像目标跟踪方法TemplateSearchimage2．相关跟踪由于目标运动、姿态发生改变、光照条件改变以及杂波背景的干扰，使得目标图像的分割提取十分困难，计算目标的矩心或形心不准确。在某种情况下，可以采用以图像匹配为基础的跟踪方法，习惯上称之为相关跟踪。三、成像目标跟踪方法状态空间模型：1-1-1,kkkkxfxv系统方程：,kkkkzhxw观测方程：状态向量状态转移函数过程噪声观测向量观测函数观测函数xk-1xkxk+1zk-1zkzk+1p(xk|xk-1)p(zk|xk)隐含状态观测时刻k-1kk+1滤波平滑预测三、成像目标跟踪方法问题提出：线性、高斯系统卡尔曼滤波(KF)非线性、高斯系统扩展卡尔曼滤波(EKF)无极卡尔曼滤波(UKF)非线性、非高斯系统粒子滤波(PF)?三、成像目标跟踪方法粒子滤波：一种基于递推贝叶斯估计的蒙特卡罗统计仿真方法基本概念：基本思想：利用一组加权随机粒子来近似状表示状态的后验概率密度样本空间后验概率密度三、成像目标跟踪方法实例：三、成像目标跟踪方法多目标跟踪：三、成像目标跟踪方法主要内容成像探测与跟踪系统概述运动目标检测方法成像目标跟踪方法目标跟踪技术应用及发展舰载直升机在反潜、救生、登陆、布雷与扫雷、火力校正、预警、侦察中广泛应用。由于中型舰船甲板较小，因风浪使甲板处于不规则的运动，直升机着舰的事故高。1、直升机、无人机着降光电引导技术四、目标跟踪技术应用及发展双CCD摄影测量算法1XYZ2用两台CCD摄像机探测直升机上的激光信标，我们从捕获到的八个侯选信标中优选出四个信标点A、B、C、D，根据共线性条件建立方程组，并通过求解方程组，求出旋转矩阵M和位移矩阵T，得到直升机上着舰点相对着舰面的位置。四、目标跟踪技术应用及发展四、目标跟踪技术应用及发展光电导引系统控制界面四、目标跟踪技术应用及发展无人直升机光电助降四、目标跟踪技术应用及发展虚拟现实环境中的头盔跟踪2、虚拟现实技术应用主要内容成像探测与跟踪系统概述运动目标检测方法成像目标跟踪方法目标跟踪技术应用及发展