运动目标检测与跟踪

静态场景下运动目标检测与跟踪的关键技术研究主讲人：崔雪梅2014.1.3Contents选题目的和意义1国内外研究现状2主要研究内容和研究方法34课题工作计划与方案一.选题目的和意义运动目标检测与跟踪是计算机视觉研究的主要问题之一，融合了图像处理、模式识别、自动控制、人工智能以及计算机等许多领域的先进技术，机器人视频压缩医疗诊断人机交互智能视频监控统计数据显示，英国目前有400多万个摄像机，而伦敦的居民平均每个人每天要被摄像机拍摄300次。公安部主导的“平安城市”计划，促进了视频监控市场的迅速增长，全国约有200万个监控摄像机用于城市监控与报警系统。青藏铁路全线1300路通道采用视频分析，对全线铁路进行入侵保护。二国内外研究现状视觉跟踪是在20世纪50年代从统计模式识别开始的，当时的工作主要集中在二维图像的分析和识别上;60年代Roberts(1965)通过计算机程序从数字图像中提取出诸如立方体楔形体棱柱体等多面体的三维结构，并对物体形状及物体的空间关系进行描述;70年代，已经出现了一些视觉应用系统;80年代至今运动目标的视觉跟踪已经成为计算机视觉研究领域中的一个十分重要的理论框架如今，视觉跟踪技术已经成为机器人技术计算机视觉等领域研究的热点之一研究难点经历了几十年的发展，尽管人们对视觉跟踪的研究有了突飞猛进的进展，但是由于图像映射成图像信息的丢失图像的噪声干扰目标运动的复杂性(尤其是对人的跟踪中，关于行为事件状态有着不同的概念)，目标的非刚体或链接特性目标的部分或全部遮挡目标形状的复杂性场景光照的变化实时处理的要求等，都使得对目标进行有效跟踪变得异常困难其中运动的分割遮挡的处理建模与跟踪多摄像机的使用性能的评估(鲁棒性准确性和快速性)依然是今后研究的热点和难点问题。光照亮度的渐变和轻微噪声干扰问题没有很好的解决方法，适应周围环境中的性能比较差。自然界光线和灯光的亮度是在不断变化的，但是人眼一般感觉不到这种光线亮度的微笑变化，但是在运用机器对场景中运动目标进行检测的过程中对这种情况非常敏感，会严重的影响检测结果需要有运动目标的有效分类。从背景中有效的识别出运动物体是运动目标检测的关键。如果没有应用正确的目标识别的方法，则就会导致检测与跟踪过程中目标丢失或出现虚假跟踪目标现象。所以，运动目标的有效分类问题必须得到有效的解决，这是提高跟踪算法的有效性的关键技术。运动目标检测与跟踪中存在的遮挡与重叠问题。对单个目标跟踪，目前己经有了许多有效的跟踪算法，但当场景中出现多个运动目标时，尤其是这些运动目标之间存在着相互遮挡和重叠时，有效分离运动目标并正确跟踪将是很困难的。初始运动参量的确定在检测与跟踪系统中有效确定，如果跟踪目标的初始运动状态参数的确定方法不当，跟踪速度会非常慢，正确率也会随之急剧下降。对于不同的应用环境、图像类型和性能要求，都有各自不同的跟踪方法，而不同的跟踪算法往往是针对不同的目标特征描述来设计的。目前，绝大多数算法都是针对某类问题提出的，适合于任何环境或任何跟踪条件的通用的算法不存在。•静态场景下运动目标跟踪就是摄像机在整个监视过程中不发生移动，只有被监视目标在场景中移动；针对运动目标检测与跟踪关键技术问题展开了研究，在认真总结前人研究成果的基础上，深入分析与探讨了目前运动目标检测与跟踪算法研究领域所面临的主要问题。论文主要针对两个关键技术展开研究，一是运动图像分割，二是基于粒子滤波的运动目标跟踪。•在实际环境中，由于视觉信息非常丰富，并且存在着背景光线变化、观测视角变化、运动目标移入移出、目标物相互遮挡等问题，使得视频跟踪算法面临着多种挑战。视频跟踪算法必须要能够适应这些复杂场景变化，并且能从这些外在变化导致的跟踪失误中恢复过来，这就对跟踪算法的鲁棒性及准确性提出了很高要求，除此之外，跟踪算法也应该具备良好的实时性，这样才能实时处理连续的视频流信息，跟踪的实时性也是现阶段一个研究热点。努力研究一种具有良好鲁棒性、准确性、实时性并具有良好可移植性的视频跟踪算法成为了人们共同努力的方向。现状•运动目标检测与跟踪是在基于动态图像分析的基础上结合图像模式识别和图像跟踪方法对图像序列中的目标进行检测—识别—跟踪的过程，它是图像处理与计算机视觉领域中的一个非常活跃的分支，在最近二十几年间，随着计算机技术、CLSI技术与高分辨率传感技术，图像处理技术的迅速更新，它在国名经济和军事领域的许多方面有着广泛的应用。•人们对运动目标检测与跟踪系统的稳定性、鲁棒性提出了很高的要求。军事公安方面的应用：在军事方面主要用于导弹的精确制导，可疑目标的检测与跟踪公安业务图片的判读分析，指纹识别，人脸识别，不完整图片的复原，以及智能交通监控、事故分析等。工业方面的应用：具备视觉、听觉和触觉功能的智能机器人的成功应用。生物医学工程方面的应用：各种细胞的运动分析检测和判别123应用智能交通方面：通过对道路交通情况的实时监控，利用图像处理技术对各种情况作出准确的判断。4体育方面的应用：对运动员在比赛或者是训练中的技术动作的视频进行分析，得出精确的运动参数进行分析。5选题目的和意义1选题目的和意义1选题目的和意义1选题目的和意义1•目前国内外有很多机构和学者对基于计算机视觉的运动物体检测和跟踪方法进行研究。近些年来出现了基于卡尔曼滤波和基于粒子滤波的跟踪算法。这些跟踪算法是通过计算机，在比较复杂的场景中自动检测出运动物体，同时对其进行跟踪，这种技术有着非常广泛的应用前景和极其重要的实践意义。虽然在该领域己经取得了一定的成绩，但同时在该领域也存在研究对象场景复杂且研究内容需要涉及多种学科的现象，所以目前还存在很多的研究难点，例如:•对于不同的应用环境、图像类型和性能要求，都有各自不同的跟踪方法，而不同的跟踪算法往往是针对不同的目标特征描述来设计的。目前，绝大多数算法都是针对某类问题提出的，适合于任何环境或任何跟踪条件的通用的算法不存在。运动目标检测•利用序列图像在时间和空间上的冗余信息，将场景中的运动目标从背景中分离出来。主要困难在于光照变化、背景物运动干扰、运动目标阴影以及摄像机运动等干扰因素。本文主要研究内容•课题主要针对运动目标检测与跟踪关键技术问题展开研究。将会在在认真总结前人研究成果的基础上，深入分析与探讨目前运动目标检测与跟踪算法研究领域所面临的主要问题。课题主要针对两个关键技术展开研究，一是运动图像分割，二是基于卡尔曼滤波的运动目标跟踪。•1)对于运动图像分割技术方面，考虑传统混合高斯模型及HSV向量空间特点，提出一种基于HSV彩色空间的分块混合高斯模型建模方法，减少了传统模型的运算量，很好的抑制运动目标阴影，增加了算法的鲁棒性。•2)对于粒子滤波运动目标跟踪技术方面，在对建议分布的选择机制及自适应选择机制研究基础上，提出了两种基于建议分布的粒子滤波运动目标跟踪算法:一种是基于混合建议分布改进和自适应重采样结合的粒子滤波运动目标跟踪算法;另一种是基于样本多样性测度的建议分布自适应改进粒子滤波运动目标跟踪算法，通过试验，均能实现有效的目标跟踪。•归纳起来，运动场景中目标检测与跟踪技术主要包括以下三个关键技术：背景补偿与图像预处理：消除背景运动、随机噪声对目标检测与跟踪的影响。图像分割与目标检测：利用图像分割技术从图像中检测出可能的运动目标。特征提取和目标跟踪：对检测出的目标提取可识别的特征，依据这些特征在后续的视频图像序列中对目标进行跟踪。•运动目标检测是把目标从图像序列中将变化区域从背景图象中提取出来的一种方法。本文要分析各种算法的优缺点，然后结合算法的优点进行运动目标的检测，取得良好的检测效果，运动目标检测问题研究1三.研究的主要内容•目标跟踪是针对图像序列中运动对象的时空变化进行监控，包括运动对象的存在的位置、大小和形状等。本文运用了粒子滤波进行跟踪，由于粒子滤波存在样本退化和样本枯竭的现象，为了改进其跟踪的性能，本文采用了改进的粒子滤波跟踪算法，通过改进建议分布来提高跟踪的效率，对其进行研究，增加跟踪的可靠性。目标跟踪研究2运动目标检测的相关技术光流法帧间差方法背景差方法123运动目标检测•利用序列图像在时间和空间上的冗余信息，将场景中的运动目标从背景中分离出来。主要困难在于光照变化、背景物运动干扰、运动目标阴影以及摄像机运动等干扰因素。•主要方法：帧间差法光流法背景减除法光流法•其基本原理是:给图像中的每一个像素点赋予一个速度矢量，这就形成了一个图像运动场，在运动的一个特定时刻，图像上的点与三维物体上的点一一对应，根据各个像素点的速度矢量特征对图像进行动态分析，如果图像中没有运动目标，则光流矢量在整个图像区域是连续变化的，当物体和图像背景存在相对运动时，运动物体所形成的速度矢量必然和邻域背景速度矢量不同，从而检测出运动物体的位置。•光流法是通过计算图像的光流场实现运动目标检测的一种方法。所谓光流场是指空间运动物体被观测表面上的像素点运动产生的瞬时速度场,一个二维的速度场，包含了物体表面结构和动态行为的重要信息。光流法的核心是求解出运动目标的光流，即速度。帧间差分法•帧间差分法是将连续两帧或者几帧图像进行比较，采用基于像素的时间差分并且阈值化来提取运动目标信息进而实现目标检测第k-1帧连通处理第k帧二值化差分运算检测判断背景差分法•背景差分法的原理是:用检测之前获取的背景图像帧对每个像素进行统计建模，构建背景模型，再将当前图像帧与背景模型进行差分运算，并对得到的差分图像进行二值化，根据确定的阂值计算出当前图像帧中与背景模型值相差较大的像素点，并判断此像素是否为目标上的点，从而可得到较完整的目标信息。第k-1帧连通处理第k帧二值化差分运算检测判断运动图像分割•运动图像分割就是把运动目标从复杂的背景提取出来，是运动图像处理过程的前期阶段，当然分割算法的好坏不仅取决于算法自身，还应该根据不同的场景选择适合的算法，也是非常重要的。•主要方法：均值法中值法单高斯模型•混合高斯模型是背景建模中研究最广泛的方法之一。传统的混合高斯模型是建立在RGB色彩空间基础上的，本文采用的是SHV色彩空间模型，并为每个像素点建立x个(一般3-5)高斯模型，根据每个高斯模型权重的不同，进行自适应更新。基于分块混合高斯背景建模的运动目标分割算法•主要步骤：背景模型建立（用k=3个高斯模型来表征各个像素点的特征）背景更新（场景不断变化）分块高斯建模(加快高斯模型的更新速率)运动阴影去除（用HSV色彩空间模型）运动图像分割的好坏直接影响到图像后期处理效果，准确检测和追踪运动目标的关键不仅要把图像中运动的目标检测出来，目标的阴影检测和消除也是非常重要的传统的运动检测方法传统运动检测方法算法的主要优点算法的不足之处背景减除法可以获得运动区域完整而精确的描述对光照和场景中的扰动特别敏感，如何寻找理想的背景模型及模型的更新帧间差分法对动态环境具有较强的自适应性一般不能完全提取出所有相关的特征像素点，在运动实体内部易产生空洞。光流法存在摄像机运动时也能检测出独立的运动目标大多数的光流计算方法相当复杂，且抗噪性能差•为了得到好的检测结果，找到有效的背景估计方法来生成背景图像便成为背景差分法的核心。在实际应用中，当背景光照变化比较明显时，仍有新的问题需要解决，主要的两个问题是:背景图像的获取和背景图像的更新•a)背景图像的获取:背景图像的获取的理想情况是在没有运动目标的情况下直接获取，但是现实中由于外界光线的变化、摄像机的扭动偏转等，很难使背景中没有运动目标，因此增加了获得背景图像的难度。•b)背景模型的更新:一般情况下，场景中的背景图像不会没有任何变化，因此为了使检测与跟踪目标更准确，需要经常更新背景图像，以适应场景的变化。•背景差分法中，构建的背景模型与真实场景的符合度会影响检测的准确性。最简单的获取背景方法是采集一幅场景中没有运动目标的图像作为背景，但该方法只适用于场景比较简单或者变化较小的场合，所以人们就对如何动态的构建背景模型以及实时的更新背景模型进行了大量的研究。常用的方法有:统计平均法、Sur