检测跟踪文献综述

近年来，智能视频监控技术的研究与应用备受人们关注。作为其基本处理部分，视频监控图像的运动目标检测是一个非常活跃的研究方向，属于计算机视觉领域的重要研究内容，在智能监控、视频压缩、自动导航、人机交互、虚拟现实等方面有着广泛的应用前景。随着计算机软硬件技术的发展，计算机技术与监控技术相结合成为了一个新兴的应用研究方向。这种监控系统与传统意义上的监控系统的本质区别在十其智能性。视频监控的目的主要是用十对入侵者的监视、交通流量的监测，以及大门出入人员的保安监控等。传统的监控系统大都需要人工配合进行监控，存在各种问题。采用红外传感器等半自动的检测方法又存在对猫犬等动物产生误报警等问题。因此，对智能化的监控系统的研究就非常有必要。简言之，不仅仅用摄像机来代替人眼简单的获取现场图像信息，应用计算机技术来协助监控人员甚至代替监控人员来完成监控任务，从而既获得良好的监控效果，又大大地减轻监控中的人力投入。由此可见，智能监控系统有着广泛的应用前景和潜在的市场价值。然而要使监控系统达到智能化，就必须使计算机能够从监控摄像机里所获取的视频图像序列中提取出感兴趣的目标，并对其进行目标分类和跟踪，从而达到对目标行为进行理解与描述的目的。智能视频监控是计算机视觉领域一个新兴的应用方向和备受关注的前沿课题。视频监控技术的发展大致经历了以下二个阶段：(1)第一代视频监控系统:早期的视频监控都是以模拟设备为主的闭路电视监控系统，称其为模拟视频监控系统。通常采用同轴电缆的传输方式进行信号传输，但是这种模拟方式的传输要保证宽带信号具有高的信噪比和较小失真是十分困难的，所以第一代监控系统的可靠性和抗干扰性都较差，功能也相对简单。(2)第二代视频监控系统:随着数字技术的发展，图像数据压缩编码技术及标准的改进，芯片成本的不断下降，数字视频监控系统也迅速发展起来。人们利用计算机的高速数据处理能力进行视频采集和处理，大大提高了图像质量，增强了视频监控的能力，提高了系统的可靠性，增强其可扩展性，其功能也越来越专业化、多样化。(3)第二代视频监控系统:随着网络带宽、计算机处理能力和存储容量的迅速提高，以及各种实用视频信息处理技术的出现，视频监控进入了全数字化的网络时代，即全数字视频监控系统。该系统以网络为依托，以数字视频的压缩、传输和存储为核心，以智能实用的图像分析为特色，引导视频监控技术向智能化和网络化的方向不断发展。智能监控系统是采用图像处理、模式识别和计算机视觉技术，通过在监控系统中增加智能视频分析模块，借助计算机强大的数据处理能力，在不需要人为干预的情况下对拍摄到的图像序列进行动态分析，过滤掉视频画面无用的或干扰信息，自动识别不同目标，分析抽取视频源中关键有用信息，快速准确地定位事故现场，判断监控画面中的异常情况，并以最快和最佳的方式发出警报或触发其它动作，从而有效进行事前预警，事中处理，事后及时取证的全自动、全天候、实时监控的智能系统。要完成智能视觉监控的任务，需要用到计算机视觉、模式识别、数字图像处理和人工智能等多门学科的知识。对运动目标的检测与跟踪就是其中的核心技术，处十整个视觉监控系统的底层，是各种后续处理的基础。运动目标的检测与跟踪技术不仅在智能监控系统中有重要应用，已经广泛应用十军事和工业机器人等多个领域中，因此对运动目标检测与跟踪的研究无疑是一项既有理论意义又有实用价值的课题。一、目标跟踪的种类（1）基于区域的跟踪基于区域的跟踪方法首先要得到包含目标的区域模板,模板的提取一般通过图像分割获得或者是预先人为确定,模板通常为略大于目标的矩形,也可以是不规则形状,然后设定一个相似性度量,在序列图像中搜索目标,把度量取极值时对应的区域作为对应帧中的目标区域。由于提取的目标模板是以目标整体作为对象,它包含了较完整的目标信息,因而具有较高的可信度。由于该方法以目标的整体特征信息作为跟踪依据,所以在目标发生较小形变等情况下仍然可以准确的对目标进行跟踪;在目标未被遮挡时,跟踪的准确性和鲁棒性也较好。其缺点首先是这种方法需要对整个图像区域进行搜索,要求获取的信息较多,因此比较耗时,不能满足实际应用中视频监控实时性的要求,这种方法一般用于跟踪较小的目标或者对比度较低的目标;而且跟踪的目标变形不能太大,否则会导致跟踪精度下降甚至目标丢失;而且,当目标出现太大遮挡时,也容易造成跟踪目标的丢失。针对这些缺陷,近年来,对于基于区域跟踪方法研究最多的是如何处理包含目标的模板更新,以保证跟踪的连续性和稳定性。（2）基于活动轮廓的跟踪基于活动轮廓跟踪的基本思想是提取物体的边界轮廓作为轮廓模板,利用封闭的曲线轮廓来表达运动目标,在后继帧的二值边缘图像中跟踪目标轮廓。由于这种方法所使用的模板是目标轮廓,并且匹配。过程是在二值图像中进行,所以相对基于区域的跟踪算法来说,它的优点是计算量较小,而且在目标被部分遮挡的情况下也能连续的进行跟踪。近来发展很快的两种基于轮廓匹配的跟踪算法:一是主动轮廓线跟踪算法(Snake模型),Kass等人在1987年提出了主动轮廓模型,也称其为蛇模型,它是一条可变形曲线(Snake曲线),可任意调整曲线形状使其与目标轮廓保持一致。另一种是基于Hausdorff距离的轮廓跟踪算法。基于Hausdorff距离的形状匹配不同于其他的形状匹配,一方面,Hausdorff距离不需要建立两个点集中的点之间一一对应的关系,并且对图像噪声和晃动具有较好的鲁棒性。其缺点是当所匹配的点的数目比较大时,匹配效率会迅速降低,通常计算量也较大。在基于活动轮廓方法中,初始化轮廓是整个算法的核心和关键,如何准确的获取运动目标的初始轮廓也是算法研究中的一个难题,而且运动物体轮廓的更新比较困难,这也决定了基于活动轮廓的方法无法在目标跟踪中得到普遍应用。（3）基于特征的跟踪算法基于特征的跟踪方法基本思想是,在跟踪过程中首先提取目标的某个或某些具有不变性的特征,然后利用相关算法实现对运动目标的跟踪。该方法包括特征提取和特征匹配两个过程。目前常见的特征选择有角点、纹理、色彩等,但在序列图像中,单一的特征选取往往无法实现跟踪的准确性。因此,基于多特征融合的目标跟踪成为当前研究的趋势。基于特征的方法其优点是能够在部分遮挡的情况下,仍旧实现目标跟踪,在准确选取特征点的前提下,还可以克服关照改变以及目标发生几何形变时带来的跟踪障碍。同时,该方法还可以将与粒子滤波器、mean-shift算法等结合使用,提高跟踪的实时性和鲁棒性。（4）基于模型的跟踪基于模型的跟踪方法首先是对目标物体的外形特征进行建模,然后通过一定的匹配方法跟踪目标,并进行模型的实时更新。常用的表征物体模型的形式一般分为三类:线图模型、2D模型和3D模型。目前应用较多的是利用物体的三维立体模型。基于模型的跟踪方法即使在目标姿态变化和部分遮挡的情况下,仍旧可以精确分析目标的运动轨迹,实现可靠的跟踪,因而它有较强的鲁棒性。但是由于在现实生活中获得所有运动目标的精确模型是非常困难的,因此限制了基于模型的跟踪算法的使用。其次,该跟踪方法需要大量的时间来计算复杂的模型,比较耗时,不能满足跟踪过程中的实时性和迅速性要求。二、运动背景和运动特性一般说来，运动目标检测方法的确定主要取决于目标的运动背景和运动特性。（1）目标运动背景目标运动背景指运动目标所处的环境，是分析和讨论运动目标检测的前提条件。一般情况下，目标运动背景主要表现为目标的运动区域(即所处地理位置)。在视频监控系统中，目标运动背景的变化主要取决于摄像机工作方式，但天气条件(如光线变化、风雨雷电、霜雪等)以及其他干扰情况(如摄像机抖动、遮挡、孔径和阴影)等也会对其产生重大影响。根据摄像机工作方式的不同，可以将目标运动背景分为静态背景和动态背景。静态背景在通常使用中经常碰到，其运动目标检测的研究应用比较多;而对动态背景的运动目标检测研究，有学者借助于DSP芯片取得了一些进展，但还存在某些缺陷，譬如在大面积遮挡情况下目标会丢失等，因此有待于进一步深人和改进。另外，在现实应用中运动目标背景一般存在着各种噪声和扰动问题，目前研究的比较多，但还存在着这样那样的问题。针对目标运动背景的变化，当前一些研究人员提出了建立自适应背景模型，实现了背景的实时更新，比较准确地检测出运动目标。背景阴影的检测和去除也是一个十分重要的问题。目前检测阴影的方法主要有:1)在HSV彩色空间，利用色度、饱和度和亮度的信息建立背景模型2)在RGB彩色空间，用矢量来表征像素点，并以当前图像中的像素点矢量与对应背景点的矢量相减得到表征亮度和色度的彩色模型，在此基础上建立背景模型叭。3)利用阴影的光学特性，结合其纹理特征，采用区域生长的方法来检测阴影。此外，采用光照评估方法判断阴影是否存在，进而运用梯度分析和二值图像的聚类算法检测出阴影，从而有效地去除了阴影。（2）运动目标特性一般视频监控系统中，运动目标情况比较复杂，主要有时间特性、区域特性、矢量特性和形态特性等。时间特性和区域特性作为运动目标的基本特性，是视频帧时间差分和图像分割的主要依据。考虑到运动像素的时间和空间相关性，提出了一种有效的基于图像块和HVS彩色图像差值相结合的高速运动目标检测算法，该方法快速、准确。但在前景运动目标与背景亮度很接近时，运动目标很难被检测出来，另外阑值的选取也过于经验化。对复杂背景的多目标运动速度检测进行了探讨，但还存在着不足之处。刘长钦等根据运动信息的生物视觉处理机制，给出了基于持久一暂态细胞组合的二维运动方位细胞(MOC)滤波器运动方向检测模型，在计算机仿真实验中得到了预期的效果。另外，高媛媛等基于立体视觉对多目标运动速度检测进行了理论性探讨。目前单目标速度检测已经广泛应用于我国公安交通管理中，如电子测速器等，而多目标运动速度检测还没有推广。形态特性是指目标运动时在形状、大小、数量、刚度和强度等方面呈现出来的特征。小目标运动检测一方面目标的信噪比比较低，另一方面整个图像复杂而目标很小，一般仅由若干个像素组成，这两个原因导致小目标的运动检测比较困难。自20世纪70年代以来，国内外学者提出了许多有实际意义的检测算法，如二维匹配滤波器法、动态规划法、神经网络法和高阶相关法等。从理论上讲，上述检测算法都能取得较好的效果，但大多数计算量大，实用性不强。多目标运动在实际环境中比较普遍，对其进行检测有一定价值，但当背景过于复杂且目标不明显时，还存在着一些问题。根据刚度大小的不同可以将物体分为刚体和非刚体。常见的刚体如车辆等，其运动检测研究已经非常成熟，一些成果得到普遍应用，如各地公安交通管理部门使用的“电子眼”。非刚体尤其人的运动检测，由于其形状、甚至拓扑结构的变化，仍然面临着许多困难，例如图像分割模型的使用等，还未找到解决问题的最有效途径。（3）运动目标检测方法1）背景减除法背景减除法是将视频帧与背景模型进行比较，通过判定灰度等特征的变化，或用直方图等统计信息的变化来判断异常情况的发生和分割出运动目标。用背景减除法进行运动目标检测的主要过程包括预处理、背景建模、前景检测和运动区域后处理等。背景建模是背景减除法的核心环节，目前主要方法有:基于背景的时间差分法、中值滤波法、W4方法、线性预测法、非参数模型法(又称内核密度估计法)、混合Gaus，法、隐马尔科夫模型法(HMM)、本征法、基于均值替换的背景估计法、码本方法等。背景减除法适用于静态或准静态背景下面积不大的目标运动检测，实现比较简单，能够完整地分割出运动目标检测。但在动态背景或复杂背景(如存在遮挡和阴影等)的情况下，用其实现运动目标检测实时性差。2）相邻帧间差分法相邻帧间差分法即图像序列差分法，主要利用两帧图像亮度差的绝对值来分析视频和图像序列的运动特性，确定图像序列中有无物体运动。如果差的绝对值小于某一闭值，则没有运动;反之，则存在运动。针对背景与前景灰度交叉的情况，近年来许多人提出了用局部阑值的方法来提高算法的自适应性，主要有基于假设检验的帧差法和高次统计法。相邻帧间差分法可用于动态变化的场景，但一般不能很好地提取出运动目标的所有特征像素;主要以静态背景为条件，适应于目标运动稍快且图像分割精度要求不