运动视频目标检测识别跟踪

视频运动目标检测识别跟踪一．研究框架研究框架可以归纳为三方面：1.运动的感知技术；2.目标匹配和识别技术（解决what问题）；3.目标跟踪和空间定位技术（解决where问题）。二．研究方法1）视频检测技术：目前常用的视频检测方法可分为如下几类：光流法，时域差分法，背景消减法，边缘检测法，运动矢量检测法。1、光流法光流法是一种以灰度梯度基本不变或亮度恒定的约束假设为基础对运动目标进行检测的有效方法。光流是指图像中灰度模式运动的速度，它是景物中可见的三维速度矢量在成像平面上的投影，表示了景物表面点在图像中位置的瞬时变化，一般情况下，可以认为光流和运动场没有太大区别，因此就可以根据图像运动来估计相对运动。优点：光流不仅携带了运动目标的运动信息，而且还携带了有关景物三维结构的丰富信息，它能够检测独立运动的对象，不需要预先知道场景的任何信息，并且能够适用于静止背景和运动背景两种环境。缺点：当目标与背景图像的对比度太小，或图像存在噪音时，单纯地从图像灰度强度出发来探测目标的光流场方法将会导致很高的虚警率。且计算复杂耗时，需要特殊的硬件支持。2、时域差分法时域差分法分为帧差法和改进的三帧双差分法。帧差法是在图像序列中的相邻帧采用基于像素点的时间差分,然后阈值化来提取出运动区域。视频流的场景具有连续性，在环境亮度变化不大的情况下，图像中若没有物体运动，帧差值会很小；反之若有物体运动则会引起显著的差值。优点：时域相邻帧差法算法简单，易于实现，对背景或者光线的缓慢变化不太敏感，具有较强的适应性，能够快速有效地从背景中检测出运动目标。缺点：它不能完全提取运动目标所有相关像素点，在运动实体内部不容易产生空洞现象。而且在运动方向上被拉伸，包含了当前帧中由于运动引起的背景显露部分，这样提取的目标信息并不准确。三帧双差分法与相邻帧差法基本思想类似，但检测运动目标的判决条件上有所不同。三帧双差分较两帧差分提取的运动目标位置更为准确。3、背景消减法背景消减法是将当前帧与背景帧相减，用阈值T判断得到当前时刻图像中偏离背景模型值较大的点，若差值大于T则认为是前景点（目标）；反之，认为是背景点，从而完整的分割出目标物体。背景消减法检测准确，能够提取出完整的目标信息。但背景图像建立的准确与否直接关系到最终检测结果的准确性。最简单的方式是：直接抽取图像序列中没有运动目标的某帧，或在计算一段时间内多幅图像的统计平均值作为背景模型。但是，背景消减中有两个问题需要解决：背景模型的获取和背景模型的更新。基于背景统计模型估计的方法是在摄像机静止时建立背景模型，通过将当前帧和背景模型进行比较，确定出变化较大的区域认为是前景。由于该方法是利用当前图像与背景图像的比较来检测运动区域，故有些文献仍将其归为背景差分法中的一种；但是它采用概率统计的方法来描述背景，因此有的文献将其单独分为一类，称为背景建模法。背景消减法根据其背景模型的不同又可分为：直方图法、平均值法、单分布高斯背景模型、混合高斯分布背景模型、Kalman滤波器法，HMM模型法，meanshift算法，Camshift算法。4、边缘检测法边缘检测法：边缘检测方法是在不同的光线条件下利用车体的不同部件、颜色等提供的边缘信息有效的提取车辆的边缘，从而进行静止和运动车辆的检测。空间上的边缘检测算法可用于基于方向导数求卷积的边缘检测算子比如Sobel、Roberts、Robinson、Krisch、Prewitt、高斯拉氏算子等进行边缘提取，这些算子在算法复杂度以及效果上有很大的差别，应根据实际情况选用合适的算子；而时间上的边缘检测算法是通过计算连续帧之间对应像素点的差获得。文献提出了基于小波变换的多尺度边缘提取法，将边缘检测的核心指标（误检率和定位精度）分别用小波尺度因子表示，经分析发现：大尺度的滤波器抑制噪声（误检率降低）；而用小尺度滤波器准确定位边缘（定位精度提高）并提取边缘。除了基于梯度算子传统边缘检测算法外，近年来，基于形态学的边缘检测算法日益受到重视。由于梯度算子对噪声敏感并不能检测较细的边界，而基于形态学的边缘检测算子对此有更好的处理效果。通常的形态学边缘检测算子包括blurmin,top-hat和开-闭算子。在此基础上，后来又发展了一个新的边缘检测算子：可分离形态学边缘检测器（SMED）,SMED在关键区域内应用可分离中值滤波器去除噪声同时用简单易实现的形态学算子检测边缘，降低了计算的复杂度，获得了较好的检测效果。5、运动矢量检测法运动矢量检测法：运动矢量检测法是对前后连续两帧图像进行模块跟踪匹配，用当前图像的某一宏块在下一帧范围内搜索最优匹配，计算出两帧间各个宏块的平均运动矢量，根据运动矢量的大小进而判别有无目标。运动矢量检测法计算量非常大。从计算机视觉的实际应用来看，运动目标检测与跟踪问题所面临是主要挑战和需要解决的问题可以归结为三个方面，即算法的鲁棒性，准确性，实时性。以上的方法性能总比较如下表：表1性能比较检测算法光流法帧差法背景消减法边缘检测法运动矢量法鲁棒性低高低高低准确度中等低高低中等处理速度慢快快快慢2）目标跟踪技术：运动目标跟踪算法主要有两类：基于区域匹配的方法，基于特征匹配的方法。1、基于区域匹配的方法基于区域匹配的方法：区域匹配首先获取包含目标的模版，该模版通过图像分割或预先人为提取来确定，然后在序列图像中运用相关法搜索目标，从而确定目标在序列图像中的坐标位置。优点：区域模板匹配算法由于提取了较完整的目标模板，在当目标未被遮挡时，匹配效果较好。缺点：但这种方法在图像上遍历搜索，计算量大、比较耗时。2、基于特征匹配的方法基于特征匹配的方法：不同于模板匹配，特征匹配使用的是目标上的某些局部特征作为求相关的对象。特征描述符指的是检测图像的局部特征（比如边缘、角点、轮廓等），然后据匹配目标的需要进行特征的组合、变换，以形成易于匹配、稳定性好的特征向量，从而把图像配问题转化为特征的匹配问题，进而将特征的匹配问题转化为特征空间特征向量的聚类问题。基于特征的跟踪方法有其显著的优点：1.由于使用的符号模型运动方式简单，运动具有平滑性，因此跟踪目标的算法就简单了；2.这种方法已经假设特征符号运动是相互独立的运动，因此在运动分析时可以不区分运动物体是刚体还是非刚体，也不用管它的几何形状；3.跟踪过程中符号特征容易捕捉，能够匹配到每一个特征符号。但是基于特征跟踪算法的缺点：1.伴随着复杂运动的简单运动，刚体运动目标的特征提取就会产生困难；2.运动初始化时的难点。刚体的一些特征会因为遮挡而无法识别，因此，基于特征的跟踪算法必须解决目标跟踪过程的运动初始化的难点，但这些问题的解决又会使跟踪算法变得非常复杂；3.在改变符号参数和3-D目标运动参数时，这些参数时非线性的，因此特征跟踪中恢复的3-D运动参数对噪声相当敏感。