目标识别与跟踪综述

综述摘要：人体的运动分析主要指的是对场景中的运动个体或者群体进行运动检测、运动跟踪与理解以到达描述人体行为的目的。通过阅读文献，本文将从人体检测，人体跟踪和人群运动分析三个方面介绍人群特征分析的方法。1．绪论随着社会的发展，公共需求的提高，群体运动的分析越来越受关注。并且随着人口的增长，人群活动日益增加，相应的人群安全问题也越来越突出。对人群的分析研究分别在社会学、心理学、建筑学、计算机等各个学科受到极大的关注。人群分析主要分为以下五个方面。(1)人群管理:对大型集会的人群管理，是公共安全管理领域中最亟待解决的问题。人群分析可以更好的发展人群管理策略，避免因人群拥挤而发生的灾难事件，确保人身安全。(2)虚拟环境:通过构造人群的数学模型结构,在虚拟环境下来模拟人群场景,来丰富人的生活体验。如一些虚拟的聊天室、电影或者动画制作过程中的特效应用等。(3)智能环境:在一些涉及到大型人群的智能环境下,人群分析可以预协调人群。如在博物馆,人群的模式决定了如何疏散人群。(4)公共场所设计:人群分析可以为公共场所的设计提供指导,如对商场的人流估计，使得商场的布局更方便于顾客或者最可能有效的利用空间优化办公室场所。(5)视觉监控:人群分析可以用来自动检测场景中的异常情况。而且,在人群中的个体跟踪有助于协助安防人员捕捉嫌疑犯。虽然人群运动分析技术研究已取得了一定的成果，但是人群运动的复杂性以及实际运动场景的多变性仍然给人群运动分析带来很多的研究难点。目前在人群运动的自动检测与跟踪方面，也没有相对完善的理论基础，各向技术也处在完善阶段。主要表现在:(1)运动检测与分割：在人群运动分析系统中，如何对人群运动实现快速而准确的分割是极为重要的难题。由于视频序列中运动场景极易受到各种客观因素的影响，如光照变化、背景与前景的混杂干扰、运动目标与环境之间或者运动目标之间的遮挡现象等，使得对人群运动实现有效分割变的十分的困难。目前常用的运动分割算法如帧间差分法或背景相减法都难以适应复杂或者拥挤场景的运动分割。(2)遮挡问题处理：由于人群运动的密集特性，使得人与人之间的遮挡问题变得极为严重。此外，在真实场景中，还存在人群与人群之间甚至是人群与环境之间的互遮挡现象，这些现象都将导致运动目标对象信息的丢失。这些如何有效处理遮挡问题也是衡量一个人群运动分析系统优劣的准则。(3)运动特征的提取：人群运动的特征既具有个体运动的特征也具有群体运动的特性，合理的选取人群运动的特征对后续的人群运动分析尤为重要。运动视频序列的直方图信息、光流场、边缘信息、彩色纹理特征等都可以用来作为运动检测。根据不同的运动场景、运动目标特性因合理的采用不同的运动特征。本文通过对人群特征分析的几种主要算法的整理和介绍，学习了每种算法的优点和缺点以及其适用的环境。2人体检测视频图像中的运动人体检测是一个重要且十分困难的研究领域，在实现运动补偿、视频压缩编码、视频理解时都需要用到运动目标的检测。在视频理解中运动人体检测是后续跟踪、识别和活动分析的基础。对运动人体目标的正确检测能大大提高后续跟踪、识别和活动分析的正确率。运动目标检测的方法主要分为三种：一种是帧差法，基于时问序列图像上的差分图像实现运动目标的检测；第二种是光流法，是对图像的运动场进行估计，将相似的运动矢量合并形成运动目标的检测；最后一种是背景差法，基于图像序列和参考背景模型相减实现运动目标的检测。帧差法能较好的适应环境变化较大的情况，对于目标运动引起的图像序列中发生明显变化的象素点比较容易检测，但对于变化不明显的象素点不能很好的检测出来。光流法在摄像机存在运动的情况下能较好的检测运动目标，但大多数光流计算方法十分复杂，计算量较大，不能满足实时视频流处理的要求。背景差方法能检测出和运动目标相关的所有象素点，但这种方法对于外界环境的变化，如光照、外来事件等非常敏感。2.1帧差法帧差法是基于目标的运动能体现在图像序列的变化上，以直接比较图像序列相邻帧对应象素点发生的相对变化为基础进行运动目标检测的方法。这是一种直接简单的运动检测方法。也相当于检测的是每一帧静态图像中的目标，通过阅读文献，了解了基于AdaBoost算法的人脸检测方法。图2.1AdaBoost快速人脸检测系统框架图使用AdaBoost学习算法的人脸检测方法由Viola等于2001年提出，该方法的主要特点是简单，实时性好，采用了一种称为“积分图像”的图像表示方法，能够快速计算出检测器用到的特征，然后用AdaBoost学习算法，从一个较大的特征集中选择少量的关键的视觉特征，产生一个高效的强分类器；再用级联的方式将单个的强分类器合成为一个更加复杂的分类器，使图像的背景区域快速地丢弃，而在有可能存在人脸目标的区域花费更多的计算。该方法的突出地位和贡献人脸样本集计算各样本的积分图及计算矩形特征值AdaBoost算法：挑选矩形特征，构建弱分类器，并确定其阈值和分类值，更新归一化样本权值弱分类器集由若干弱分类器构成一个强分类器并且确定强分类器的阈值强分类器集所有强分类器层层相连构成一个多层分类器存储多层分类器非人脸样本集待检测图像选择候选窗口计算各个候选窗口的积分图检测输出人脸大小及位置在于，它给出了一个稳定的、实时的目标检测框架，是一个实时的人脸检测方法。图2.1为AdaBoost快速人脸检测系统框架图。2.2光流法光流法是基于对光流场的估算进行检测分割的方法。光流是图像亮度模式的表观运动光流中既包括被观察物体的运动信息，也包括了有关的结构信息。光流场的不连续性可以用来将图像分割成对应于不同运动物体的区域。光流法检测运动物体的基本原理是：给图像中的每一个像素点赋予一个速度矢量，这就形成了一个图像运动场，在运动的一个特定时刻，图像上的点与三维物体上的点一一对应，这种对应关系可由投影关系得到，根据各个像素点的速度矢量特征，可以对图像进行动态分析。如果图像中没有运动物体，则光流矢量在整个图像区域是连续变化的。当图像中有运动物体时，目标和图像背景存在相对运动，运动物体所形成的速度矢量必然和邻域背景速度矢量不同，从而检测出运动物体及位置。采用光流法进行运动物体检测的问题主要在于大多数光流法计算耗时，实时性和实用性都较差。但是光流法的优点在于光流不仅携带了运动物体的运动信息，而且还携带了有关景物三维结构的丰富信息，它能够在不知道场景的任何信息的情况下，检测出运动对象。光流计算方法大致可分为三类：基于匹配的方法、频域的方法和梯度的方法。(1)基于匹配的光流计算方法包括基于特征和基于区域两种。基于特征的方法不断地对目标主要特征进行定位和跟踪，对大目标的运动和亮度变化具有鲁棒性。存在的问题是光流通常很稀疏，而且特征提取和精确匹配也十分困难。基于区域的方法先对类似的区域进行定位，然后通过相似区域的位移计算光流。这种方法在视频编码中得到了广泛的应用。然而，它计算的光流仍不稠密。(2)基于频域的方法，也称为基于能量的方法，利用速度可调的滤波组输出频率或相位信息。虽然能获得高精度的初始光流估计，但往往涉及复杂的计算。另外，进行可靠性评价也十分困难。(3)基于梯度的方法利用图像序列亮度的时空微分计算2D速度场（光流）。由于计算简单和较好的效果，基于梯度的方法得到了广泛的研究。虽然很多基于梯度的光流估计方法取得了较好的光流估计，但由于在计算光流时涉及到可调参数的人工选取、可靠性评价因子的选择困难，以及预处理对光流计算结果的影响，少量帧中噪声的存在以及图像采集地过程中形成的频谱混叠都将严重影响基于梯度的方法的结果精度。2.3背景差法背景差方法主要包括背景模型建立、背景模型更新、背景差、后处理等步骤。背景模型建立就是对背景模型进行初始化；背景模型更新是根据当前输入的图像修正背景模型及时反映环境的变化；背景差是将当前帧和背景模型相比较检测运动目标；后处理是在高层次上对检测出的运动目标进行修正，得到更精确的结果。一般将背景差方法对图像的处理分为象素级、区域级和帧级三个由低到高的层次处理。象素级完成对图像中象素最基本的分类，即前景象素和背景象素；区域级考虑象素之间的相关性，进一步从区域的角度上修正象素级分类；帧级从图像全局变化的角度修正象素分类。背景差方法的难点不在输入图像与背景模型相比较这一步，而是对背景模型的维持与更新。在现实世界里，场景中的背景很复杂，存在各种各样的干扰，且背景是随时间不断变化的。背景模型及其更新要能反映这些变化，抑制处理干扰。一般来说，视频监控系统需要长期运行，要保证视频监控能够长期运行需要背景差算法应具有很强的鲁棒性，需要能满足以下要求：1．能适应背景随时间的缓慢变化如在一天当中不同时间里的光照变化。2．能适应背景物体的变化如场景中移入新的物体、背景中的物体移出场景等变化。3．背景模型能描述背景中的一些较大扰动如树叶晃动、显示器屏幕闪烁等。4．能检测出光照的突然变化并能在尽量短的时间内适应这种变化。5．为了能够更好的跟踪识别物体，在背景差算法中应能尽量消除运动目标。3人体跟踪所谓运动目标跟踪，就是在一段序列图像中的每幅图像中找到所感兴趣的运动目标所处位置。在视觉监控中运动目标跟踪的作用非常重要，因为它不但可以提供被监视目标的运动轨迹，也为进行场景中运动目标的运动分析和场景分析提供了可靠的数据来源，同时运动目标的跟踪信息也能为运动目标的正确检测以及运动目标的识别提供了帮助。一般说来，对于一个运动人体跟踪系统而言，通常希望实现以下几点目标：1．检测一个新的运动物体何时进入监测场景中，通过对运动物体形成的连通区域形状的判断，从而过滤掉非人体的运动物体。2．通过跟踪算法预测每帧图像中每一运动人体的位置，对人体进行定位。3．当图像中存在多个运动人体时，如果他们彼此之间互相重叠或遮挡，或者运动人体被背景中的物体遮挡或分割时，仍能够正确对人体进行跟踪。4．如果被跟踪人体暂时消失，当该人体重新出现时，跟踪算法能及时恢复对该人体的跟踪。本章主要介绍基于onlineboosting算法的目标跟踪。3.1基于onlineboosting算法的目标跟踪Onlineboosting算法的应用范围非常广泛，其中基于在线学习的目标跟踪是应用较多的一个方向。因为，待跟踪的目标是人为指定出来的，即首先确定某一个或几个图像区域为跟踪目标，然后集中力量解决如何稳健的跟踪该目标。相应的在线学习的样本的获取以及类别标注也很容易实现，只要来自于目标区域内的样本一定是正样本，而在目标区域外取样即可得到负样本。在线学习方法只需准备一个含有少量样本的训练样本集训练初始分类器，然后这个初始分类器不断的获取新样本进行在线学习，从而提高自身的分类精度，这样大大减轻了采集训练样本的工作量。下面先介绍如何将onlineboosting算法用于目标跟踪。3.1.1onlineboosting算法简介传统的离线boosting算法需要事先获得所有的训练样本用于每一个弱分类器的训练，并且在每次算法循环过程中根据弱分类器对当前所有样本的分类结果计算各个弱分类器的错误率，从中挑选出错误率最小的添加到强分类器中，此外还要用该弱分类器更新各个样本权重。而在线学习算法中，训练样本是一个一个获取并用于分类器训练的，因此，如何改变这种样本权重更新方法，是onlineboosting算法的重点。Onlineboosting算法，算法的输入是一组初始的弱分类器集合1,...,MHhh，以及相应的参数1,...,scscscM和1,...,swswswM，其中sc集合中的每一个值均为其对应的弱分类器的正确分类样本数，sw集合中的每一个值均为其对应的弱分类器的错误分类样本数，初始时刻均为零。同时用基于类Haar特征的学习方法进行学习一个正确标注的新样本,xy，设其样本权重为。由于只有一个样本，每次循环由弱分类器集合中的每个弱分类器对该样本采用基本在线学习算法进行学习，并将学过的弱分类器对该样本进行分类，若能够正确分类，则更新该弱分类器的正确分类样本数，若仍不能正确分类则更新错误分类样本数，再由式(3.1)计算错误率m：swmmscswm