检测和跟踪视频监控中的运动目标

检测和跟踪视频监控中的运动目标IsaacCohenG´erardMedioni南加州大学机器人与智能系统研究所洛杉矶[e-mail]摘要：我们通过在一个移动的机载平台获得的视频流来解决关于运动目标的检测和跟踪的问题。该方法依赖于一个图表示可以获得和维持一个动态的运动目标，每个运动目标要强制他们的连贯性。这个推断的模板，以及在我们的方法中使用的图形表示，使我们能够判断运动目标的轨迹，找出在图中的最优路径。建议的跟踪器允许处理部分遮挡，以及在非常具有挑战性的情况下的停止和运动。我们展示了一些不同的真实序列的结果。然后我们定义量化我们的结果和如何克服错误跟踪检测评估方法。1.引言视频传感器（伴随云台和变焦能力或安装在监控应用中的移动平台）的使用增加，增加了研究人员对处理任意视频流的关注度。对于感兴趣的事件的视频流的处理依赖于检测，在每个帧中，所涉及的对象，和基于帧的信息的时间整合到模型简单和复杂的行为。这种高层次的视频流的描述依赖于准确的运动目标的检测与跟踪，并与它们轨迹之间的关系相关。在本文中，我们是在视频监控的背景下解决检测和跟踪运动目标的问题。大多数用于这个问题的技术使用一个固定的相机[4，3]或封闭的世界表示[6，8]并且这些都依赖于一个固定的背景或特定的知识的行动发生的类型。现在，我们处理一个更具挑战性的类型的视频流：这个视频流是从一个移动的机载平台获得的。这种更一般的情况下，使我们能够在现实世界的视频监控的情况下，在处理视频流的建议的方法进行评估。我们提出了一个基于图形表示的检测得到粗略的跟踪运动区域的方法。检测阶段进行流量补偿后的图像，是由观测平台运动引起的，它产生了大量的区域。事实上，使用剩余的流场和它的正常成分，即正常流量，定位移动区域同时检测同步误差，由于当地的变化不能正确处理的稳定以及3DstructuresiE.视差。定义一个属性图中的每个节点是一个检测区域，并且每个边是可能的两个区域在不同帧之间检测匹配，提供所有详尽表示检测到的运动目标。此图表示方法，使我们能够保持对一个动态模板的所有运动目标进行跟踪。此外，该图是通过优化搜索路径沿每个图的连通分量，用来描述物体的运动轨迹的。这篇论文的组织如下：首先，我们描述介绍了在第2节所使用的检测技术。在第3节和第4节分别阐述了动态模板图形表示和推理。在第5节提出用于从关联图中派生对象的轨迹的方法。最后，我们在第6节描述用于量化在处理视频的设置结果的评价技术。2.运动目标检测大多数用于检测移动物体的技术已经被设计为一个固定的摄像头获取的场景。这些方法允许将每个图像分割成一组使用背景差分算法的运动目标区域[6，4]。最近，[3]提出了一种局部建模的背景下使用K-高斯允许随时间变化的背景视频流混合过程。这些方法给出了令人满意的结果，可以在没有专用的硬件的情况下实现实时处理。视频传感器的可用性，成本低，与云台和变焦能力或视频流通过移动平台得到了研究者的关注，主要集中在视频流采集的运动物体检测。在这种情况下，不能使用背景差分技术。他们必须依靠一个稳定的算法来取消相机运动。这样的两步法，即稳定、检测、不完美的表现，是因为基于背景差法检测技术假设了一个完美的稳定。事实上，稳定的算法使用仿射或视角的运动补偿和赔偿的质量取决于所观察到的场景和对采集的类型模型（即泛倾斜变焦，任意运动…）。因此，运动补偿并不是没有错误的，它导致了错误的检测。然而，我们可以使用检测区域的时间相干性，以提高运动目标检测的准确性[10]。而不是使用这两个步骤的方法，我们建议在剩余运动发生的地方通过定位区域的图像将检测算法集成到稳定算法中。这些区域被检测到使用的时光流场的正常成分。正常流动是来自图像序列稳定的图像的时空梯度。事实上，通过映射到选定的参考帧的原始帧获得的此图像序列的每一帧，ij表示成像变形的参考框架J.映射函数由以下公式定义：稳定的图像序列被定义为：映射函数的估计量估计的自我运动，根据相机模型，它涉及到三维点在图像平面上的投影。我们使用的方法，是以图像引起的流量为模型，而不是一般的角度变换的三维参数[7]。模型的参数估计通过在序列中跟踪一个小的特征点集。给一个参考图𝐼0和图𝐼1，图像的稳定由寄存的两张图和变形图像𝐼1计算几何变换，与参考图像𝐼0的对齐组成。几何变换的参数估计是通过最大限度地减少最小二乘准则：异常值的检测和通过一个迭代过程中去除。我们选择一个仿射模型，从而逼近的透视投影，同时具有较低的计算复杂度。此外，空间层次，在金字塔的形式，用于跟踪选定的特征点。金字塔由至少三的水平，一个迭代的仿射参数估计产生准确的结果。参考帧和扭曲的人不要在创艾莱依，有相同的度量，因为，在大多数情况下，映射函数并不是翻译而是一个真正的仿射变换，从而影响运动目标检测的图像梯度的计算。这个变化的度量可以被纳入到相关的图像序列的光流方程为了更准确地检测移动物体。事实上，与图像序列相关联的光流是：其中是光流。推广已有的公式，得到因此，正常流动的表达式为：虽然并不总是描述图像的运动，但是由于孔径问题，它可准确地检测移动点。宽近移动区域的振幅，并成为空附近的固定区域。图1说明了在一个从机载平台获取的视频流的移动车辆的检测。我们鼓励读者从查看说明了在原始视频序列和投影拼接中的检测的电影文件。图1：在一个由记载平台获取的视频流中检测到的几种车辆。图2：检测区域及相关图。图3：图中每个节点关联的属性描述。每个颜色代表一个移动区域。图4：节点的传播以恢复未被发现的对象的描述。在左边，我们显示在每个帧的检测区域，并在右边，相关联的图，红色节点代表一个节点推断的模板的中位数形状。3.运动物体的图表示图像序列中的运动目标检测给我们检测到的地区为代表的位置而运动。由方程（5）给出的正常组件允许，给定一对帧，来检测运动发生的图像的点。这些要点，然后汇总到区域考虑阈值值的光流的正常成分，然后标注使用4连接方案。这些连接成分代表图像在运动检测区域。在视频流中检测运动目标的目的是能够跟踪这些对象随着时间的推移，从他们的轨迹，如他们的行为，得到一组属性。常用的跟踪方法是基于令牌的，当一个几何描述的对象是可用的[2]，或基于强度的（光流，相关性）。这些技术不适合斑点斑点跟踪自可靠的几何描述无法推断。另一方面，基于强度的技术忽略的二进制大对象的几何描述。我们的方法结合了这两种技术，将在移动的对象的代表性的空间和时间信息。这样的表示是通过图形结构中的节点代表检测运动区域和边缘提供代表关系的两个运动区域在两个单独的帧之间检测。每一个新处理的帧会产生一组对应于检测到的移动物体的区域。我们寻找新发现的对象和以前的相似性。建立这样的连接可以通过不同的方法，如模板匹配[5]或相关[11]。然而，在视频监控，移动对象的信息是可用的，因为所观察到的对象是不同类型的。此外，小尺寸的物体（在空气中的图像的人）或大的物体大小的变化是频繁的，因此不适合模板匹配的方法。每对帧给我们一组残留运动被检测的区域（见图2）。这些区域可以通过测量灰度相似性之间的区域在时间和一套位于其附近的区域在时间到之前检测到一个相关的。一个区域可能有多个匹配，这个邻域的大小是从对象的运动幅度得到的。我们在图2中显示的红色斑点的检测相关的图表示。每个节点是一个地区的一个椭球从二进制大对象的主方向和相关的特征值表示。此外，一组属性关联到每个节点如图3所示。我们分配给每个边缘的成本，这是该地区对应于相同的对象的可能性。在我们的例子中，似然函数是一个对区域的图像灰度级相关。4.动态模板推理图表示给出了一个详尽的描述的运动被检测到的区域，以及这些区域的方式与另一个。这种描述是适当的处理情况下，一个单一的移动对象被检测为一组的小区域。这样的情况发生时，在本地，正常的光学组件的组件是空的（光圈的问题），因此，而不是检测一个区域，我们有一组小的区域。通常，聚类技术应用融合检测斑点为了恢复对应的区域移动对象。这些图像技术[6，9]依靠对图像中的斑点的接近和频繁的合并，属于独立的目标区域。在检测到的区域中，一些小的区域应该合并成一个较大的区域，或有一个自己的轨迹。在这两种情况下，基于图形表示，这些区域属于图的连通分量。在我们的方法中，我们在图中的检测区域，而不是在一个单一的图像中所使用的在以前的作品[9，6]。事实上，通过图形聚类阻止我们兼并地区属于具有不同轨迹的物体，由于基于图像接近，在连接部分的图做的。聚类技术的粗略性，也提高了维护的动态模板的移动对象的每个连接的组件，因此，为每个移动的对象在场景中。提出了若干技术自动更新的移动物体的模板描述，加权形状描述[9]或累积运动图像[1]提出。这些方法的主要缺点是形状描述中的错误（即边界）的传播，因此这些技术不适合移动摄像机。我们提出了一种基于中值形状模板，这是更稳定，并产生一个强大的描述模板。采用中值滤波计算模板（调整后的质心和每个blob的方向）在过去的五检测到帧的区域。动态模板可以完成图形描述。在视频监控应用中，物体常常停下来，然后继续他们的运动，这样一个对象将被描述通过多个连接的组件图中。这些连接的组件，通过使用动态模板合并，被跟踪的对象：我们传播的每一个节点没有继承人，在一个给定的帧和匹配的地区这些地区的搜索数量。这罚款一组可能的匹配，这是合并在图结构中，通过定义新的边缘连接的匹配区域。这一步如图4所示，在图104中未检测到的对象，在图中的红色节点表示。5.物体运动轨迹的提取作为新的帧被获取和处理，我们逐步构造运动对象的图形表示。从图中导出对象的运动轨迹，并从新发现的区域中提取一条沿每个图的连通分量的路径。我们提出了一种方法，通过搜索一个最佳路径代表对象的轨迹，自动提取所有移动的物体的运动轨迹。此外，起始节点（源），以及目标节点（目标）是事先不知道。因此，我们认为每个图节点没有父节点作为一个潜在的源节点，和每个节点没有一个作为一个潜在的目标节点的继任者。定义一个最优的标准来描述一个最佳路径是等价的关联到每个边的图形的成本。图中的每一个边对应于一个区域之间的匹配，并且具有成本，这是连接节点之间的相似性度量。因此，一套给每个节点如灰度分布的相关性质，质心和对象的动态模板的使用是为了推断一个强大的路径。这些属性被合并在下面的成本相关联的图的每个边缘。其中，是灰度和形状区域i和j之间的相关性，代表他们之间的距离质心。通过方程（6）的边缘成本可以提取局部最优路径。事实上，基于图形搜索算法的边缘成本的基础上，将提供一个次优的解决方案，因为有没有约束的目标或目标节点，必须达到。在不同的实验中，我们已经观察到，这一标准产生的一部分的轨迹。的目标源被选中的基础上的成本的最高值，无论属于相同的连接组件的其他节点。在图中所用的每一个连接的组件，该图表示一个移动的对象在场景中的每个节点的位置，并允许表征多远这个节点是从一个潜在的目标节点：一个新发现的区域。这样的特性是通过分配给每个节点的最大长度的图的路径开始在这个节点。该节点的长度的计算是从底部的图进行非常有效，即节点无继承人，分配每个父节点接班人加一最大长度。一个节点的长度，i是由以下公式给出：其中，初步估计成本函数（6）和每个节点的长度的组合，使我们能够为每个节点定义一个新的成本函数。相关联的边缘连接节点i到节点j的成本函数，然后定义：其中，被定义为（6）和是由方程（7）定义的节点的长度j。这个成本功能恢复的最优路径的路径从节点扩展中。最优路径的提取是通过从图的节点没有父节点和拓展的最大值。该方法是如图5所示，在一辆卡车和一辆汽车的运动轨迹显示。处理后的视频流的AVI文件可在查找。图5：卡车和汽车的轨迹图在所生成的拼接图上。6．评价和量化我们的方法是基于在一定数量的帧，我们称之为系统的延迟时间（设置在这里到五帧