基于异常排斥点和互信息的人群异常检测方法

ZZUCSITSGRESEARCHGROUPTECHNICALREPORT,NO.TR-2012-06-007基于排斥点和互信息的人群异常行为探测方法MutualInformationfortheDetectionofAbnormalCrowdBehavior摘要快速探测人群场景中的异常行为，能够及时预警、减少其危险性并降低由此带来的损害，在大规模侦测、预防踩踏等群体事件中具有很高的实用性。本文提出一种基于异常排斥点的人群异常行为检测方法，定义了人群异常场景中异常排斥点的概念，揭示了异常排斥点在人群异常探测中的重要作用，并通过融合异常排斥点信息与场景互信息扩展了人群异常检测在不同场景中的适用性，大幅度提高了异常检测的准确性和灵敏度。关键词互信息，排斥点，人群异常探测，光学流————————————————————0．引言人群状态检测是智能视频监控和智能环境的主要内容，也是实现自动人群管理的基本要求。利用计算机视觉技术对监控视频的内容进行分析并理解在公共管理、国防、反恐、银行、公共安全等方面具有不可替代的作用。近年来频繁的群体性事件造成了大量的人员伤亡和财产损失，如果在异常行为开始时，系统能够及时警报并进一步采取应对措施，就可以有效降低相应事件所带来的危害。所以，异常行为探测在我国的当前社会、经济环境下具有广泛的实用价值。然而，在实际应用过程中，由于监控使用场景广泛、视频量庞大以及人群行为复杂等，人工视频监控和传统视频监控往往需要耗费大量的人力、物力，且效率低下，通用性差，人群异常行为识别严重滞后。为此，智能视频监控技术得以迅速发展，从而将人们从大量的低效率的工作中解脱出来。目前，智能视频监控主要面临两大挑战：一方面是监控场景范围广，人群异常行为模式复杂。随着监控设备的普及和技术的成熟，监控场景的范围原来越广泛，从公共广场到建筑内部，不同场景的人群活动具有不同的异常行为模式，其中人群的疏散和聚集是其中最具代表性的两类。如广场中某处发生骚乱，人群四处逃散，或向一侧出口逃散。或者广场上某一区域发生聚集。面对如此复杂的异常行为模式，研究其共有的特性以提高监控的普适性就变得尤为重要。另一方面，异常模式探测困难，计算量大。对于智能视频监控来说，及时地探测出人群的异常行为是衡量方法有效性的重要标准之一。及时的探测有助于警报的发出和人群的疏散和逃生，从而能够将危险造成的损失降到最低。为此，有效简化异常探测模型，降低数据预处理的计算量和计算复杂度，满足异常行为检测的高速乃至实时要求是当前人群异常检测的核心内容。传统人群异常探测技术在计算量以及适用范围上难于满足需求，为此，提出了一种基于排斥点和互信息的人群异常行为探测方法。方法揭示了不同场景下人群异常行为模式的公共特点，并进一步提出了“排斥点”的概念。结合互信息理论，方法对不同的监控场景具有良好的适应性，提高了人群异常行为探测的及时性和准确性。1．相关工作当前流行的人群异常探测方法主要包含两种：一种是基于整体的方法，一种则面向个体追踪。前者往往通过构建场景模型[5,6]，用学习算法估计模型参数后用该模型进行异常检测。Helbing等[3]将牛顿力学定律引入人群动力学分析中,称之为“社会力”(Socialforce)。Mahadevan等在文献[4]中先通过使用动态纹理的混合物建立了正常的人群行为模型，然后使用这个模型来判断异常点。Mehran等[2]对社会力模型进行了拓展,将其应用到相对稀疏的人群行为建模上。为避免对每个局部目标跟踪而产生大量计算,使用了质点平流传送的整体分析方法。在平流传送的基础上建立力学模型,对社会力流构建语料库后用隐含狄利克雷分配(La-tentDirichletallocation,LDA)训练并发现人群行为标题,再利用词袋法(Wordbag,WB)进行模式分析以检测人群事件。LDA训练和词袋模型的EM近似算法导致该方法的计算量偏大。对于实时监控系统来说，这样的计算量对系统来说无疑是个沉重的负担，更无法应用于大量的摄像头监控系统。并且此方法适用于密度较高的人群场景，当人群密度较小，人群中个体之间的相互作用力较小，这样对人群的异常行为的探测影响非常大。并且，该文章没有考虑到在室内场景中，个体与建筑物的相互作用力，如人与墙的排斥力没有考虑到，其适用范围收到一定的限制。第二种方法更倾向于对场景中个体的追踪[7,8]。Harding[1]提出了一种基于互信息的探测人群异常行为的方法。该方法指出，人群在正常情况下的运动是有序的，场景中人群的位置和方向有关，都是均匀分布的。这样，人群中个体的位置和方向的相关度较高，所以计算得到的互信息值较高。在异常行为下的人群会向安全的地方运动，这样在人群异常行为开始时刻，人群位置分布仍会很平均，但人群中个体会向着安全方向运动。如此一来，人群中个体的位置和方向的相关度较低，所以计算得到的互信息值较低。例如，在室内的酒店中，正常情况下，人群分布均匀，个体的方向分布也均匀，所得的互信息值就相对较高。但假设酒店中失火，此时人群分布仍旧比较均匀，但人群一般都是朝向出口的方向运动，这样计算得到的互信息值就很低。此方法与上述社会力探测方法[3]相比，其计算量显著降低，但是其适用范围更加狭窄，一般使用于具有单一出口的封闭空间场景（如单一逃生出口的室内）。对于那些出口较多或开放式场景中，由于人群逃生运动方向较为发散，此方法的适用性将大受限制。NoTR-2012-06-007©2012ZZU2ZZUCSITSGRESEARCHGROUPTECHNICALREPORT,NO.TR-2012-06-007随着各种商业、文化、体育、娱乐、宗教以及交通运输等方面的迅速发展，越来越多的人群聚集现象出现在大量、复杂场景中。传统人群异常检测方法在当前监控数据量规模庞大，场景复杂且预警时限要求高的现状下进行高效地、智能化地监控已经难于实现。然而，在大多数群体事件中，一般都具备引起人群异常的具体诱因和发源地点，这成为很多人群异常场景的共性所在。为此，揭示异常排斥点在群体事件中的作用和特征，结合异常排斥点与互信息侦测人群异常，将大幅度提高智能监控适用范围，降低相关技术的计算量。本文揭示了异常排斥点的原理和在人群异常检测中的重要作用，定义了异常排斥点的概念，并结合互信息的理论基础提出了一种新的人群异常检测方法-基于异常排斥点的人群异常检测方法。方法将异常排斥点概念引入人群监控中，从而扩展了相应技术的应用范围，提高了监控有效性和及时性。本文第三节描述了本文的具体方法；第四节进行算法的实验分析；最后给出结论和下一步工作。2．方法基于异常排斥点的人群异常检测方法其核心在于异常排斥点的确定以及与互信息的融合。在大部分人群场景中，无论是在室内还是在室外，当出现异常事件如火灾、骚乱等时，每个个体（人）为了躲避这些危险，一定会尽量向远离这些危险的方向运动，这样每个人才能尽量短时间内逃向安全的地方。而这些危险发生的地方定为排斥点。因此，异常排斥点定义如下：定义1：异常排斥点是指在人群异常场景下，所有个体微粒运动反方向区域所覆盖最为集中的位置点（L）。L={p|∨p∈max(I1∩I2∩…∩In-1∩In)}其中，p表示场景中的位置，Ii则表示第i个个体微粒的运动反方向区域。而信息论的核心则在于通过场景中个体运动的有序程度来探测人群的异常行为。互信息是信息论里一种有用的信息度量，它是指两个事件集合之间的相关性。在人群场景中，正常的人群中个体的运动方向是随机的，异常的人群中个体的运动方向是受异常情况的影响，总体的运动趋势是背离危险源运动，是无序的。所以，正常的人群中个体的坐标和运动的方向是无相关性的。反之，异常情况下则有相关性。结合异常排斥点与互信息理论，基于异常排斥点的人群异常检测方法的基本步骤如图1所示。首先将输入视频分为帧，第一步计算每帧中的速度场。在计算速度场中，我们将微粒网格布满每一帧的图像，使用微粒代替场景中的个体，计算每个微粒运动。这样避免了追踪个体的典型问题。第二步，通过统计每个微粒速度的反方向，我们知道人群总体背离危险源运动，从而可以找出可能存在的危险源的位置，本文将危险源称为排斥点。第三步，我们引入信息论，通过计算互信息，得到微粒坐标与微粒背离排斥点运动的无序程度，无序程度高，说明此场景属于异常人群行为。通过以上步骤，可以高效的探测出视频中人群的异常行为。3.1计算速度场将输入视频分为帧，将微粒网格布满每一帧的画面，以微粒的运动代替场景中每一个个体的运动，这样可以避免因人群密度大等复杂场景对于个体跟踪产生的问题，并且可以节省个体跟踪的计算量。计算视频中连续两帧的光流，得到每个微粒的水平和垂直的速度分量。通过两个方向的分量得到每个微粒的速度方向,ijxy。算法1.计算速度场输入：连续两帧的图像。输出：网格中每个微粒的速度方向,ijxy。算法步骤：1.使用Lucas&Kanade算法，计算图像中每一个像素的光流的水平部分velx和垂直部分vely。2.分别累加每个微粒网格中像素光流的水平部分velx和垂直部分vely，得到每个微粒的光学流,ijoxy。3.2,,4*ijijxyoxywinsize//2*winsize是网格宽度。3.2计算排斥点基于排斥点的概念，在异常的人群行为场景中，个体微粒的运动一定呈现从排斥点向一侧或四周发散状（图3描述了排斥点和微粒运动）。基于此，人群异常检测方法能够适用于室内、室外等多个场景（人群的聚集与人群的逃散相类似，本节以人群的逃散为例，在后面的4.1节中，讨论人群聚集情况）。通过微粒的运动方向与排斥点呈现的形状，人群运动的无序性更加明确，为算法的后续计算（人群中个体的位置和相对方向的互信息等）提供了便利。根据异常排斥点的概念，计算排斥点就是计算并确定场景中微粒运动反方向覆盖最多的位置点。为此，排斥点计算的基本思路是：首先计算所有微粒运动方向覆盖的区域，并标记为安全区域。接着，计算所有微粒运动的反方向区域，并标记为危险区域。最后，计算出被标记为危险区域最多、安全区域最少的位置，就是排斥点的位置。图1处理流图视频输入计算速度场第一步计算排斥点第二步计算互信息第三步输出正常视频异常视频ZZUCSITSGRESEARCHGROUPTECHNICALREPORT,NO.TR-2012-06-007计算排斥点的具体算法如图2所示：将图片分成大小均匀的网格，每个网格定义参数,ijr，计算微粒运动的正方向覆盖到的网格，将网格参数,ijr。同样，计算微粒运动的正方向覆盖到的网格，将网格参数,ijr，统计所有的微粒运动方向后，得到被经过最多的网格maxr，将此网格的中心位置坐标定为排斥点的坐标(,)rxy。算法2.得到排斥点输入：网格中每个微粒的速度方向,ijxy。输出：排斥点的坐标(,)rxy。算法步骤：1.将图像划分为网格，构造空数组用来存放每个网格被速度反方向经过的次数krp。2.forall计算正方向覆盖的网格，krp;计算反方向覆盖的网格，krp;endfor;returnargmax(krp);3.将k网格的中心点坐标定为排斥点坐标(,)rxy。为进一步降低排斥点计算量，算法采用基于运动方向的方法计算并获取排斥点。算法以微粒运动方向作为输入参数，而无需其它诸如速度、加速度等参数。因为在人群密集的情况下，个体速度不能反映真实危急的情况，而个体的运动方向其适用范围则更广。实验证明上述算法可以有效反映出场景中人群运动的无序性，拥有足够的精确度侦测出异常点。在正常的人群行为的场景中，排斥点的选取本身尚不能反映人群运动的无序，为此需要进一步计算基于异常排斥点的互信息来确定人群的有序性。3.3计算互信息大量研究文献指出，在正常的情况下，人群的运动是高度有序的，方向和速度的一个特定的个体与他们当前的位置相关。人群的运动受到很小的外界干扰，总体运动方向是跟随自己的意愿运动。在异常情况下，人群的慌乱会打破这种有序性，人群会因为危险改变自己的运动方向，为了尽快的躲避危险源，背离危险源方向运动，这样会呈现