基于监控视频的前景目标提取

参赛密码（由组委会填写）“华为杯”第十四届中国研究生数学建模竞赛学校中南大学参赛队号队员姓名1.2.3.1参赛密码（由组委会填写）“华为杯”第十四届中国研究生数学建模竞赛题目基于监控视频的前景目标提取摘要：本文以概率模型为基础，研究了监控视频的前景目标提取问题（监控视频像素的分类问题）。在合理的假设下，针对不同的应用场景分别建模，使用MATLAB、C++语言和opencv库进行编程，较好的提取到了前景目标。利用提取到的前景目标，构造运动轨迹，通过提取运动形态特征，进行异常事件的自动判断。针对问题一，我们采用基于速率TOP10的模型进行背景提取，然后建立基于改进高斯混合模型（GMM）的前景目标提取模型。以速率TOP10模型提取的背景作为GMM初值，加快了前景提取速度并提高了前景目标提取的准确率。针对问题二，考虑到背景的不断变化，我们采用改进的Vibe算法进行前景目标提取，既可以快速消除“鬼影”，又可以对错误分类的像素点进行改正，提高了模型的鲁棒性。针对问题三，我们利用摄像机抖动时背景运动信息与真实运动目标信息的差异，建立背景运动信息分布模型，采用“先进先出”的更新机制，对模型进行更新，从而实现相机抖动状况下对前景目标的提取。针对问题四，我们首先将附件中提供的视频分为两类（静态背景和动态背景），对不同类型分别采用之前建立的改进模型进行处理，得到较为满意的前景目标分割结果，并将前景目标的帧号输出。针对问题五，我们首先利用单摄像机进行前景提取，再根据摄像机的内外参数，得出每两个摄像机之间的变化矩阵，同时利用多摄像机提供的冗余信息，实2现前景目标在重叠区域的交接，从而确定前景目标。针对问题六，根据提取到的前景目标，构建其运动形态特征，根据目标的线性变化和规律性变化的周期性特征对三类异常行为进行自动判断。关键词：概率模型，背景提取，混合高斯模型（GMM），改进Vibe算法3目录1.问题重述...............................................................42.模型假设...............................................................53.基本符号说明...........................................................54.问题一（静态背景下的前景提取）..........................................64.1问题分析..............................................................64.2模型建立与求解........................................................64.2.1基于速率模型的TOP10的背景提取模型...................................64.2.2基于改进高斯混合模型的前景目标提取模型...............................85.问题二（动态背景下的前景提取）.........................................105.1问题分析.............................................................105.2模型建立与求解.......................................................105.2.1Vibe算法...........................................................105.2.2改进的Vibe算法.....................................................115.3求解结果及分析.......................................................126.问题三摄像机抖动情况下对前景目标的有效提取............................136.1问题分析.............................................................136.2模型建立与求解........................................................136.3求解结果及分析........................................................157.问题四提取包含显著前景目标的帧号......................................167.1问题分析.............................................................167.2求解结果及分析........................................................168.问题五：多角度拍摄视频前景目标提取.....................................218.1问题分析：...........................................................218.2模型建立与求解.......................................................218.3实验结果.............................................................229.问题六自动判断异常事件................................................229.1问题分析：............................................................229.2模型建立：............................................................2210、模型评价与总结.......................................................2311、参考文献.............................................................2312、附录.................................................................2441.问题重述近年来，中国各省市县乡为了应对安防等领域存在的问题，其摄像头数目呈现井喷式增长，大量企业、部门甚至实现了监控视频的全方位覆盖。目前，监控视频信息的自动处理与预测在信息科学、计算机视觉、机器学习、模式识别等多个领域中受到极大的关注。而如何有效、快速抽取出监控视频中的前景目标信息，是其中非常重要而基础的问题。这一问题的难度在于，需要有效分离出移动前景目标的视频往往具有复杂、多变、动态的背景。这一技术往往能够对一般的视频处理任务提供有效的辅助，其已被广泛应用于视频目标追踪，城市交通检测，长时场景监测，视频动作捕捉，视频压缩等应用中。题目的监控视频主要由固定位置监控摄像头拍摄，要解决的问题为提取视频前景目标。请研究生通过设计有效的模型与方法，自动从视频中分离前景目标。问题一：对一个不包含动态背景、摄像头稳定拍摄时间大约5秒的监控视频，构造提取前景目标（如人、车、动物等）的数学模型，并对该模型设计有效的求解方法，从而实现类似图1的应用效果。（附件2提供了一些符合此类特征的监控视频）图1左图：原视频帧；右图：分离出的前景目标问题二：对包含动态背景信息的监控视频（如图2所示），设计有效的前景目标提取方案。（附件2中提供了一些符合此类特征的典型监控视频）图2几种典型的动态视频背景，：树叶摇动，水波动，喷泉变化，窗帘晃动问题三：监控视频中，当监控摄像头发生晃动或偏移时，视频也会发生短暂的抖动现象（该类视频变换在短时间内可近似视为一种线性仿射变换，如旋转、平移、尺度变化等）。对这种类型的视频，如何有效地提取前景目标？问题四：在附件3中提供了8组视频（avi文件与mat文件内容相同）。请利用你们所构造的建模方法，从每组视频中选出包含显著前景目标的视频帧标号，并将其在建模论文正文中独立成段表示。务须注明前景目标是出现于哪一个视频（如Campus视频）的哪些帧（如241-250，421-432帧）。问题五：5如何通过从不同角度同时拍摄的近似同一地点的多个监控视频中（如图3所示）有效检测和提取视频前景目标？请充分考虑并利用多个角度视频的前景之间（或背景之间）相关性信息图3在室内同一时间从不同角度拍摄同一地点获得的视频帧问题六：利用所获取前景目标信息，能否自动判断监控视频中有无人群短时聚集、人群惊慌逃散、群体规律性变化（如跳舞、列队排练等）、物体爆炸、建筑物倒塌等异常事件？可考虑的特征信息包括前景目标奔跑的线性变化形态特征、前景规律性变化的周期性特征等。尝试对更多的异常事件类型，设计相应的事件检测方案。（请从网络下载包含各种事件的监控视频进行算法验证）2.模型假设（1）假设像素值从背景变到前景（前景变到背景）时有一个较大范围的跳变，而当像素恒处于背景或前景时则变化不大。（2）假设物体在视频中时刻在运动。（3）假设物体进出该像素点的次数不超过5次。（4）假设前景运动物体在整个图片占据面积不超过1/3。（5）假设前景后景之间的灰度值相差较大。3.基本符号说明基本符号说明ix第i帧图片的像素矩阵MVibe模型匹配标志tPl背景运动信息分布概率,xy像素点的坐标(,,)Ixyn第n帧图片,xy处的像素值模型更新率64.问题一（静态背景下的前景提取）4.1问题分析问题一要求对一个不包含动态背景、摄像头稳定拍摄时间大约5秒的监控视频，构造提取前景目标（如人、车、动物等）的数学模型，并对该模型设计有效的求解方法。首先，对于视频处理问题可以看做是对每一帧图片做处理的问题，而灰度图（黑白图片）可以看做是一个矩阵whixR，其中w为图像的宽，h为图像的高，矩阵中每个元素为0~255之间的某个整数值。那么对视频的处理就可以转化为对矩阵集合123=,,,...,tXxxxx的处理，其中t表示视频的帧数。对于静态背景的前景目标提取问题，实际上是判断矩阵ix中元素是属于前景还是背景的问题，即二分类问题。4.2模型建立与求解对于问题一，我们分两步进行建模求解。（1）提出基于速率TOP10背景提取方法进行背景提取（2）将提取的背景作为高斯混合模型的初值，然后不断更新背景来进行前景目标的提取。4.2.1基于速率模型的TOP10的背景提取模型考虑视频中t帧图片中相同位置的像素点，其值的变化程度包含着该像素位置前背景变化的信息。理想情况下，假设物体在视频中时刻在运动，若该像素值一直恒定，表示该像素为背景，若该像素在第i帧有变化，则表示在第i帧中该像素变为前景。如图4所示，可以认为在第40帧以后，该像素点由背景变为了前景。然而实际情况中并不是这样，即使是静态背景，其像素点的值也会扰动，如图5所示。我们建立一种模型，可以从扰动点的变化过程中提取出背景点。图4理想状态下背景前景变化示意图图5实际状态下背景前景变化示意图通过以上分析，我们建立了一种速率模型，并考虑以下两种情况：情况一：若刚开始该像素点属于背景，则当前景运动物体经过该像素点时会产生一个较大的变化，如图6所示。对,txij在时间上求导，再取绝对值则可以得到该点的变化情况，对图6中的像素点求导，得到图7，图7反映了像素点在7时间上的变化情况，类比于物理意义上的速率，当出现速率峰的时候，我们