视频中运动目标检测技术

运动目标检测技术内部讨论资料@张明军研究意义•视频图像中包含了太多的信息量，不利于计算机的处理。但是，一般来说，对其中运动的物体会更感兴趣。而对静止的背景图像，一般来说，对它们的关注程度少得多，往往也不包含主要的信息。运动目标检测的常见方法•帧差法•背景减除法•光流法帧差法•基本原理–主要是考虑到运动物体在相邻的帧之间有位移，而背景图像在相邻的帧之间的位置是相对固定的，如果用相邻的帧进行点对点的相减，那么运动物体区域的差值会很大，背景部分的差值接近于0(理想状态下是0)帧差法•二帧差分数学模型∆𝐼𝑡𝑥，𝑦=𝐼𝑡𝑥，𝑦−𝐼𝑡−1𝑥，𝑦𝐷𝑡𝑥，𝑦=1∆𝐼𝑡𝑥，𝑦≥𝑇0∆𝐼𝑡𝑥，𝑦𝑇运动目标前一帧后一帧差分图帧差法•存在的问题–能够检测到运动目标，但检测到的目标不完整，且在目标内部存在“空洞”，位置也不够精确，在运动物体的运动方向上被拉伸了，检测出来的目标区域要比实际的物体大一些。帧差法•二帧差分法的改进：三帧差分法–提取连续三帧图像来分别计算相邻两帧图像的差分图像，然后又将所得到的两个差分图像进行对应像素的相与操作，从而提取出运动目标。∆𝐼𝑡𝑥，𝑦=𝐼𝑡𝑥，𝑦−𝐼𝑡−1𝑥，𝑦∧𝐼𝑡+1𝑥，𝑦−𝐼𝑡𝑥，𝑦𝐷𝑡𝑥，𝑦=1∆𝐼𝑡𝑥，𝑦≥𝑇0∆𝐼𝑡𝑥，𝑦𝑇前一帧中一帧后一帧差分差分与操作帧差法•结论–帧差法简单，具有很强的适应性；–提取出的运动目标区域不够完整(有空洞)；–帧差法一般用来做目标检测的预处理，结合其它的方法共同完成目标检测。背景减除法•基本原理–选取一个图像或多个图像的综合作为场景的背景图像，检测时，用当前帧和存储的背景图像差分，经过对差分结果二值化，找到运动目标区域。背景减除法•背景图像的获取方法–当场景中没有运动目标时，拍摄场景图像作为背景图像。•在背景场景按季节、时间有规律变化的密闭环境下，检测效果很好。•但是，在开放环境下，例如马路、车站、银行门口等场景，存在许多随机的变化，这种简单的方法往往不行。•因此，需要背景自动更新背景减除法•背景自动更新的基本思想–定义𝐼𝑡𝑥，𝑦为图像序列中t时刻的图像，𝐵𝑡𝑥，𝑦为t时刻的背景图像•则求差分图为：•则背景更新为(α为背景更新速率)：∆𝐼𝑡𝑥，𝑦=𝐼𝑡𝑥，𝑦−𝐵𝑡𝑥，𝑦𝐵𝑡+1𝑥，𝑦=1−α𝐵𝑡𝑥，𝑦+α𝐼𝑡𝑥，𝑦背景减除法•背景图像的获取方法之二：自动建立–从理论上看，只要背景不变化，背景减除法就能够得到理想的运动目标检测结果。–但是，由于存在光照变化、摄像机抖动、云彩飘动和树木摇动等影响，背景都会随着时间有所变化，所以定义（建立）背景和更新背景是很有必要，也是难点。背景减除法•常见的背景建立和更新方法：–中值(或均值)滤波的方法–𝐖𝟒方法–基于码本的模型–……–混合高斯建模法光流法•主要思想–光流是一个空间运动的物体在被观测面上的像素运动的瞬时速度场，是场景中可见点的三维速度矢量在成像平面上的投影，是一种二维运动估算的方法。对于此方法，很多资料显示该方法耗费资源，复杂度高，实用价值不大。因此，在此不深入学习，不介绍其数学模型。目标检测典型算法比较算法名称获得的信息算法复杂度存在的难度适用范围二帧差分法目标边界较小空洞(1)摄像头同定场景；(2)实时性要求高；(3)对目标信息要求不高；三帧差分法目标边界、位置小空洞、滞后性(1)摄像头同定场景；(2)实时性要求高；(3)对目标信息要求不太高；简单背景减除法目标位置、大小、形状等中背景选取机制(1)摄像头同定场景；(2)对目标信息要求高；(3)背景已知或容易获取；(4)受光照、光线、天气等影响小高斯混合建模法目标位置、大小、形状等较大(1)背景更新机制；(2)阴影问题(1)摄像头同定场景；(2)实时性要求不高；(3)对目标信息要求高；(4)容易受光照、光线、天气等影响光流法目标位置、大小、形状等大(1)复杂度高；(2)难以满足实时性(1)摄像头固定和运动皆可；(2)实时性要求不高；(3)需要有特殊的硬件支持目标检测典型算法优缺点算法名称优点缺点二帧差分法(1)对运动目标敏感；(2)计算简单；(3)检测速度快、实时性高、样易实现。(1)当光线剧烈变化时，该算法完全失效；(2)对移动缓慢或与背景颜色一致的运动不能完全提取出相关特征像素点；(3)相邻两帧中的目标重叠部分不能被检测出来，检测出的目标区域不完全，在运动物体内部容易产生“空洞”现象。(4)检测出的运动0标的位置不精确，比实际的物体大，在运动方向上被拉伸。三帧差分法(1)一定程度上克服了二帧差分法中的空洞现象；(2)运动目标的定位比二帧差分法更准确；(3)算法简单，实时性高、运算量小。(1)检测出的运动目标轮廓容易受到目标运动速度的影响，在帧间时间间隔很小或运动目标速度较慢时，无法检测出运动目标的重叠区域，内部形成空洞；(2)因为提取了视频流中的三顿做差分处理，所以提取的运动目标轮廓有一帧时间的滞后性。简单背景减除法(1)算法简单，易于实现；(2)在背景图像已知的情况下，检测出的运动目标区域完整，且位置精确，实时性好。(1)对光照变化、背景抖动等变化极为敏感；(2)背景图像的选取显得特别重要，如果选择的背景不能很好的反映实际场景，将会严重影响目标的检测。高斯混合建模法(1)能够在一定程度上克服光照变化等背景扰动；(2)能够检测出完整的运动目标且位置精确，鲁棒性好。(1)有一定的算法复杂度；(2)对广泛存在的阴影敏感；(3)对背景模型更新机制要求很高。光流法(1)光流携带了大量的运动信息；(2)支持摄像机运动时的运动目标检测；(3)在不知道场景任何先验知识的情况下，能较好地检测出运动目标区域。(1)在没有特殊加速硬件支持的条件下，计算非常耗时，算法复杂度高，实时性和实用性较差；(2)算法涉及到偏微分，没有运用目标大小和亮度等控制参数，因此抗噪性能比较差。谢谢•请完成相关实验。