视频中物体检测方法研究

在实际操作中，处理对象是从视频采集卡输入的实时图像序列，为了更好的检测图像中的移动物体，摄像头需要对于背景图进行学习，即获取静止的背景图像信息。对于视频中运动物体的检测主要措施分为两种:宏观检测法以及微观检测法。顾名思义，宏观检测法就是对于获取到的整副图像进行检测，反之，微观检测法是针对图像的ROI(感兴趣区域)进行检测。背景差法，帧间差法以及综合法。背景差分法：利用了获取到的背景的图像以及按照一定的算法或者人为的获取一张没有目标物体的背景图像，两者进行相减。然后通过阈值获得二值图像，根据二值图像从而分割出图像中的目标物体，从而可以达到检测出目标物体的目的。弊端：对于所比较的背景图示需要进行实时更新的，才可以满足一定的检测准确性。帧间差分法：从实时获取的帧图像，进行一帧一帧的图像作差值比较，从而得到的差值图像，由于目标物体不停的运动，这样相连续的帧差值图像就能得到目标物体的运动轨迹，接着，结合图像的分割技术，就能得到移动物体的轮廓。检测运动目标物体的整个过程体系为:捕捉视频流一转换视频格式一预处理图像一提取目标前景物一减小环境对于图像处理的误差一提取运动物体的特征一精确的跟踪运动物体。步骤详解：(I)捕获视频流:利用现场的摄像头获取到实时的视频码流。(2)图像预处理技术:对于捕获到的视频流图像，为了检测和跟踪的效果更为出色，需要进行预处理，滤除图像中的噪点、平滑处理图像，为之后的分析和处理图像作好准备。预处理图像数据:图像平滑处理;图像的填充处理。2.4.1视频图像的平滑滤波处理滤波处理图像能够减小图像中的噪声，在提取目标物体之前去除图像的琐碎的细节，简化之后的算法。其产生的效果:平滑曲线，柔化线与线连接的摩擦等。滤波理论上由线性和非线性的两种方式。前者的算法简单，运算速度也比较快，但是对于处理后的图像会造成图像的不清晰；然而，后者相对于前者造成的图像模糊等问题就可以很好的解决，其在去除信号噪声的同时能够很好的保持信号的局部特征，但是，同时，对于其算法的运算速度就会受到一定的影响。①邻域平均滤波这个方法的原理是由一个NxN大小的模板S，在这个范围对于图像进行滑动处理，假设模板的中点象素点的灰度表示为I（x,y），那么经过邻域平均滤波方法的滤波后，此点的像素值变化成:从式可得:邻域滤波的在减小图像噪声的同时，图像将会变得模糊，而且当所需要滑动处理的平面越大，消除噪声的效果也会越显著，但是相对的，图像的质量就会下降。②加权平均滤波此方法是上述方法的优化改进算法。对于同一大小的模板S，对于其中不同位置的像素值运用不同的数值，规则是离象素点的中心越近的话，其系数就越大，相应的，远离中心像素的位置那么其系数就越小。所得的结果就是，平滑了图像，而边沿和细节都不会有明显的模糊痕迹。中值滤波此方法属于非线性的滤波，其是基于邻域运算的，其是利用了模板中的像素灰度的由降序排列后，便于查找出其序列的中间值，并且输出其中间值。假设，模板S的大小是MxN，那么图像在某点的灰度值是I（x,y），经过此方法滤波后的结果是:Gauss低通滤波此方法属于非线性的滤波。其特点:具有使低频信一号较易通过并且抑制较高频率信号的作用。高斯滤波的方程表示:式中，H(u)表示频率域;表示高斯曲线标准差:表示经过傅立叶变换后的某点距离远点的距离。当取。=时，即取到截止频率，当滤波器的频率域下降到其最大值0.607时，利用这种方法滤波后得到的图像，能够增强图像的细节部分，在保证全部图像清晰的情况下，在局部去除不需要的噪声。2.4.2图像的腐蚀、填充本论文中对于目标物体的检测和跟踪，为了确保其精确性，在对于帧图像处理时期运用了图像形态学中的腐蚀膨胀以及目标物体的检测边缘后的填充。1)图像的腐蚀膨胀。由于各个摄像机的性能问题以及其使用的不同的环境因素，使得帧图像中会存在许多杂乱的小点，而这些点其实大部分是噪音和干扰。那么利用了形态学中的腐蚀算法是为了将这些不需要的小噪点去除。而膨胀算法目的则是将属于某个球的像素点尽可能的找到，通过图像的处理得到较为完整的球点。借此，通过坐标值求均值的方法能较为精准求取小球的球心。综上，腐蚀膨胀的算法的目的是填充遗漏的小球内部的空隙，寻求更为完整的小球;去掉多余不需要的杂乱的噪点2)图象的填充。检测出目标物体后，利用边缘检测只能检测出边缘，为了能更好的辨识出物体，利用形态学的漫水填充算法。(3)初始化以及更新背景图像:对于图像检测的时候，由于需要分割前景物体和背景，所以对于背景都需要先进行初始化，或者对于背景图实时进行更新。在做图像差分之前，首先，需要确定一幅背景图，将其初始化，才能在之后的检测中和当前实时的背景图进行差分计算，这样才能得到良好效果的前景图像。通过指定法确定第一帧背景图像，即认为的指定第一张图片作为背景图像，整个检测过程，通过算法实时更新背景图像。整个图像的初始化流程整体简述:判断读取的是否为第一帧图像，若是则需要初始化;(2)对于OpenCV处理图像的格式需要先转换为单通道灰度值;(3)将实时采集到的图像进行高斯的平滑滤波处理，去除噪点后可以得到的图像象素点为I(x,y}:cvSmooth(pFrameMat,pFrameMat,CVGAUSSIAN,3,0,0);(高斯平滑处理图像函数格式)。（4）对于图像进一步的去除噪点处理，可以使用形态学滤波：图像腐蚀cvErode(pFrImg,pFrImg,0,1);图像膨胀cvDilate(pFrImg,pFrlmg,fl,1)第一阶段:背景初始化完成后，接着就是实时更新背景图像。OpenCV视觉库中的数学函数:cvRunningAvg，用于实时更新背景图像。其函数的原型为:voidcvRunningAvg(constCvArr*image,CvArr*acc,doublealpha,constCvArr*mas1}NULL)。其中函数参数的表示意义:image:表示输入的图像;acc表示输入图像的累积;alpha:表示帧图像的权重;mask表示可选的运算。(实际应用，mask=null)函数中出现了图像的累积。对于背景图像利用累积差分的功态形成，(4)从图像中提取目标物体:首先对于采集到的图像进行分割，接着将前景物体和背景分离出来，最后阈值化得到运动物体的二值化图像。第一阶段:二值化图像，然后分割。第二阶段:对于图像的分析处理前，进行图像的填充，保证切割前景图的完整。整个提取前景物的过程示意图如下图2.5。分析处理完图像之后，就是区分前景图像和背景图像，从复杂的背景图像中提取出目标的移动物体，在图像处理中，将这种技术称之为，图像分割技术。实际应用中较为广泛的是:阈值分割、边缘检测、区域生长2.5.1边缘检测边缘检测中的边缘是指目标物体，即前景物和背景图的交界处，这些部分往往是整幅图像中变化差异最大的地方:图像的灰度值和亮度都会产生跳变，数学算法模型中就会表现出一阶导的不连续行，由此原因，其实利用图像的梯度函数就可以求得图像的边缘，在实际应用中，被广泛应用的有Sobel算子;Prewitt算子;Roberts算子;Canny算子。2.5.2阈值二值化的分割(5)调试并且优化程序:对于建立好的项目进行测试，根据所得出的效果，改变阈值，加入更多的算法提高检测目标物体的精准性，最后，根据环境的不同和光照的变化，对于不同的场景，都需要调试阈值等条件，使检测和跟踪的性能效果较好。目标运动物体的检测方法1、连续帧间差分法连续帧间的差分法的原理是基于每个像素的运动检测方法。其借由对视频中的图像序列中相邻的每帧的图像进行差分运算,这样就可以捕获到运动物体的轮廓。因为帧间的差分方法是利用实时的每帧的图像进行比较从而得到运动物体的轮廓，所以此方法对于环境中的动态物体具有较好的自适应的能力，但是对一于运动的物体的象素点的特征却很难完整的捕获，造成了运动物体的内部存在空洞，分离前景物和背景就会造成一定量的误差。当监控场景中出现异常物体运动时，帧与帧之间会出现较为明显的差别，两帧相减，得到两帧图像亮度差的绝对值，判断它是否大于阈值来分析视频或图像序列的运动特性，确定图像序列中有无物体运动。图像序列逐帧的差分，相当于对图像序列进行了时域下的高通滤波。(2)背景差分法背景差分法的原理是实时输入的图像和背景进行比较，才能从复杂背景中分离运动物体。首先，确足一张背景图像，然后对采集到的图像与之进行差分的计算，开辟一个新的存储空间存放差分的结果图。差分图像中，某点的像素值小于等于设定的阈值，认为视频中的图像的这个像素点归为背景区域;相对的，大于此阈值，就此像素点归为运动的目标区域。根据这个原理可以看出:运动物体的像素必须和背景像素的灰度值有一定的差别。背景差分法检测运动目标速度快，检测准确，易于实现，其关键是背景图像的获取。在实际应用中，静止背景是不易直接获得的，同时，由于背景图像的动态变化，需要通过视频序列的帧间信息来估计和恢复背景，即背景重建，所以要选择性的更新背景。(3)光流法光流的概念是:图像中模型运动的速度，拟定其一种2D的瞬时速度场。其实2D速度矢量就是可见的3D速度矢量在平面上的一个投影，给图像中的每个像素一个速度的矢量，从而形成一个图像的运动场，每时每刻图像上的点都与3D立体物体上的点一一对应，即，投影关系就是2D转换到3D的两者间的关系，根据速度矢量的特征，从而分析动态情况在整个图像中，光流矢量其实是连续变化的，一点发现速度矢量出现了不连续，有断裂的情况，那么就可以得出运动物体的位置。给图像中的每一个像素点赋予一个速度矢量，这就形成了一个图像运动场，在运动的一个特定时刻，图像上的点与三维物体上的点一一对应，这种对应关系可由投影关系得到，根据各个像素点的速度矢量特征，可以对图像进行动态分析。如果图像中没有运动物体，则光流矢量在整个图像区域是连续变化的。当图像中有运动物体时，目标和图像背景存在相对运动，运动物体所形成的速度矢量必然和邻域背景速度矢量不同，从而检测出运动物体及位置。采用光流法进行运动物体检测的问题主要在于大多数光流法计算耗时，实时性和实用性都较差。但是光流法的优点在于光流不仅携带了运动物体的运动信息，而且还携带了有关景物三维结构的丰富信息，它能够在不知道场景的任何信息的情况下，检测出运动对象。