监控图像中的目标识别、分类和跟踪

By尚海天监控图像中的目标识别、分类和跟踪索引运动目标检测——定义方法——帧差法、背景减除法运动目标跟踪——流程挑战性跟踪算法——基于区域、基于目标顶端运动目标识别——分类——基于形状分类、基于运动特征分类行为识别——汽车超速识别逆向运动识别行人徘徊识别运动目标检测：运动目标的检测也可以说成是检测视频图像序列中被监视的场景像素是否存在变化,如果一个图像序列中像素存在明显变化,说明有运动目标的存在。如果监测的场景中有目标存在,将该运动目标尽可能完整的从视频序列中分割出来,为接下来的目标跟踪做好准备。运动目标区域的有效分割对于目标检测、跟踪、分类和行为识别等后期处理是非常重要的,因为以后的处理过程仅仅考虑图像中运动区域的像素。运动目标检测算法的设计具有较大的挑战性,目前还没有一种算法能够做到对每一个监控场景都适合,因此,我们只有针对不同的场景和应用设计不同的算法。运动目标检测的一般方法——帧差法帧差法又称时域差分法。它通过在极短的时间内比较视频图像序列中前后N帧（N必须大于或者等于二,N的具体值在不同场合有所不同）的图像变化判断是否存在运动目标,一般通过对应像素点的灰度差和颜色分类来比较。如果发现两帧之间有差别值大于某个设定的阀值δ,说明有运动目标产生。提取有差别区域的像素点,将这些像素点用黑色像素来表示,代表运动目标,对于没有差别的像素,用白色像素点来表示,输出的图像就是二值化图。帧差法识别物体运动目标检测的一般方法——背景减除法(1)建立背景模型室内——将不含前景图的背景图像作为差分的基准室外——自适应背景减除法(2)获取运动目标像素区域将当前帧和背景模型进行差分比较,可知,当前帧中和背景模型中像素不同的区域就是运动目标在屏幕中占据的区域,获取运动目标像素区域。可将相同部分填充为白色,不同区域也就是运动目标区域填充为黑色,输出的是二值化。(3)消除噪声使用合适去噪算法，如连通区域法、基于HSV特征的阴影消除方法(4)对目标像素区域进行形态学滤波处理输出的运动目标前景图的边缘可能不够光滑,内部有洞孔,为了防止这些情况发生,我们对输出的前景图进行形态学滤波处理,使边缘光滑、消除洞孔。背景减除法识别物体运动目标跟踪是在连续的图像帧间建立联系,其等价于在连续的图像帧间创建基于位置、速度、形状、纹理、色彩等有关特征的对应匹配问题.运动目标跟踪:第一步:运动目标检测,将运动目标(前景图)从中分割,并对前景图进行形态学处理、去阴影处理。第二步:提取运动目标的特征。运动目标的特征在不同的跟踪算法中有不同的定义。第三步:建立匹配模板。匹配模板是指一个数据结构,这个数据结构包含了各个目标对应的特征值。。第四步:预测下一帧的位置。使用合理的预测模型预测每个运动目标在下一帧可能出现的位置,从而缩小目标在下一时刻的搜索范围。第五步:使用匹配模板进行匹配搜索,如果匹配正确,回到第三步,实时更新匹配模板中的数据。所谓的匹配通俗来说是指,某个位置对应于哪个运动目标。第六步:如果匹配不正确,那么可能运动目标遇到了遮挡等特殊情况,需要进行特殊的处理。运动目标跟踪的挑战性：1.模板匹配的困难由于所有的目标的运动特性是非线性的,其速度和方向都在随时发生改变。即使目标的速度和方向不变,它与摄像机的距离也在变化,从而引入很强的非线性因素。导致一个已知目标与多个运动检测区域都匹配或多个目标与一个运动检测区域匹配。2.特征提取的困难运动目标,都是目标的三维运动到二维平面上的映射,也就是说,是三维信息在二维平面上映射为二维信息,在这个映射过程中不仅目标外形可能会改变,而且有些特征信息会丢失,我们所获得的二维特征信息,要想很好的反映三维目标,其本身就有很多问题。3.算法效率的问题如果算法设计不考虑效率问题,那么这样的算法只有理论意义,对于算法的产品化来说毫无意义。常用跟踪算法——基于区域的多目标跟踪算法将包含运动目标的这一小块区域作为研究目标,将运动目标检测出来的前景图从整个图像中分割出来,将这块区域和上一帧的区域做匹配,返回当前帧中与上一帧区域匹配成功的坐标值。第一步:从检测出来的运动目标结果中提取运动区域初始特征值。第二步:建立匹配模板。第三步:预测模板映射表中区域的新位置,估计运动参数。第四步:匹配函数进行匹配计算。第五步:更新映射表(匹配模板更新)。以上五个步骤不断的循环进行,直到目标消失在摄像机监视范围之内。常用跟踪算法——基于目标顶端的多目标跟踪算法是一种理想情况下基于区域的多目标跟踪算法,其主要思想是将某个区域无限缩小,最后集中在一个点上。这样做的好处在于缩小了目标区域,有助于降低匹配的难度,因为所有的匹配只是针对一个点而已,另外获取顶点比获取其他特征相对容易。运动目标识别运动目标的识别分为两个步骤。目标的分类和运动目标的行为识别,前者判断该运动目标是什么;后者判断该运动目标在干什么。行为识别又分为简单行为识别和复杂行为识别。简单行为识别只涉及到目标的大体运动，复杂行为识别要涉及到目标的细节运动。目前,简单行为识别具有一些可行的方案,对于复杂行为识别来说,还处于探索研究阶段。运动目标分类——基本方法基于目标形状的分类：1.计算运动目标区域的面积2.计算机运动目标的宽高比基于目标运动特征的分类:判断运动目标的运动特征是刚性的还是周期性的多特征融合的目标分类方法(1)确定匹配模型根据不同的监控场景确定系统运动目标可能出现的目标角色。(2)获取运动目标的特征根据跟踪方法抽取运动目标区域,计算该区域的面积和宽高,目标的运动速度等特征。(3)将实时的特征信息和模板进行匹配使用这些特征和建立的模型进行匹配,如果三者都匹配成功,可以基本确定运动目标是什么。目标检测跟踪分类运动目标行为识别——基本方法(1)建立行为特征模型行为建模是在运动目标检测之前建立的,它必须结合目标分类模型建立。(2)检测行为特征在跟踪和分类的步骤中,可以确定简单行为的特征,如,目标运动的速度、运动方向等。有一些特征需要在跟踪这一步骤中获取,因此,需要在运动目标跟踪的过程中维护一个特征表。(3)特征比较获取行为特征表后,和行为特征模型进行比较,如果在某项行为的范围内,可以确定目标在干什么。目标行为识别汽车超速识别第一步:要判断汽车是否超速只需要速度这一特征即可。由于在运动目标跟踪表中,维护了一个目标实时运动的速度值。因此,对超速的识别并不需要建立行为特征表,只需使用目标跟踪表中的速度值即可。第二步:根据多特征融合的目标分类方法确定出运动目标是汽车。第三步:在目标跟踪表中实时获取汽车的行驶速度。第四步:将获取的实时速度和限制速度进行比较,如果大于设定值,说明汽车超速。逆向运动识别第一步:建立行驶方向。第二步:根据多特征融合的目标分类方法确定出运动目标是汽车。第三步:计算汽车的实际行驶方向。第四步:将实际测量值和特征表中的值进行比较,做出判断。行人徘徊识别对于一些重要场所,如银行,如果有人在附近一直徘徊,那么这可以视为一个异常事件,需要引起高度重视。要识别出行人的徘徊这一行为,同样要建立合理的行为特征表。我们可以定义行人在某一区域运动方向不定,并且运动速度小于某个阀值来确定行人的徘徊行为。具体步骤如下:第一步:设定速度阀值σ。σ为一个经验值,需要合理选择。并且固定区域,需要行人长时间在该区域为前提。第二步:根据多特征融合的目标分类方法确定出运动目标是行人。第三步:每隔一定时间Δt,从运动目标跟踪表中获取实时速度V,并且判断行人是否在预先设定的区域内,再确定运动目标的方向。第四步:比较实时测量值和预定值,识别行人的徘徊行为特征。如果行人运动的速度小于预先设定的阀值,并且运动方向不定。可确定该行人徘徊的特征。