复杂环境下前景目标检测

1视频中复杂环境下的前景目标检测李丽媛黄伟民IreneY.H.GuQiTian通信研究院信号与系统学院通信研究院摘要：本文提出了一个新颖的方法用以检测和分割一个视频的前景目标，该视频既包含固定和移动背景目标，而且还经历经过循序渐进和突如其来的“一次性”的变化。制定了一个贝叶斯决策规则从选定的特征向量中为前景和背景分类。根据这一规则，通过选择一个适当的特征向量，不同种类的背景目标从前景目标中分离出来。静止的背景对象用颜色特征来表述，运动的背景对象则用颜色公升功能来描述。前景对象的提取是通过融合静止和运动像素的分类结果。循序渐进和突如其来的一次性的背景变化的学习策略，是为了适应视频中背景的各种的改变而提出来的。学习过程的收敛性得到证明，也得出一个公式来选择合适的学习速度。在许多复杂的背景中提取前景目标的实验已经的到满意的效果，其中复杂的背景包括摇摆的树枝、闪烁的屏幕、水面、移动的自动扶梯、开门和关门，开灯关灯和移动物体的阴影等。分类和主题描述1.4图像处理和计算机视觉：分割—像素分类概述算法关键字2视频处理、背景建模、前景分割、视频监控、贝叶斯模型、颜色同现（共生）引言对一个视频流进行前景目标的检测和分割是视频处理、理解和基于对象的视频编码（例如：MPEG4）的基本任务之一，从图像序列中提取前景背景的一个常用方法是通过背景抑制或背景减法和它的变体[3,11,12].当从固定式摄影机获取视频时，这些技术已经被广泛的用于实时视频处理中。然而，这项任务就变得很困难当背景中包含阴影和移动对象时，例如：摇摆的树枝、移动的自动扶梯和经历不同的变化，如光照变化和移动对象。已经提出许多方法用于从视频序列中的实时前景目标检测。然而这些方法中的大多数都是在假设的前提下提出来的，这其中假设背景中是由颜色或者强度随着时间推移改变的静止对象组成的。最简单的方法是通过实时视频用一个无限脉冲响应(IIR)或者一个卡尔曼滤波器[5,6]平滑背景像素的颜色。一个更好的方法来容忍视频中的背景变化是采用一个高斯函数--描述属于一个稳定的背景目标中的每个像素的颜色分布，高斯模型的参数递归更新，以跟踪视频中的逐渐变化的背景。最近，适用于各种背景情况下的其他几种方法已经被提出。其中，混合高斯模型[11，9]被认为是一种有前途的方法。在混合高斯模型中，来自一个背景目标的像素的颜色由多个高斯分布描述。良好的前景目标检测结果通过将MOG应用到室外场景得到报道，拥有两个以3上高斯函数的MOG可以降低前景目标检测[1,2]的性能。[3]中的背景变化模型是一个广义的高斯模型。在[12]中，Toyama等人采用线性威纳滤波器学习和预测视频中每一个背景像素中的颜色变化，线性预测值可以模拟固定和移动的背景目标。这种方法的缺点是很难模拟非周期性的背景变化。这些方法可以用于含各种背景变化的实时视频，然后，他们仍然很难处理运动背景目标的一系列变化，例如：移动的背景对象和不同的阴影。从运动的背景目标中分离前景目标的另一种方法是早短时间内利用光流的一致性[13,4]。据报道，这些方法可以检测包含非平稳植被的户外场景的前景目标。这种技术的难点是在较少纹理特征的区域和图像边界的不连续处[13]计算光流场是一个不适定问题。在我们以前的研究[7]中，一种方法已经被提出，它采用颜色共生描述运动的背景。初步研究结果表明，与采用之前的方法相比，特征能够更有效的模拟背景中的动态部分。然而，他不能从视频中突如其来的一次性环境变化中恢复背景。因此，一个通用背景模型,可以把不同的功能结合起来以满足复杂的环境需求。在本文中，我们提出了一种新颖的方法，在贝叶斯决策规则的框架下，从一个复杂的实时视频中提取前景目标。阐述了从一班特征向量中为前景和背景分类的贝叶斯决策规则。同时，建立一个有效的学习和维护不同的特征向量的统计信息的数据结构。在此基础上，两种特征类型被用于模拟包含固定和移动物体的复杂背景。统计数据中最重要的颜色用来描述背景中的静止部分，与最重要的颜色共生的颜4色描述背景中的移动目标。前景目标是通过融合对静止点和运动点的检测结果提取的.与此同时，提出了用于循序渐进和一次性背景变化的学习策略。与我们之前在[7]中的研究相比，介绍了几种新的扩展。首先，贝叶斯决策规则已经扩展到一般特征.在此框架下，可以集成多个特性对背景和前景分类。因此，该方法不仅可以模拟运动的背景对象，还可以应对突然地“一次性”变化和固定背景下的多种状态。其次，给出了学习过程收敛性的数学证明。最后，记录了复杂情况下的广泛的实验和一些定量评估的报告。测试了许多包含复杂背景目标的视频，而就我们的知识而言，在这项工作之前,现有方法还不能在这样复杂的情况下完成测试。论文的其他部分组织如下：在第2节中，我们首先给出一个视频中背景场景和背景变化的一个说名；然后，我们利用基于贝叶斯理论的一个一般特征向量制定背景和前景的分类问题。建立一个学习和维护不同背景的特征向量的统计信息的数据结构，它还描述了如何为一个复杂的背景选择特性。第3节描述了基于背景建模和贝叶斯分类的前景目标分割算法，它包含四部分：变化检测、背景和前景分类、前景目标分割和背景学习和维持。在各种复杂视频上的实验结果和定量评价在第4节中呈现，本文在的结论在第5节。2．背景和前景的贝叶斯分类2.1问题说明用于视频处理的一般目的，背景通常被认为是场景中存在的人们不感兴趣的对象，如人物对象和行驶中的车辆。背景通常由场景中5保持被动的非生命对象组成。在一个关于一般环境的视频中，背景可以同时包括固定和移动的对象。静止的背景目标可以是室内场景中的墙壁、门、家具和室外场景中的建筑物、植被和地面。运动的背景目标可以使摇曳的树枝、闪烁的水面、电脑屏幕、摆动的窗帘、运行的自动扶梯和其他的许多。与此同时，随着时间的变化，背景可能会发生两种类型的变化，一种是由自然光照变化引起的渐进变化，比如，从白天到黑夜光照的变化；另一种是突然“一次性”的转变。这种全局的一次性变化可能是由开/关一些灯、一个摄像机视角的变化、或者局部的一次性变化引起；也可能由删除或者沉积背景目标引起的，例如：移动椅子到一个不同的位置。除此之外，前景目标可能转化为一个背景目标，如汽车进入停车场。在某些情况下，一个背景像素可能有多种状态，如晴天和阴天的场景。因此，对于一个复杂的环境，背景的不同部分应该用不同类型的特性来描述。然而，几乎所有现有的方法都只是用了一种特性，如颜色或光流来，模拟背景中的静态和动态部分。在本文中，我们提出了一种通用的贝叶斯框架，它可以集成多种特性用于前景目标检测中的背景建模。2.2分类规则的制定对一种类型的背景目标，存在一个重要的特性可以被用来有效地从前景目标出分离处背景。设V是一个离散值特征向量，从图像序列中像素点S=（x,y），时间t提取。利用贝叶斯准则，于是出现了在背景b或者前景f的后验概率Vt的结果是6使用贝叶斯决策规则，如果特征向量满足该像素就被分类为背景。与可能来自背景或者前景目标的像素S的特征向量无关。它的结果是将（1）和（3）代入（2），得到这表明通过事先学习一个先验概率，概率和条件概率，我们可以把特性分为与前景相关或者与背景相关。2.3特征统计的表示一般情况下，（4）中的和这种数学形式是未知的。他们可以用整个特征空间的特征向量直方图表示。对于一个拥有L个量化级别的n维特征向量，或者的联合直方图包含箱，如果L和N很大，无论是计算还是存储，联合直方图的操作都很昂贵。因此需要一个令人比较满意的的近似。背景被认为是包含经常在场景中的同一个地方的非生命对象，而7人们感兴趣的目标经常在场景中移动。因此，如果选定的特性能够有效的代表背景，在像素点Ｓ，背景中的特征向量将会集中在特征直方图中的一个很小的字空间；而前景目标的特征向量将在特征空间广泛的分布。这意味着，一个好的特征选择，通过使用直方图中少量的箱数就可以覆盖很大百分比（例如：超过90%）的与背景相关的特征向量。与此同时，前景目标的特征向量也将在这几个箱中分布。根据的降序排列，在排好序的直方图中使，成为第一个N箱，给定的百分比值M1和M2，例如：M1=90%,M2=10%,存在一个小整数N1满足下列条件：当然，N1的值也依赖于所选择的特性和所使用特性的量变的数量。对于每个类型的特征向量（不管来自前景还是背景），一个被定义为的特征统计表，保持在像素点s和时间t从而记录统计N2最要的值。表中的每个元素由三部分组成,例如，在此列表中的元素根据的降序序列排列，与此同时，8也维持在每个时间t以便适应不同时间间隔内场景中的频繁变化。列表中形成了特征向量的直方图的最显著的部分。对许多视频处理的应用程序来说，在一个像素点背景曝光的持续时间要远远长于被前景目标覆盖的时间。列表中前个元素已经足够覆盖背景中大部分的特征向量。因此，表中前个元素连同一起被用于背景和前景变化的分类。在表中前个元素当中，存在用于背景特征，否则，如果，列表中从到N2的元素被用作一个缓冲区，学习通过背景更新得到的新的显著特征。N1和N2的值是凭经验选取的，对于背景中稳定的特性，小值已经足够，而对于变化的特性，需要稍微大点的数值。2.4特征向量的选择当一个像素与一个稳定的背景目标相关时，它的颜色自然地被选择为特征向量，例如，（1）到（6）中的被替换为。当一个像素与一个移动的背景目标相关时，像素帧间变化出现共生的颜色，被选作特征向量，例如，（1）到（6）中的被替换为。颜色共生的选择基于以下的观察。对于一个移动的背景目标，即使来自一个像素的颜色和与之关联的的颜色，变化也很大，因为相似的变化经常发生在一个图像中相同的地方，由此帧间变化的颜色共生也非常重要。为了表现在一个像素点的多种状态，比如移动的树枝和曝光的天空，和在每个像素点保持不变。9为了使计算和存储更高效，每个颜色成分中的L=64量化等级被用作颜色矢量。与此同时，N1=30和N2=50被选定，L=32，N1=50和N2=80被当做颜色共生的特征向量。在此调查中发现依据这种参数选择，（5）适用于大多数像素，这些像素不论是和静止的还是移动的背景目标都相关。明显地，在三原色和颜色共生向量的联合直方图中各有和个箱子。其中N1=30代表颜色特征，N1=50代表颜色共生特征，静止和移动背景目标的比较好的背景代表已经实现。这就意味着所选择的特想非常有效。3.算法描述随着基于贝叶斯决策理论的背景和前景的分类的制定，建立了一种包含复杂背景的实时视频的前景目标检测算法。它包含四个部分：变化检测，变化分类，前景目标分割，背景更新。该算法的程序框图如图1所示，白色方块从左到右对应于前三个步骤，灰色方块对应自适应背景建模的步骤。第一步，在图像流中可通过使用简单的背景和时间上的差异筛选出无变化的像素。由于根据帧间的变化像素可分为固定的和移动的目标，因此可以区分检测到的变化。第二步，对基于颜色统计学习和颜色共生的背景和前景可分别通过运用贝叶斯决策规则，进一步将与静止和移动的目标相关联的像素分类。第三步，前景目标由于结合了静止和移动部分的分类结果而得到分割。第四步，背景模型的更新。运用渐进性的和一次性的学习策略，去学习特征向量的统计。同时，维持一张背景参考图像，它可使背景差精确而且能适应背景的不断变化。在下面的子章节中将对这四个步骤进行详细的10描述。图1该算法的程序框图3.1变化检测在第一步，通过简单的背景和时间差异可筛选出有细微变化的像素。令I（s,t）={Ic(s,t)}是输入的彩色图像}，B(s,t)={Bc(s,t)是系统在t时刻的参考背景图像，c∈{r,g,b}代表一种彩色成分}。背景和时间上的差异表现如下。首先，运用在文献10中描述的方法，一张简单图像差分通过每种颜色成分都带有的自适应阈值得到实现。三个组件结合而产生的结果相结合从而产生背景的差异和时间的差异。图像差分用于成像的去噪。其余的变化可根据背景特征进行分类。用自适应全局阈值可准确实现这个目标。3.2变化分类时间上的差异将变化的像素分为两种类型。如果检测到11，像素被划分为属于一个运动目标的移动像素。否则，它就是一个与静止目标相关联的静止像