视频监控与视频分析第十三章-目标跟踪

第十三章：基于运动视频的目标跟踪2015.9于深圳视频监控与视频分析视频运动目标检测与跟踪是计算机视觉领域中的一个核心问题机器人视频压缩医疗诊断人机交互智能视频监控论文背景论文背景视频监控在银行、电力、交通、安检以及军事设施等领域的安全防范和现场记录报警等方面有着非常广泛的应用。统计数据显示，英国目前有400多万个摄像机，而伦敦的居民平均每个人每天要被摄像机拍摄300次。公安部主导的“平安城市”计划，促进了视频监控市场的迅速增长，全国约有200万个监控摄像机用于城市监控与报警系统。青藏铁路全线1300路通道采用视频分析，对全线铁路进行入侵保护。监控技术发展的三个阶段当今社会信息的高度密集化、复杂化。人们所面临的突发事件、异常事件越来越多传统的人力视频监控已经达不到实时处理突发事件的目的1vs11vsN智能视频监控系统是利用计算机视觉技术，在不需要人为干预的情况下，对视频信号进行处理、分析和理解，并对视频监控系统进行控制，从而使视频监控系统具有像人一样的智能。视频运动目标的检测和跟踪是智能视频监控系统中的关键技术，分别处于整个系统的前期和中期处理阶段，为后期的高层视觉处理提供分析依据。低层视觉处理中层视觉处理目标检测目标跟踪目标分类行为理解语义描述摄像机高层视觉处理智能视频监视系统的基本框架视频运动目标的检测和跟踪也是近年来的一个研究热点，许多重要国际会议和期刊发表了大量目标检测与跟踪方面的论文。图像处理、计算机视觉的顶级会议和期刊会议ICCV：InternationalConferenceonComputerVisionCVPR：InternationalconferenceonComputerVisionandPatternRecognitionECCV：EuropeanConferenceonComputerVision期刊PAMI：IEEETransactionsonPatternAnalysisandMachineIntelligenceIJCV：InternationalJournalofComputerVisionPR：PatternRecognition.TIP：IEEETransactionsonImageProcessingIVC：ImageandVisionComputing利用序列图像在时间和空间上的冗余信息，将场景中的运动目标从背景中分离出来。主要困难在于光照变化、背景物运动干扰、运动目标阴影以及摄像机运动等干扰因素。主要方法：帧间差法光流法背景减除法先对背景进行建模，然后将当前帧与背景模型进行比较，区分出前景和背景。运动目标检测目标跟踪的目的就是通过对视频数据的处理与分析，将图像序列中不同帧内同一运动目标关联起来，从而计算出目标的运动参数，如位置、速度、加速度以及运动轨迹等。视频目标跟踪问题分类：照摄像机的数目：单摄像机跟踪和多摄像机跟踪目标的性质：刚体目标和非刚体目标的跟踪跟踪目标的数目：单目标跟踪和多目标跟踪…运动目标跟踪按照其执行的先后顺序，主要有两种方式：①.先检测后跟踪运动目标检测与跟踪的关系先检测出每帧中的运动目标，然后匹配前后帧中的目标以实现轨迹关联。t时刻t+1时刻首先建立描述目标的特征模型，在起始帧初始化后，不断在后续帧进行匹配搜索。②.边检测边跟踪将目标的检测与跟踪相结合，利用跟踪结果来确定检测所要处理的区域范围，跟踪时则利用检测来获得目标状态的观测。运动目标检测与跟踪的关系(c)(b)(a)内容提要1.研究背景2.主要研究工作3.总结创新处4.进一步研究的内容1.视频运动目标检测基于背景模型的运动检测2.视频单目标跟踪目标表示模型的建立特征空间选择，模型更新，漂移问题3.视频多目标跟踪数据关联，目标之间的相互遮挡主要研究工作视频运动目标检测背景减除法是运动目标检测的主流方法，先对背景进行建模，然后将当前帧与背景模型进行比较，区分出前景和背景。由于背景通常不是静止不变的，会随着环境的变化而变化，如何建立一种能够适应环境变化的背景模型，是背景减除法的研究重点。背景减除法统计背景模型：•单高斯模型•混合高斯模型•非参数模型•…•单高斯模型：假定每个像素特征在时间域上的分布可以由单个高斯分布来描述•混合高斯模型(GMM)：为了描述分布形式更为复杂的背景，有必要应用到多模态的分布形式。经典GMM方法中存在的问题基于像素建模，计算量大忽略了图像结构信息高斯成分数目难以确定GMM改进方法引入MRF非参数密度估计高斯个数自适应选择…GMM模型定义高斯成分每个成分的权重,,,,1()(;)Kjjititititjpwvv,,,,,1,,,,,122,(;)(;,)11exp()()()2(2)||jjjitititititjTjjitititititDjitvvvv,()itpv1,,(;)ititv2,,(;)ititv,jitw更新权重对于匹配的成分，更新其均值和方差为指示变量，若高斯成分与匹配,itM•GMM模型更新,,1,1(1)jjjitititwwM,itv,1itM，否则,0itM,,,1,,(1)jjjjitititititv2,,,1,,,1,,1(1)()()()jjjjjjititititititititvv,,,,(|,)jjjititititv•GMM模型估计根据对高斯成分进行递减排序前面b个成分作为背景分布，其余成分为前景分布T:背景高斯成分在整个分布中所占的最小比重，可以看成是超像素点为背景点的最小先验概率,,jjititw,1argminbjiitbjBwT1.视频运动目标检测基于背景模型的运动检测2.视频单目标跟踪目标表示模型的建立特征空间选择，模型更新，漂移问题3.视频多目标跟踪数据关联，目标之间的相互遮挡主要研究工作基于概率图模型目标建模的视觉跟踪算法可分性目标模型与背景具有足够的可区分性;一致性在相邻帧之间,前景在前景模型上的测量值具有良好的连续性和稳定性;目标表示模型对跟踪目标的特征描述，在初始帧通过手工或自动初始化，用于后续帧中的匹配搜索，以找出与模型最相似的目标区域。颜色直方图忽略了目标的空间结构信息Snake轮廓模型仅考虑目标的边界，在目标与背景容易混淆的情况下，目标模型通常容易退化局部特征模型一组局部特征来表示，缺乏目标的全局结构信息，稳定性较弱，易受噪声、目标姿态以及光照条件的影响。2D/3D空间模型模型参数估计的运算量很大，并且难以保证模型的精度。常见的目标模型00.050.10.150.20.250.30.35123...mcolorProbability本文的目标模型思考：如何建立一种目标模型，能够统一描述目标的全局特征和局部特征。设计一种基于概率图模型的目标表示模型，利用具有仿射不变性的局部区域特征描述目标的细节信息，全局上则用特征间的空间约束关系反映目标的空间结构信息，通过概率图模型将这些信息结合起来。x1y1x2y2x3y3x4y4x5y5x6y6x7y7x8y8MSER特征MRF概率图模型在概率论和图论之间架起了一座桥梁，能够有效解决应用数学和工程中的两个重要问题：不确定性和复杂性。常用的有，贝叶斯网络(BN),马尔可夫随机场(MRF)和条件随机场模型(CRF)等节点(Nodes)：随机变量（局部特征的状态）边(Edges)：变量之间的概率关系拓扑结构根据特征区域的尺度以及和特征间的欧式距离来定义节点间的邻域关系i()i图模型中节点的邻域定义为(){|(,),()}ijttijdxxjGi{,}||||(,)(cossin)ijijttttkkkkttttkijdxxabpp模型的定义{,,,}ikkkttttabpitx为节点所对应的椭圆参数。ix1y1x2y2x3y3x4y4x5y5x6y6x7y7x8y8x1y1x2y2x3y3x4y4x5y5x6y6x7y7x8y8(,)ijttxx(,)iixy模型的定义势函数2(,)exp((||||))ijjjttttijxxpp22(,)exp((,())/)iiittitxyDffy特征状态节点之间的势函数(,):ijttxxx(,):iixy状态节点与对应观测之间的似然函数xyFirstframe初始目标区域特征检测目标模型空间域推断时间域跟踪模型更新Framen特征检测n=n+1输出模型初始化目标跟踪跟踪算法框图空间域上概率图模型的状态配置推断12mx1y1x2y2x4y4x3y3x5y521m1m2m4m3m5m24m42m23m32m35m53m根据当前时刻的图像观测，在定义的图模型中进行贝叶斯推断，得到所有节点的联合状态后验概率分布(|)ttPXYtY采用信任传播算法(BeliefPropagation,BP)，通过消息传播的方式，计算后验概率时间域上的粒子滤波跟踪在概率图模型中，每个节点的状态表示为空间中的概率分布函数，由于目标状态的变化可以认为是分布函数在时间域上的传播过程，因此跟踪问题可作为概率推断问题，顺序地推断每个时刻下状态的概率分布。x1y1x2y2x4y4x3y3x5y5x1y1x2y2x4y4x3y3x5y5t时刻t+1时刻实验结果本文算法文献[33]文献[98][33]Comaniciu,D.,V.RameshandP.Meer,Kernel-basedobjecttracking.IEEETransactionsonPatternAnalysisandMachineIntelligence,2003.25(5):p.564-577.[98]Nummiaro,K.,E.Koller-MeierandL.V.Gool,Anadaptivecolor-basedparticlefilter.ImageandVisionComputing,2003.21(1):p.99-110实验结果位置误差相对尺度误差场景不同位置处的光照条件有所不同，并且被跟踪的行人朝着摄像机的方向行走，因此在图像上的尺度变化较大。实验结果本文算法文献[33]文献[98]部分遮挡情况下的跟踪结果1.视频运动目标检测基于背景模型的运动检测2.视频单目标跟踪目标表示模型的建立特征空间选择，模型更新，漂移问题3.视频多目标跟踪数据关联，目标之间的相互遮挡本论文的主要工作基于特征空间自适应选择的视频跟踪算法监视场景中，由于光照变化，背景变化或是目标尺寸变化，目标的外观会发生改变，采用固定目标模型的视觉跟踪方法通常不能适应这些变化，需要不断对模型进行调整更新。根据目标的外观变化直接调整目标模型的参数先定义一个特征空间集，跟踪过程中将目标模型转换到当前选择的特征空间下。模型更新更新方法objRbackRHWWH1...1{},1muumuuqqq在选择的特征空间下，利用特征直方图描述目标和背景1...1{},1muumuubbb目标直方图背景直方图目标区域和背景区域颜色特征空间集RGB三个色彩分量的49种线性组合123*{|[2,1,0,1,2]}FwRwGwBw对于选择的特征空间，目标和背景之间差异越大，越适合于目标跟踪。2g-br-2g+2b2r-g-r+2g+b通过引入信息论中的交叉熵来衡量前景目标与背景之间的差异。特征空间选择交叉熵(CrossEntropy)作为信息熵的一种应用，可以看成是两个概率分布之间的信息量差异。为了方便，算法中我们应用交叉熵的对称形式，即对称交叉熵：1,2,...,1,2,...,{},{}uumuumqpbq分别为目标和背景的特征直方图11(:)lnlnmmiiiiiiiiqbDqbqbb