目标跟踪

目标跟踪•应用领域•挑战、数据集•跟踪框架•跟踪方法应用领域：•智能监控•自主导航•人机交互•虚拟现实•医学诊断•…数据集：•OTB100[1]•NUS-PRO[2]•VOT2016[3]•…[1]Wu,Y.,Lim,J.,Yang,M.H.:Onlineobjecttracking:abenchmark.In:ComputerVisionandPatternRecognition,vol.37(9),pp.1834–1848(2013)[2]Li,A.,Li,M.,Wu,Y.,Yang,M.H.,Yan,S.:Nus-pro:anewvisualtrackingchallenge.IEEE-PAMI38(2),335–349(2015)[3]Kristan,M.,Matas,J.,Leonardis,A.,Felsberg,M.,etal.:Thevisualobjecttrackingvot2016challengeresults.In:ECCV2016Workshops,WorkshoponVisualObjectTrackingChallenge(2016)OTB100:•光照变化•尺度变化•遮挡•变形•运动模糊•快速运动•平面内旋转•平面外旋转•脱离视野•背景杂乱•低分辨率NUS-PRO:•阴影变化•闪光•暗光•背景杂乱•快速背景改变•旋转•变形•尺度变化•部分遮挡•全局遮挡•相似目标•相机抖动VOT2016:•遮挡•光照变化•运动变化•尺度变化•相机运动跟踪框架：输入—目标初始化—特征提取—目标模型—目标搜索—模型更新—输出一、目标初始化自动检测（智能监控）手动标记（制导武器）二、目标描述（特征提取+目标模型）目标的特征（颜色、边缘、纹理、光流）目标的表示（形状表示、外观表示）跟踪框架：输入—目标初始化—特征提取—目标模型—目标搜索—模型更新—输出一、目标初始化自动检测（智能监控）手动标记（制导武器）二、目标描述（特征提取+目标模型）目标的特征（颜色、边缘、纹理、光流）目标的表示（形状表示、外观表示）跟踪框架：输入—目标初始化—特征提取—目标模型—目标搜索—模型更新—输出一、目标初始化自动检测（智能监控）手动标记（制导武器）二、目标描述（特征提取+目标模型）目标的特征（颜色、边缘、纹理、光流）目标的表示（形状表示、外观表示）跟踪框架：输入—目标初始化—特征提取—目标模型—目标搜索—模型更新—输出一、目标初始化自动检测（智能监控）手动标记（制导武器）二、目标描述（特征提取+目标模型）目标的特征（颜色、边缘、纹理、光流）目标的表示（形状表示、外观表示）1、颜色•一个物体的表面颜色主要受两个物理因素影响，1)光源的光谱能量分布；2)物体的表面反射属性。•在图像处理中RGB彩色空间通常用来表示颜色。但RGB空间不是一个视觉上匀称的彩色空间，也就是说，RGB空间中颜色的差异与被人感知的颜色差异不一致。2、边缘•物体的边界在图像强度中往往会发生很大变化。边界探测用来识别这些变化。•边界的一个重要属性是相对于颜色特征它们对光照更不敏感。•跟踪目标边界的算法通常将边界作为一个代表性特征。最流行的边界探测法是精密的边缘探测器[Canny1986]，因为它简单精确。Bowyeretal.[2001]提供了边界探测算法的评估方法。3、纹理•纹理是对表面量化属性如光滑度和规则性的强度变化的一种量度，刻画了图像像素邻域灰度空间分布的规律，它是所有物体表面都具有的内在特性。•纹理特征常具有旋转不变性，并且对于噪声有较强的抵抗能力。•与颜色特征相比，纹理特征对光照变化更不敏感。4、光流•光流是一种位移向量的稠密场，用来表示区域内每个像素点的瞬时速度。•光流用灰度约束来计算，假设连续帧中相对应的像素灰度不变。•光流特征通常被应用在基于运动的目标分割和跟踪算法中。跟踪框架：输入—目标初始化—特征提取—目标模型—目标搜索—模型更新—输出一、目标初始化自动检测（智能监控）手动标记（制导武器）二、目标描述（特征提取+目标模型）目标的特征（颜色、边缘、纹理、光流）目标的表示（形状表示、外观表示）1、形状表示•点将目标用一个点来表示，即形心(Fig.1(a))，或者用一组点表示(Fig.1(b))。一般情况下，点表示法适合表示在图像中占据很小区域的目标。•简单几何形状将目标用矩形、椭圆表示(Fig.1(c),(d))。通常用转化、仿射或投影（单应性）转换来构造这些表现形式的物体的运动模型。尽管简单的几何形状更适合表示简单的刚性物体，他们也可以用来跟踪非刚性物体。•物体的剪影和轮廓轮廓定义了物体的边界(Fig.1(g),(h))，轮廓的中间区域被称作物体的剪影(Fig.1(i))。这种表示法适合跟踪复杂非刚性物体。1、形状表示•链状模型链接对象由主体的各部分组成，这些部分通过节点连接在一起。例如，人体是一个有躯干的链接物体，腿、手、头、脚由节点链接在一起。各部分间的关系由运动学模型支配，例如，节点处的角度等。为了表示一个链状物体，可以用圆柱体或椭圆构造组成部分的模型(Fig.1(e))。•骨架模型物体的骨架可以通过对物体剪影进行中间轴转换提取出来。这种模型通常作为识别对象的一种形状表示法。骨架模型可以用来构造链状和刚性物体的模型(Fig.1(f))。Fig.1物体表示法。(a)形心，(b)多点，(c)矩形块，(d)椭圆块，(e)有部分构成的多块，(f)物体骨架，(g)完整的物体轮廓，(h)物体轮廓的控制点，(i)物体剪影2、外观表示•物体外观的概率密度分为参数估计（高斯、混合高斯）和非参数估计（核密度估计、直方图）物体外观特征（颜色、纹理）的概率密度可以通过形状模型（椭圆或轮廓的内部区域）指定的图像区域计算得到。•模板模板由简单的几何形状或轮廓构成。模板的优点在于它可以同时包含空间和外观信息。但是模板只能编码从单一视角产生的对象外观。因此模板只适合跟踪在跟踪过程中形态变化不是很大的对象。2、外观表示•主动外观模型主动外观模型对物体的形状和外观同时建模。物体的形状通常由一系列的标记定义。与轮廓表示法相似，标记可以附在物体的边界上或物体内部。对每个标记而言，外观矢量是以颜色、纹理或者梯度大小的形式存储的。主动外观模型要求一个能从一系列样本中识别形状和相应外观的瞄准位，如主成分分析。•多视图外观模型这些模型可以对物体的不同视角编码。表示物体不同视角的一个方法是从给定的视角中产生一个子空间。子空间方法（如主成分分析(PCA)和无约束成分分析(ICA)）已用于形状和外观表示法中。另一种获知物体的不同视角的方法是通过训练一系列的分类器，如支持向量机和贝叶斯网络。多视图外观模型的局限性在于需要提前形成所有视角中的外观。•通常目标的表示方法与跟踪算法有密切联系。一般根据应用领域选择合适的表示法。在图像中显示非常小的跟踪目标，适合用点表示法。形状近似矩形或椭圆的目标，简单几何形状表示法更合适。有复杂形状的跟踪目标（如人体），用轮廓或剪影表示法更合适。•特征的选择与目标的表示方法也有密切联系。在基于直方图的外观表示中，颜色可以作为一个特征。在基于轮廓的外观表示中，边缘通常被当作特征。三、目标搜索如何在一帧的图像中获取目标候选样本，是影响跟踪算法效率的重要因素之一。常用目标搜索方式：贝叶斯滤波、核密度估计和水平集方法。•贝叶斯滤波：在时间序列上利用贝叶斯公式，可实现非高斯非线性情形下的预测；•核密度估计：本质上是一种梯度下降方法，通过不断的迭代逐步找到函数的极值点；•水平集：将二维数据转换为三维数据，将目标的轮廓用零水平集来表示，这种方法可以自然地处理目标形变。四、模型更新由于目标在跟踪过程中不停的发生变化，而当前的模型只能含有之前目标样本信息，不能反映目标的变化。模型的更新是一个两难的问题：若更新太慢，当目标变化较大时，无法识别出目标，导致目标丢失；若更新太快，就会形成误差的积累，产生模型的漂移，导致跟踪失败。因此，如何合理地更新目标模型，也是目标跟踪中的一个重要研究内容。当前的跟踪方法可以分为：生成式方法、判别式方法•生成式方法通过建立描述目标外观形状的模型来实现跟踪。即在下一帧图像中寻找最接近目标模型的物体的位置。这种“最接近”用最大似然或最大后验概率的形式来表示。生成式方法着眼于对目标本身的刻画，忽略背景信息，在目标自身变化剧烈或者被遮挡时容易产生漂移。生成式方法分为：点跟踪、核跟踪、轮廓跟踪。•判别式方法把跟踪看成目标和背景的分类问题，与传统的跟踪算法不同，它不需要建立复杂的观测模型来描述目标，而是通过在线学习训练分类器将目标从背景中提取出来。基于在线学习的跟踪算法不需要先验知识，在跟踪过程中对目标进行在线学习，能很好的适应目标外观变化。因为显著区分背景和前景的信息，表现更为鲁棒，在目标跟踪领域占据主流地位。代表方法有：SVM、boosting、TLD、MIL、CNN。1、点跟踪当目标用点或多点表示时，跟踪就是在邻帧之间进行点关联。根据关联方式的不同，点跟踪分为：确定性方法和基于统计的方法。•确定性方法确定性方法先采用运动约束对目标和目标观测间的关联定义代价函数，通过最小化关联代价函数来完成跟踪。例如特征点匹配跟踪方法和光流法。•基于统计的方法基于统计的方法总是假设从图像观测中获取的测量是包含随机噪声的，并且目标的运动包含随机扰动。关联时将测量不确定性和运动模型不确定性统一考虑，先对目标状态参数（如位置、速度、加速度等）建立状态空间模型，再从目标检测模块获取测量信息，通过估计目标状态进行跟踪。例如卡尔曼滤波和粒子滤波。2、核跟踪核跟踪方法中，”核”通常指目标形状或外观的模型，通常用简单几何形状（如矩形、椭圆等）结合目标的外观特征来表示。核跟踪通过对外观模型在连续帧之间进行匹配来计算目标的运动。核跟踪的三个基本要素：目标外观模型、相似性度量和搜索策略。核跟踪方法分为：基于模板的方法、基于概率模型的方法。•基于模板的方法由于计算简单，应用非常广泛。其实质是进行模板匹配，即用一种相似性度量方式，在当前图像中搜索与参考目标模板最匹配的图像区域。•基于概率模型的方法将目标区域的某种或某几种特征（如颜色、纹理、边缘、运动等）用概率分布模型表示，通过匹配方式进行跟踪。3、轮廓跟踪基于轮廓的跟踪方法能够对目标的形状提供一种精确的描述方式。一些复杂的形状（如人的手部、头部和肩部）很难用简单的几何形状来描述。轮廓跟踪方法分为：基于直接形状匹配的方法、基于边界线演化的方法。•基于直接形状匹配的方法通过在当前帧中寻找与目标轮廓模型最匹配的区域来跟踪目标，Hausdorff距离以及Chamfer距离常被作为匹配度量函数。•基于边界线演化的方法以上一帧图像中目标边界为初始边界，通过不断演化，得到当前帧图像中目标边界。需要当前帧目标位置和上一帧目标位置有部分重合。在跟踪过程中能根据目标的运动以及变形情况调整边界线的位置和形状。谢谢