基于MeanShift-粒子滤波的红外人体目标跟踪算法

《计算机学报》2009年6期1基于粒子MeanShift迁移的红外人体目标跟踪算法1云廷进郭永彩高潮（重庆大学光电技术及系统教育部重点实验室，重庆，400030）摘要：提出一种基于粒子MeanShift迁移过程的红外人体跟踪方法。算法通过采样粒子迁移和聚类动态建立目标的状态模型和量测模型。在被跟踪区域随机布撒粒子，以各粒子对应像素的亮度作为特征值进行MeanShift收敛性分析，使用收敛后的粒子集表达目标的当前状态；以状态粒子的坐标位置为特征值对其进行MeanShift聚类，作为对目标的量测。连续跟踪时，下一帧的采样粒子基于上一帧的量测结果产生。与传统的基于序贯重要性采样的粒子滤波方法相比，算法不需要目标的相似性测度计算，仅用少数粒子即可实现对目标的可靠跟踪。关键词：粒子迁移人体跟踪红外图像MeanShift粒子滤波引言红外图像中人体目标的跟踪困难主要来自两个方面：一是人体目标的自身特征，由于人体是非刚体目标，姿态多样，大小不一，而且运动状态复杂多变，具有高度的随意性，没有固定的运动规律，无法建立完善的运动模型表达形式；二是红外图像是灰度图像，没有色彩信息，纹理细节很少，使得目标跟踪可用的特征值较少。传统的跟踪方法如光流法是基于刚体运动目标，对于非刚体目标的跟踪受到限制[1]，用于人体目标跟踪时必须与其它特征相结合才能完成[2][3]；卡尔曼滤波及其扩展形式等是基于线性/高斯动态系统，需要对目标的运动特征进行假设，建立目标运动模型[4]，如CP，CA，CV等模型，因此使其在应用于人体目标跟踪时受到一些限制。目前，用于人体目标跟踪的比较可行的算法是采用贝叶斯滤波跟踪的形式[5]，粒子滤波作为贝叶斯滤波的最优近似，适用于任意非线性非Gauss的随机系统，适合于人体目标的跟踪[6][7]。粒子滤波是基于仿真的统计滤波方法，需要采用大量的随机样本粒子来估计，使得运算量很大，此外还非常依赖于相似函数的选择，并面临粒子退化和粒子枯竭的问题。近年来MeanShift算法[7]作为一种有效的统计迭代算法，在满足一定条件下,可快速收敛到最近的一个概率密度函数的稳态点而不需要任何先验知识，实现非参数概率密度的估计，在人体等非刚体目标跟踪中得到了很好的应用[8][9][10]。但由于MeanShift跟踪方案需要使用目标的色彩空间分布作为特征值，使用跟踪区域的颜色直方图的Bhattacharyya系数进行相似性分析，对于红外人体目标来说，丢失了色彩信息，而且目标间的灰度特征都很接近，很难通过颜色直方图的Bhattacharyya系数进行匹配，传统的基于颜色的MeanShift算法不能适用于此类跟踪任务。本文基于粒子滤波的思想，结合MeanShift算法非参数概率密度估计的优点，使用MeanShift方法对粒子进行收敛性分析，使用达到稳定态的传播粒子对目标的状态进行动态建模，由此，在不需要知道目标模型先验知识的基础上，不依赖于相似函数，与粒子滤波算法相比，克服了粒子退化及粒子耗尽的问题，仅用少数的粒子即可实现对人体目标进行可靠跟踪，降低了运算量。1本文受教育部科研重点项目基金资助，项目编号：108174《计算机学报》2009年6期21MeanShift方法的简介+++图1MeanShift迭代过程Fig.1TheiterativeprocessofMeanShiftalgorithm给定离散特征点集niix,...2,1，核函数xK，则在点x处的概率密度估计为：niixxKnxf11ˆ(1)事实上，在实际计算时，我们可以通过计算概率密度估计的梯度niixxKnxf11ˆ(2)通过沿着特征空间内样本点密度梯度方向进行反复迭代搜索，使各样本点最终收敛于临近的局部密度极大点。一般的，核函数采用2hxxckxxKii(3)的形式，c为归一化系数，h为核函数半径。常用的核函数有[8]等几种形式。令xkxg，则2222hxxgxxhchxxckxxKiiii(4)代入上式xhxxghxxgxhxxgnhchxxgxxnhcxfniiniiiniiniii121212212222ˆ(5)《计算机学报》2009年6期3定义xhxxghxxgxxMniiniii1212(6)为MeanShift向量，则xM的方向与概率密度估计函数的梯度方向一致。对样本集中的特征点按xMxx(7)反复进行递推迭代，当x不再变化时，即0xM时，则x收敛于概率密度函数的局部极大值。通常，我们可以放松收敛条件，当xM小于一定阈值时，即可认为收敛过程完成。2跟踪模型的建立2.1状态模型跟踪模型分为两个部分：状态模型和量测模型。假定初始目标所在的区域在图像中的位置为lrylrxulyulxIS,;,，对于较小目标，目标区域每个像素放置一个粒子；对于较大的目标，在目标区域按一定概率密度布撒M个随机粒子，相当于对目标的灰度分布进行抽样采样，样本数为M，降低计算量。记采样粒子集合MiipipipipilryulyylrxulxxyxP1],[],,[),,(，对每个粒子使用其所在图像位置的灰度值作为特征值，使用Uniform核函数，进行MeanShift收敛分析。粒子在两轴向上MeanShift向量ipwxwxxhyhyywxwxxhyhyyipipyipwxwxxhyhyywxwxxhyhyyipipxyyxIyxyIyxmxyxIyxxIyxmipipipipipipipipipipipipipipipip,,,,,,(8)式中w、h分别为所用核函数的带宽。之所以采用Uniform核，是因为对于较大的目标《计算机学报》2009年6期4图像可以通过积分图像加速MeanShift算法的执行[11]。当ipipyipipxyxmyxm,,,小于设定阈值时，记录收敛位置。由于红外图像中人体目标的亮度比背景亮度要高，由MeanShift算法的收敛特性可知，所有的粒子都向附近灰度概率密度函数的局部极大值迁移，即由背景向图像中的人体目标亮度较高的位置移动。各粒子的最终收敛位置由目标的灰度分布和所选取的带宽函数决定。假定所有粒子的最终收敛位置集合为NjjpjpjyxP1,，即目标的灰度密度函数的局部极大值所在位置可以用N个粒子进行表达。当选取合理的带宽函数时，粒子最终收敛位置并不完全依赖于目标的外形轮廓，使用这种状态模型，当目标局部被背景遮挡时，状态模型仍然有效，只是对目标整体状态的刻画转化为对目标局部状态的刻画，对跟踪而言，只是由目标整体跟踪转化为局部跟踪，对于人体等非刚体目标具有非常好的鲁棒性。2.2量测模型对于目标状态的量测通过对表达目标状态的所有粒子的聚类分析实现。假定状态粒子集中第j个粒子在图像中的坐标位置可以用复数向量jpjpjyixP*表示，以jP作为特征值进行MeanShift非监督聚类，对应的MeanShift向量为：jhPPPhPPjjjPhPPghPPgPPmjjj22*(9)由于粒子的坐标位置为整数，故当jPm的绝对值取整数为零时，即可认为聚类过程完成。假定第i个量测粒子的收敛位置和包含的粒子数目为iiwv,,则该量测粒子相对于图像的绝对坐标值为iiiivimagvrealyx,,。各粒子量测值的权重系数由其对应类别所包含的粒子数目归一化决定：Liiii(10)式中L为聚类完成后得到量测粒子总数，使用所有量测粒子坐标位置的加权平均值作为运动轨迹点坐标位置：iiiiwvimagwvrealyxTrajctory*,*,(11)图2为实现跟踪模型建立的实例。《计算机学报》2009年6期5(a)目标图像(b)状态模型(c)量测模型(d)权系数及加权中心图2跟踪模型的建立Fig.2Establishingmodelsfortracking3目标跟踪的实现3.1算法的执行过程在介绍算法的实现方案之前，首先介绍一下粒子滤波的思想方法，关于粒子滤波的更多理论和方案请参见相关文献[12]。粒子滤波的基本思想是在基于大量的量测的基础上，通过一组加权粒子的演化与传播来递推近似状态的后验概率密度函数分布，基于这些样本和权值来计算估计值。概括开来，粒子滤波主要步骤有：（1）粒子采样，产生随机量测粒子（2）权系数更新（3）相似性特征的计算。与粒子滤波策略类似，使用本文模型实现目标跟踪分为以下步骤：（1）跟踪初始化，根据目标分割识别算法或手工确定的目标所在区域，按照本文的模型建立方法，建立目标的状态模型和量测模型，存储量测粒子的坐标位置和相应权系数Liiiwv1,。（2）在下一帧图像中，以上一帧图像的量测粒子为基础，对各粒子周边一定范围内的像素进行MonteCarlo采样，采样的粒子的数目由其传播系数决定，使用所有的无重复采样粒子作为本帧图像中的传播粒子。（3）对本帧图像中的传播粒子进行MeanShift分析，产生目标新的状态模型，并计算相应的量测模型和加权中心及对应粒子的传播系数，传递至下一帧图像。反复执行步骤（2）（3），并计算各帧图像中的目标运动轨迹坐标，实现对目标的跟踪。3.2传播粒子的产生控制传播粒子的采样控制直接影响到跟踪算法的性能。由于传播粒子的位置根据上一帧的量0.172910.115270.121040.115270.100860.0864550.0864550.103750.0979830.172910.115270.121040.115270.100860.0864550.0864550.103750.097983《计算机学报》2009年6期6测粒子确定，每个量测粒子的权系数控制其在下一帧中产生传播粒子的数目。若量测粒子具有较大的权系数，则布撒较多的粒子，对周围区域进行比较稠密的采样，通过粒子的MeanShift迁移尽可能刻画出下一帧图像中该粒子周围的状态模式。以量测粒子1iyixPjjj为例，所产生的传播粒子集为：)(1,11,1articlesPropagatePMrepeatVyrandomdiVxrandomdyjyxjx(12)式中yxdd,为采样区域控制范围，决定了探测窗口的大小，由当前量测粒子与其最邻近的量测粒子之间的距离决定，并使用目标的大小进行宽松的约束。yxVV,为目标在两轴方向上的单步移动距离估计，M为产生粒子的数目。对于连续的图像序列，针对人体目标跟踪而言，前后两帧图像中目标位移距离不会太大，yxVV,可不考虑；对于等间隔不连续的图像序列，yxVV,可设为固定值；在更复杂的无法估计yxVV,的情况下，可采用Kalman滤波的方法，估计上一帧图像中量测粒子在当前帧中的位置jjyx,取代yjxjVyVx,作为粒子采样的中心位置。3.3量测粒子传播系数分配策略及无效量测粒子的剔除如前所述，量测粒子的权中系数的主要作用有两个：一是用于计算当前帧图像中加权中心的位置（运动轨迹），二是决定下一帧图像中传播粒子的数目。在假定目标运动连续性的基础上，我们可以认为前后两帧图像中目标的加权中心位置偏移不会太大。因此，为使得跟踪轨迹的位置保持相对稳定，我们对量测粒子的传播系数分配在其对应权系数的基础上进行了修订，赋给上一帧量测粒子加权中心位置的粒子更大的权系数，对远离加权位置的量测粒子，由于其对加权中心的计算