西安工业信号检测与估计SDE_16补充内容王俊凤自动跟踪云台

12007-01-17西安工业大学硕士学位论文预答辩卡尔曼滤波在自动跟踪云台上的应用姓名：王俊凤导师：雷斌张海宁副教授专业：控制理论与控制工程22007-01-17西安工业大学卡尔曼预测在自动跟踪云台上的应用1.课题研究的目的及意义2.目标跟踪系统的组成3.目标检测算法及实现4.基于卡尔曼滤波的目标跟踪5.系统总体与各部分工作流程6.系统实现与验证7.总结和展望32007-01-17西安工业大学课题研究的目的及意义目标跟踪技术是指从序列图像中检测出运动目标，对其进行识别和实时跟踪，在跟踪方面则要求能够根据目标对象的运动来调整相应的控制装置，使目标始终处于较佳的观测视场内。目标跟踪技术有着广泛的应用价值，尤其是在军事领域。例如：在弹道导弹防御和拦截、防空、空中攻击、火力控制、海洋监视(水面舰艇或潜艇)、战场监视(地面车辆与军事设施等)等方面均可发挥重大作用。在民用方面，主要可以用于空中交通管制、海上交通管制和卫星导航、定位与监视等方面。42007-01-17西安工业大学课题研究的目的及意义运动目标跟踪算法的优劣直接影响着运动目标跟踪的稳定性和精确度，虽然对于目标跟踪理论的研究已经进行了很多年，但至今它仍然是计算机视觉等领域的研究热点问题之一。研究一种鲁棒性好、精确、高性能的运动目标跟踪方法依然是该研究领域面临的一大挑战。由于目标跟踪技术是一项非常复杂的多学科研究课题，迄今为止仍未有一种通用的技术方法适合于各种跟踪情况。52007-01-17西安工业大学课题研究的目的及意义本文通过对现有跟踪方法进行研究，提出一种针对特定颜色目标运用卡尔曼预测进行目标跟踪的方法。预测跟踪算法的优点：提前调整跟踪装置，使传感器预先到达目标下一时刻出现位置，跟踪实时性好、动态跟踪精度较高视场有遮挡物时，根据此前运动状态信息预测下一步可能的位置，可维持对目标的正常跟踪62007-01-17西安工业大学目标跟踪系统的组成目标跟踪系统的基本流程为：传感器获取信息数据，对采样信号经过适当的处理，由滤波器依据一定的目标模型对目标的状态进行估计和预测，产生驱动信号控制伺服系统及时做出调整，同时可以对观测目标进行显示。传感器信号处理状态预测显示控制决策72007-01-17西安工业大学摄像头跟踪系统的结构本论文所研究的目标跟踪系统由摄像头，解码器，两自由度云台，计算机及软件控制界面组成，跟踪目标为一黄色乒乓球。摄像头为传感器采集图像信息，云台为摄像头指向调节机构，PC机为运算单元。解码器云台摄像头PC机82007-01-17西安工业大学图像的采集首先，检测安装的可用设备，imagqhwinfo功能函数提供了当前系统可访问的所有采集设备的列表；其次，对图像大小以及图像格式进行设置，本文采集的是8位无符号整型RGB图像。在MATLAB环境下与图像采集设备建立连接象，vidobj=videoinput(‘winvideo’,1);图像的采集采用单帧采集即：snapshot=getsnapshot(vidobj);%采集单帧delete(vidobj)％删除相关变量clearvidobj％清理相关变量92007-01-17西安工业大学阈值分割处理本文采用的是动态阈值选择方法。这种方法是将像素的灰度值与像素周围的字符大小的邻区内各灰度的平均值相比较，如果在某一区域内像素灰度值明显与周围像素灰度值有差异，则根据像素灰度值取一个范围，在此范围内的像素应为“1”，否则为“0”。阈值的选取相当重要，阈值选取的太小，就会将背景噪声误认为是目标，相反，如果阈值选取的太高，就会丢失一部分目标信息。102007-01-17西安工业大学阈值分割处理当提取目标的红、绿、蓝色分量后，根据红色与蓝色分量和绿色与蓝色分量的比值，经过试验观测灰度值划分出合理的阈值范围。为了阈值设定更为准确，我们给比值乘以一定的比例系数，使比值增大。在本文中设置比例系数为50，红蓝比值后的阈值为〔90～190〕，绿蓝比值后的阈值为〔70～120〕，在此范围内的置1，其余的置0。snap(:,:,1)snap(:,:,2)RB=δ,GB=δ,snap(:,:,3)snap(:,:,3)112007-01-17西安工业大学阈值分割处理122007-01-17西安工业大学二值形态学处理开启闭合区域填充将开启和闭合结合起来可构成形态学噪声滤波器。开运算就是先腐蚀再膨胀的结果，而闭运算就是先膨胀再腐蚀的结果。区域填充只对背景像素进行操作，而不对前景像素进行操作。132007-01-17西安工业大学二值形态学处理142007-01-17西安工业大学目标检测目标中心的x，y坐标：nmx=1y=1nmx=1y=1xf(x,y)x_center=f(x,y)nmx=1y=1nmx=1y=1yf(x,y)y_center=f(x,y)式中：x_center，y_center——目标中心点的坐标n,m为目标水平、垂直方向像素大小152007-01-17西安工业大学卡尔曼滤波卡尔曼滤波采用递推算法，利用系统噪声和观测噪声的统计特性，以系统观测量为输入，以所要估计值（系统的状态或参数）为输出，输入与输出之间是由时间更新和观测更新算法联系在一起的，根据系统方程和观测方程估计出所有需要处理的信号。162007-01-17西安工业大学卡尔曼滤波系统的状态方程和观测方程分别为：系统噪声和观测噪声为互不相关的高斯白噪声，在已知系统初始状态时，根据当前观测值用卡尔曼滤波得到修正后的状态，进而预测，具体卡尔曼滤波方程如下：ˆX(1)X(k)=A(k,k-1)X(k-1)+G(k-1)W(k-1)Y(k)=C(k)X(k)+V(k)ˆX(2)172007-01-17西安工业大学卡尔曼滤波方程-1TTTTˆˆXk/k-1=Ak+1,kXk-1/k-1Kk=Pk/k-1CkCkPk/k-1Ck+RkPk/k-1=Ak+1,kPk-1/k-1Ak+1,k+Gk-1Qk-1Gk-1Pk/k=I-KkCkPk/k-1ˆˆˆXk/k=Xk/k-1+KkYk-CkXk/k-1式中：X为目标状态向量；Y为量测向量；W和V分别为状态噪声和量测噪声，其协方差矩阵分别为Q和R；A、G、C分别为状态转移矩阵、输入控制矩阵和观测矩阵。182007-01-17西安工业大学卡尔曼滤波主程序算法＋＋K(k)Z-1ACˆX(k-1|k-1)+-++ˆY(k|k-1)d(k)Y(k)K(k)ˆX(k|k-1)ˆX(k|k)第一步第二步第三步192007-01-17西安工业大学卡尔曼滤波子程序算法计算P(k|k)T计算K(k)计算P(k|k-1)123C(k),R(k)C(k)A(k,k-1),Q(k)K(k)P(k-1|k-1)P(k|k)202007-01-17西安工业大学目标平面与图像采集平面的投影关系摄像头跟踪系统的目的是要云台带动摄像头随目标而转动，所以摄像头的图像采集平面与目标运动平面之间存在一定的角度关系，可以用图下图大致表示目标运动平面与图像采集平面之间的投影关系。212007-01-17西安工业大学纯角度跟踪以云台旋转中心为参考点，当目标运动轨迹的实际平面与参考点距离不同时，只要在图像平面上的投影轨迹相同，则对应的圆周角也是相同的。只对角度进行预测即可实现对目标的跟踪。222007-01-17西安工业大学卡尔曼滤波跟踪模型的建立在摄像头跟踪系统中，假定摄像头在前T秒钟不动作，每间隔t秒（采样时间）定位一次运动质点的坐标，获得k组观测数据，对这k组进行分析并确定目标运动状态，用正交投影理论得到k时刻的最优估计，以此作为滤波器初始时刻状态值，本系统主要对目标的运动速度进行估计。在已知的基础上根据卡尔曼主程序算法可求得跟踪系统在k+1时刻的最优预测：ˆX(k|k)ˆX(k|k)ˆX(k+1|k)232007-01-17西安工业大学为了使下一次的预测值更为准确，需要对估计值进行修正，调用卡尔曼滤波子程序算法首先计算误差方差的预测值P(k+1|k)；然后第二步计算卡尔曼滤波增益K(k+1)；为了下次的递推，还需要对误差方差矩阵P(K+1|k+1)进行更新，并保存起来。在得到上面的参数后返回主程序算法就可以对预测值进行修正：ˆˆˆx(k+1|k+1)=x(k+1|k)+K(k+1)[y(k+1)-C(k+1)x(k+1|k)]242007-01-17西安工业大学观测量的获取运用卡尔曼滤波进行跟踪一个重要的因素是观测量的获取，在本文以摄像头为传感器，获得信息是一帧帧的图像，由于每次摄像头偏转以后是的原来的图像坐标发生改变，所以本文估计目标速度对目标进行跟踪，采用目标的位置变化量即速度作为观测量进行修正。252007-01-17西安工业大学t1t1→t2t1→t2t2t2→t3t2→t3t3t3→t4t3→t4t4t1帧t2帧t3帧t4帧pypxeyexpex=x+xpey=y+y262007-01-17西安工业大学0510152025681012时间tx速度trueobservedfiltered051015202501234时间ty速度trueobservedfiltered05010015020025010152025303540455055x位置y位置truefilterd对速度进行预测的仿真目标作匀速直线运动，初始位置为（10,10），初始速度为（10,2），状态噪声为白高斯噪声，Q＝10×diag（4），R＝1×diag（2），初始误差方差为P＝10×diag（4）。272007-01-17西安工业大学云台最大负载7.5磅（3.4kg）旋转角度水平0°-355°；垂直:+10°～60°旋转速度水平旋转速度6°/s（50Hz）;垂直旋转速度4°/s（50Hz）输入电压AC24V外形尺寸（宽x高x长）127x178x274mm282007-01-17西安工业大学开始图像采集图像处理预测控制断开硬件连接否是是否启动硬件设备结束是否停止是否跟踪目标总体工作流程①系统启动后，首先建立硬件连接，包括摄像头和云台；②对图像采集参数进行设置，如图像大小，图像采集类型等，然后利用摄像头进行图像采集；③对获取的图像进行处理，包括图像两次阈值分割、滤波处理、目标定位等内容；④检测目标是否运动，若是判断目标运动状态，是对目标进行跟踪；⑤对目标下一时刻运动位置进行预测，计算出所需要的偏移量，PC机控制云台做相应的转动，以控制目标处于摄像头较好的视场内292007-01-17西安工业大学图像处理与预测控制流程读取图像数据图像阈值分割二值化形态学去噪，填充孔洞计算目标图像位置预测下时刻的运动位置获取偏移量云台俯仰，水平运动初始化滤波器参数修正302007-01-17西安工业大学云台速度测试在距离云台70厘米的白色背景上画上一黑色竖线作为标记，令云台上的摄像头正对背景，图像边缘与竖线刚好相重合，使云台水平转动一定的时间，并拍摄转动前后的图片。然后查看转动前后图像的灰度值对两副图像比较计算黑色竖线标记走过的像素数。同样可以用此方法测定俯仰方向的速度。最后经过多次统计得到的结果为水平方向为29像素/秒，俯仰方向为19像素/秒。312007-01-17西安工业大学322007-01-17西安工业大学云台控制方法假设云台的水平方向转动速度为像素/秒，俯仰方向转动速度为像素/秒。计算云台水平方向转动时间和俯仰方向转动时间，即，，实现对云台的控制调整摄像头指向。hVfVhtft'hft=XV'fft=YV1234567X'Y'XY332007-01-17西安工业大学采样时间测试测试每帧图像处理、运动估计、跟踪运行时间实验采用了四组数据进行比较，由于云台运动时间有差别所以每次递推过程所花费时间也有所差别，如上表所示，基本上每递推一次所用时间都在0.3秒左右，所以本系统为了稳定跟踪，设定采集时间为0.5秒。帧数2468101214161820第一