多摄像头目标检测与跟踪方法研究

华中科技大学硕士学位论文多摄像头目标检测与跟踪方法研究姓名：颜杰申请学位级别：硕士专业：通信与信息系统指导教师：邱锦波2011-01-18华中科技大学硕士学位论文I摘要视频跟踪是计算机视觉领域的一个基础的研究课题，也一个非常具有挑战性的研究方向。在当前的现实生活中，视频跟踪技术已经在各种领域内得到了广泛的应用，其中包括视频监控、军事工程、交通管理、智能机器人和人机交互等，具有很高的学术研究和应用价值。单摄像头的视频跟踪系统存在很多无法解决的问题，其中包括目标遮挡、摄像头视野有限、不能进行全方位的跟踪等问题，而多摄像头的跟踪系统能够很好的克服这些问题。因此，多摄像头目标检测与跟踪正在成为研究的热点。本文在前人研究的基础上，重点研究了如何提高多摄像头之间目标确认的精度，以及如何在保证对目标准确跟踪的条件下，降低整个系统的数据传输量和计算量。本文首先分析多摄像头跟踪领域中，摄像头之间目标确认问题，提出了一种在基于平面单应性的确认技术中，引入目标距离特征的新方法。由于目标距离不受平面单应性约束条件的影响，加入目标距离特征能有效的提高摄像头之间目标的确认精度。实验结果表明，在基于平面单应性的确认算法中，增加目标距离特征后，确认精度得到了一定的提高。为了有效地减少多摄像头跟踪系统的数据传输量和计算量，本文还提出了一种基于昀优摄像头选择的跟踪算法，并从理论分析和实验上，对该算法的性能进行了评估。实验结果显示，该算法在不降低对目标跟踪准确度的情况下，有效地降低整个系统的数据传输量和计算量。关键词：多摄像头，目标检测，目标跟踪，目标确认，昀优摄像头选择华中科技大学硕士学位论文IIAbstractThevisualtrackingisabasicresearchtopicinthefieldofcomputervision,butalsoaverychallengingresearchdirection.Inthecurrentreallife,visualtrackingtechnologyhasbeenwidelyappliedinvariousfields,includingvideosurveillance,militaryengineering,trafficmanagement,intelligentrobotsandhuman-computerinteractionandsoon,andhashighvalueofacademicresearchandapplication.Single-cameravisualtrackingsystemhasmanyunresolvedissues,includingthetargetoccluding,thelimitationofcamerafieldofvision,cannotbeomnibearingtrackingandsoon,butmulti-cameratrackingsystemcanwellovercometheseproblems.Therefore,Multi-cameraobjectdetectionandtrackingisbecomingahotresearch.Basedonpreviousresearch,thepaperfocusonhowtoimprovetheaccuracyoftargetidentificationbetweenmulti-camera,andhowtoreducedatatransmissionandcomputationintheoverallsystem,ensuringtheaccuratetargettracking.Firstofall,thepaperanalyzesthetargetrecognitionproblembetweencamerasinthefieldofmulti-cameratracking,andputsforwardanewmethod.Themethodintroducesthefeatureoftargetdistanceintothehomography-basedtechniqueofidentification.Astheplanehomographyconstraintscannotimpactthedistancebetweentargets,addingthedistancefeaturecaneffectivelyimprovethetargetidentificationaccuracybetweendifferentcameras.TheExperimentalresultsshowthatthenewmethodcanimprovetheaccuracyoftargetidentification,whenthehomography-basedrecognitionalgorithmisaddedthedistancefeature.Inordertoeffectivelyreducedatatransmissionandcomputationinthemulti-cameratrackingsystem,thepaperalsoproposesanewtrackingalgorithmbasedontheoptimalcameraselection,andevaluatestheperformanceofthisalgorithmfromthetheoreticalanalysisandexperiment.TheExperimentalresultsshowthatthealgorithmcaneffectivelyreducethetransmissionandcomputationofthetrackingsystem,butnotlossoftrackingaccuracy.Keyword:multi-camera，targetdetecting，targettracking，targetidentification，theoptimalcameraselection独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。本论文属于（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日保密□，在年解密后适用本授权书。不保密□。华中科技大学硕士学位论文11绪论1.1研究背景及意义视频图像能够对现实生活中的客观事物进行生动、形象、直观和连续的表达，因此被广泛应用在工业生产、安防、智能机器人和生物等领域。随着计算机网络、通信和半导体技术的迅速发展，人们越来越青睐于利用计算机视觉代替人眼对传感器得到的视频图像进行分析，获取图像中的有用信息。视频跟踪就是计算机视觉研究的一个重点，它主要是对图像传感器得到的感兴趣的目标进行跟踪。视频跟踪是许多视频应用的基础，比如交通监控、智能机器人和人机交互等，因此视频跟踪技术是目前研究的热点。在视频监控系统的昀初阶段，这类监控系统的硬件条件简单，缺乏有效的检测和跟踪算法，并且完全靠人工手动进行实时监控，监视系统只是起到了一个感应视频和显示视频的作用，后续的目标跟踪和跟踪分析，全靠监控人员长期观察众多监视器，并进行人为的判断和分析来完成。由此可以看出，在这类视频监控系统完全是人工操作，而且对监控人员来说是一项枯燥和繁重的任务，为此研究人员开始广泛研究能够对感兴趣目标进行自动跟踪的跟踪系统。经过长期的发展，当前的智能化视频监控系统已经能对检测到的感兴趣的目标进行自动和有效的跟踪，这类智能监控系统大量减少了监控人员的数量，极大的提高的工作效率和跟踪的性能。一直以来对视频跟踪系统的研究，主要是集中在单摄像头的跟踪系统中，目前存在很多问题是单摄像头跟踪系统所无法解决的，比如监控场景的目标的遮挡问题，摄像头的视野的局限问题，以及无法对目标进行三维的跟踪等。多摄像头的跟踪系统能很好的克服单摄像头跟踪系统中的这些不足之处，能对目标进行全方位、大面积、长时间的跟踪，因此，多摄像头的视频监控系统正在引起学者们的广泛关注，并得到了不断深入的研究。当前多摄像头的跟踪系统研究的一个关键问题是如何在多个摄像头中，对多个目标进行实时、高效和连续跟踪，其中涉及到如何有效地分配多个摄像头，如何融合多摄像头的数据，如何对摄像头之间检测到的共同目标进行确认，以及如何为跟踪系统设计一个昀优的跟踪算法等。因此，多摄像头跟踪系统的研究无论在学术研究上，还是在工业应用领域都有重大的意义。华中科技大学硕士学位论文21.2视频跟踪简介视觉是一个非常强大的感知机制，并得到了广泛的应用，视频跟踪就是视觉应用的一个典型例子。视频跟踪是通过视频传感器在感应到的视频帧中，检测到系统感兴趣的目标，通过检测目标的特征（如纹理、色彩和轮廓等）来确定目标的状态，在目标不断移动过程中不断更新目标的状态，从而达到对目标的持续跟踪。在计算机视觉的研究中，视频跟踪是其昀基本和昀重要的研究要点，也是当前一个非常活跃的研究领域。视频跟踪是一个跨多学科的交叉前沿课题，它已近吸引了来自各个学科的研究者参加到对他的研究之中，其中包括计算机科学、图像处理、模式识别、IC设计、随即过程、信号处理、应用数学和统计学等。在各种基于内容分析和远程协作视频应用中，如视频监控、军事工程、交通管理、智能机器人、人机交互等，目标跟踪都是昀基本和核心的任务。在大多数视频跟踪的场景中，都会存在目标的遮挡、摄像头视野（FOV）的限制、光照的不断变化，以及混乱的背景问题等，从而使得目标的跟踪成为一个非常具有挑战性的任务。当前研究人员不断提出各种算法和技术，如背景建模算法、检测算法和跟踪算法等，来解决目标跟踪中所存在的问题。在单目摄像头的跟踪系统中，有些问题是无法通过改进算法和技术能够解决的，比如目标与目标或目标与环境之间的遮挡问题、单摄像头视野（FOV）的限制问题，这类问题的解决只有将单目摄像头的视频跟踪系统扩展为多摄像头的系统才能得到有效的解决。现实的视频跟踪应用中，比如小区的监控系统、机场的监控系统等，需要大量的摄像头来协同工作，才能对目标进行一致的跟踪。因此，利用多摄像头网络来进行多目标的跟踪成为当前视频跟踪领域的重点。多摄像头跟踪系统有许多单目摄像头跟踪系统所无法比拟的优势，比如能对跟踪的目标进行三维的重建、能在广阔的区域上实行监控、能分析和解释监控区域内的事件等。但是，多摄像头跟踪系统也会出现很多新的问题，比如基于多摄像头的目标检测、目标确认、目标跟踪和信息融合问题，这些都是当前多摄像头跟踪领域所研究的重点问题。多摄像头所组成的摄像头网络系统正在成为视频监控领域主流的方向。1.3单摄像头的视频跟踪在昀初研究视频跟踪的时，大多数研究人员是对某个摄像头所拍摄到的视频序列中的目标进行分析和跟踪。一个完整的单摄像头的视频跟踪流程包括对监控环境华中科技大学硕士学位论文3的背景建模，目标检测和目标跟踪，其中每一步都包含各种技术和方法，下面对每一步的处理算法进行简单的介绍。（1）背景建模构建和更新监控场景的背景模型是视频跟踪中所不可缺少的。背景模型一般分为图像平面的二维模型和真实世界的三维模型，三维模型一般只应用在多摄像头的跟踪系统中。由于二维模型比三维模型简单很多，因此二维模型得到了更多的应用。对于一个固定的摄像头来说，关键问题是从动态的视频序列中自动的恢复和更新