目标分割和分类研究

摘要I数字图像处理作业题目：目标分割和分类研究学号：1020080073姓名：林佰柱导师：陈邦兴学院：电子与信息工程学院专业：通信与信息系统联系方式：13816151436摘要II摘要随着现代交通迅猛发展和人民的生活水平提高，在地铁等复杂场景的客流安全成为日益重要的问题。目前，国内人群密集区域密集程度获取和人员安全等都是通过工作人员监控摄像机或者实地监控实现的。长时间的监控，容易导致工作人员身心疲惫，并严重浪费人力和物力等。本文对地铁等密集场所信息提取具有实际应用意义。得益于现代计算机技术的飞速发展，通过计算机技术来解决此问题已成为一种可能。在复杂场景下通过计算机和视频处理技术，可以获得场景中人群的密度、流量和速度等信息。该方法只需摄像头、板卡和计算机等硬件设备，维护升级方便。本文对图像密度等级分类、人脸检测和人脸跟踪技术展开深入研究，分析比较了各种算法的优缺点，并提出了多种改进算法。本文主要分为三个模块，图像密度等级分类、人脸检测和人脸跟踪。对于图像密度等级分类模块，根据单位空间人群数量，将图像分为低密度、中低密度、中等密度、中高密度和高密度五个等级。目前常采用的算法为首先对图像进行特征提取，然后神经网络对特征提取的结果进行分类。本文主要依据灰度共生矩阵(GreyLevelDependencyMatrix,GLDM)来对图像进行特征提取，针对此特征提取算法不足之处，本文提出了特征提取的改进方法，并采用独立成分分析(IndependenceComponentAnalysis,ICA)聚类算法对特征结果进行聚类，再应用神经网络对聚类结果进行分类。对于人脸检测模块，主要应用AdaBoost算法对人脸进行检测，以此来达到计算流量的目的。在人脸跟踪模块，对人脸平面进行标定，并针对人脸平面标定点较少等难点，本文提出了一种对标定点要求少、简单但是准确性高的标定算法。根据人脸检测模块得到的结果，使用改进的匹配算法对人脸进行跟踪。本文主要针对地铁等复杂场景，对图像密度等级分类；通过人脸检测达到计算流量的目的；并对图像进行标定和对人脸进行跟踪来计算人群速度。大量的现场数据实验结果表明，本文所采用的算法的密度等级分类、流量统计和速度计算的准确率均达到93%以上，具有一定的实用价值。关键词：复杂场景，密度等级分类，特征提取，人脸检测，人脸跟踪第1章绪论本章主要介绍了课题的选题背景与实际意义，系统介绍了人群密度等级分类、人脸检测和人脸跟踪等技术的发展现状和主要难点，最后介绍本文主要工作、创新以及章节安排。1.1研究背景在地铁等人群密集区域，当人群容量一旦超出硬件环境支持的能力和管理调度指挥的承受能力时，将有可能产生人员安全隐患。因此，如何确保人身安全，做好安全防范意识，日趋重要。智能交通系统(IntelligentTrafficSystems,ITS)是通过对现行交通进行监控和分析，并进行科学化改造与完善，所达到更和谐、更有效地运用交通来满足社会需求的方式。对地铁等密集场地视频进行有效信息提取是智能交通的一个组成部分。ITS是对通信、控制和信息处理技术在运输系统中集成应用的统称，它产生的综合效益表现为挽救生命、时间和节省金钱、降低能耗以及改善环境等。它有助于最大程度上发挥交通基础设施效能，提高交通运输系统的运行效率和服务水平，为公众提供高效、安全、便捷和舒适的出行服务。ITS这一概念始于20世纪80年代，其中最具代表性的是美国智能车辆道路系统(IVHS，1992年)，欧洲高效安全交通系统计划(PROMETHEUS,1986年)，欧洲交通安全道路体系(DRIVE，1989年)和日本道路交通信息通信系统(VICS，1995年)。随着我国改革开放不断深入和国民经济快速发展，接踵而来的是交通中由于高人群密度等产生的人员安全和事故需要急待解决，因此在中国发展ITS势在必行。随着科技的不断进步，可以将视频处理技术应用在智能交通系统中。采用视频处理技术的智能交通系统由电子摄像机、图像采集卡和计算机等组成。与磁感应器等其它检测方式不同，它安装卸载方便，成本低，可以多点布设。但是它受系统软、硬件限制，受恶劣天气、灯光变化等因素影响检测准确率。尽管如此，随着图像处理技术的不断进步和硬件条件的不断改善，视频处理智能交通技术将得到深入发展和更为广泛的应用。基于视频处理技术的智能交通系统占有越来越重要的地位，是未来智能交通发展的重要方向。目前此种方法无论在室内还是室外都表现出良好的势头，只是在雨雪天、雾天等天气的系统鲁棒性上有待加强。但是无论如何，基于视频处理技术的智能交通系统已经是大势所趋，因此如何提高视频处理技术的准确率和鲁棒性等是当代智能交通发展的重要研究方面。随着ITS的不断发展，它涉及的方面越来越广，已经不仅仅局限在道路交通信息检测等，还开始涉及人的主动安全等方面，如汽车自主驾驶，地铁客流量信息检测也是其中主要方面。地铁客流量信息检测主要检测客流量密度、流量和速度等信息。它为客流人身安全提供保障，为地铁相关交通部门后续建设提供理论依据。1.2国内外研究现状目前密度等级分类是客流量信息检测的一个重要信息量。人脸检测和人脸跟踪是目标检测和目标跟踪的重要研究方面，为客流流量和速度信息提供基础。本节对此三个部分的国内外研究现状分别进行介绍。1.2.1密度等级研究现状在地铁等复杂场景中，人群密度等级是一个重要信息，在人群密度高于正常密度时发出警报，保障人群安全。本文所探讨的密度计算主要是根据图像单位面积内人数的多少，将图像分为密度不等的五个等级。密度等级分类主要目的在于保障人身安全，并为地铁交通相关部门规划地铁布局提供理论依据，因此密度等级分类具有重要研究价值。通过估计人群密度，可以粗略地知道人群整体所处的状态，从而对人群的行为做出判断，以利于更安全、更有效的管理人群。除了人群管理外，它还可用于：更合理地安排各个时段的在岗工作人员数；更有效地管理人群流动繁忙场合的交通。传统的人群监控靠闭路电视通过监控某一场景实现，它需要用户自身对场景图像做出判断。这种方法主观性很强，不能进行定量分析。红外传感器方法是有别于图像处理的一种方法。当红外传感器检测到人体时，可以在图像上体现出来。密度不同，表现出来的图像也不同。但是当人群密度高于中等人群密度时，经过红外传感器处理后表现出来的图像已无很大差别，不能再区分密度。现代数字图像处理技术的发展，为解决上述问题提供了途径。将图像处理、模式识别、计算机视觉等技术应用在人群监控中，可以达到对人群的自动、客观、实时和定量分析。自智能化人群监控技术提出以后，人们对其进行了广泛研究，目前已有很多算法，一些实用的系统也开始应用在地铁等场合的客流监控中。但是，基于视频处理的客流密度分析遇到了一些困难。密度等级分类的主要难点在于：(1)由于地铁人群密度高于正常密度时，很难判断人群密度具体属于哪种等级；(2)如何避免邻居类间误判也是需要急待解决的问题。基于视频处理的密度等级分类在近几年有了较大的发展，代表人物是A.N.MARANA等[1,3,4]。对人群密度等级分类展开深入研究，主要研究理论有两个方面，一方面根据分形算法进行客流的密度等级分类，另一方面根据图像纹理特征提取后对提取的特征向量再分类的概念进行密度等级分类。分形算法[1]是一种比较简单的获得人群密度的方法。分形算法可以被广泛的应用在图像处理、图像分析、视觉和模式识别中。分形维数基于尺度测量的思想，用来衡量一个几何集或自然物体不规则和破碎程度的数，是由标度关系得出的一个定量的值。分形维数用来计算图像密度等级的主要原理是不同密度等级的图像所表现的边缘图像不同，根据不同膨胀尺寸的边缘图像可以用来计算图像的分形维数。纹理是一幅图像有别于其它图像的重要特征。一般来说，纹理图像中灰度分布具有某种周期性及规律性。人在区分不同图像的密度等级时，也是根据纹理不同来区分。纹理特征应用广泛，可以用在阴影检测、卫星云图和森林监控等场景中。目前常用的计算纹理的方法主要有GLDM[2,3,4]、切比雪夫运动场[2]、直线分割[5]、高斯马尔科夫随机场[6]、傅里叶变换[5]和小波变换[7,8]等，其中前四种属于时域的纹理特征提取，傅里叶变换和小波变换是频域的纹理特征提取。经过纹理特征提取的结果需要经过分类器分类才能得到分类结果。目前比较常用的分类器有BP神经网络、支持向量机(SupportVectorMachine,SVM)[8,9]和自组织神经网络[2]等。在基于视频处理的密度等级分类算法中，如何保证高密度情况下密度等级分类的准确性是目前密度分类的一个重点和难点。1.2.2人脸检测研究现状人脸检测是目标检测的一部分。人脸检测在视频监控中具有重要的作用，是视频安全监控中一个重要方面，为人脸识别提供基础。本文通过检测人脸来计算流量。为了计算单位时间内通过单位横截面的人数，对人脸进行检测是比较直观并且准确性高的一种方法，并且可以为后续的人脸跟踪提供基础。人脸检测一直是图像处理的一个重点和难点。人脸检测问题最初来源于人脸识别，人脸检测是自动识别系统中一个关键环节，但早期的人脸识别主要针对具有较强约束条件的人脸图像(如无背景的图像)，往往假设人脸位置已知或容易获得，因此人脸检测问题并未受到重视。随着人脸检测应用场景越来越复杂，有基于内容的检索、数字视频处理和视觉检测等，由此产生的一系列需要解决的问题使得人脸检测开始作为一个独立的课题受到研究者的重视。人脸是人类具有相当复杂的细节变化的自然结构目标，此类目标的检测问题挑战性在于：(1)人脸由于外貌、表情、肤色等不同，具有模式的可变性；(2)人脸上有可能存在眼镜、胡须等附属物；(3)作为三维物体的人脸的影像不可避免地受由光照产生的阴影影响。因此，如果能够找到解决这些问题的方法，成功构造出人脸检测与跟踪系统，将为解决其它类似的复杂模式检测问题提供重要线索。目前，国内外对人脸检测问题的研究很多。国外比较著名的有MIT，CMU等；国内有清华大学、中国科学院计算技术研究所和中国科学院自动化研究所等。并且，MPEG7标准组织已经建立了人脸识别草案小组，人脸检测算法也是一项征集的内容。随着人脸检测问题研究的深入，国际上发表的有关论文数量也大幅度增长。根据肤色进行人脸检测是目前较流行的一种算法。文献[14,15]提出了使用颜色的方法来检测人脸。文献[14]使用多个神经网络分类器来分类颜色直方图，并对分类结果输入神经网络进行再分类。文献[15]使用RGB颜色空间来检测人脸，并对候选区域进行眼、嘴、脸型轮廓检测，达到精确检测的目的。肤色的方法简单易行，但是当非人脸区域颜色与人脸颜色相似的情况下，容易发生误检。模板匹配也是目前较流行的人脸检测算法。文献[30]采用双眼与人脸模板匹配的算法并引入两个分类器进行人脸检测。第一个分类器检测非人脸区域；第二个分类器对第一个分类器分类结果进行分类，检测出人脸。文献[29]采用肤色边缘分析和人脸模板匹配的算法检测人脸。首先采用肤色边缘分析，粗略得到肤色边缘图一；然后利用一维人脸模板匹配肤色边缘图一，进一步准确得到人脸区域，得到肤色边缘图二；最后利用二维人脸模板匹配肤色边缘图二，精确得到肤色边缘图三，即人脸边缘图。文献[29]采用的算法能够实时处理每帧图像，并且检测准确率达到92%。对人脸明显特征区域(眼、口、鼻等)进行检测是目前常用的人脸检测算法之一。文献[31]对人脸嘴唇区域进行特征提取，作为区分人脸区域与非人脸区域的方法。对人脸明显特征区域进行特征提取的算法一般作为人脸检测的辅助算法，当粗略检测出候选区域后，对候选区域进行眼口鼻特征提取，进一步准确检测。基于分割的方法也是目前常用的人脸检测方法之一。文献[32]使用了一种基于分割的人脸检测算法。首先分割非人脸区域和人脸区域以减少检测时间，后续步骤只需对原来图像1%区域进行人脸检测，大大缩小了检测时间。基于分类器和训练方法的人脸检测也是目前常用的一种方法。文献[36,37]基于AdaBoost的方法检测人脸。文献[33,35]采用神经网络分类器的方法检测人脸，并且在图像质量较低的情况下取得了较好的效果。文