基于图像的昆虫自动识别与计数研究进展

中国农业科学2011,44(14):2886-2899ScientiaAgriculturaSinicadoi:10.3864/j.issn.0578-1752.2011.14.005收稿日期：2010-11-03；接受日期：2010-12-28基金项目：国家自然科学基金（31071678）、浙江省重大科技项目（2010C12026）、中央级公益性科研院所基本科研业务费专项资金项目（2009RG004-2）、宁波市科技项目（2010C10044）联系方式：姚青，E-mail：[e-mail]。通信作者唐健，Tel：[phone]；E-mail：[e-mail]基于图像的昆虫自动识别与计数研究进展姚青1，吕军1，杨保军2，薛杰1，郑宏海3，唐健2（1浙江理工大学信息电子学院，杭州310018；2中国水稻研究所水稻生物学国家重点实验室，杭州310006；3浙江象山县农林局，浙江宁波315700）摘要：随着计算机技术的快速发展，现代农业逐步走向数字化、精准化和智能化，昆虫自动识别和计数成为国内外研究的热点。论文综述了国内外基于图像的昆虫自动识别与计数技术研究的主要方法和应用，概述了各种方法的原理，比较了它们的优缺点，最后讨论了存在的问题及研究展望。关键词：昆虫自动识别；昆虫计数；图像处理；特征提取；模式识别ProgressinResearchonDigitalImageProcessingTechnologyforAutomaticInsectIdentificationandCountingYAOQing1,LÜJun1,YANGBao-jun2,XUEJie1,ZHENGHong-hai3,TANGJian2(1CollegeofInformationandElectronics,ZhejiangScience-TechnologyUniversity,Hangzhou310018;2StateKeyLaboratoryofRiceBiology，ChinaNationalRiceResearchInstitute,Hangzhou310006;3XiangshanAgricultureandForestryBureau,Ningbo315700，Zhejiang)Abstract:Astherapiddevelopmentofinformationtechnology,digitization,precisionandintelligenceareimportantcharacteristicsformodernagricultureandautomaticidentificationandcountingofagriculturalinsectshasbecomeahotresearchtopic.Mainmethodsandapplicationsforautomaticinsectidentificationandcountingbyimageprocessingtechnologywerereviewed.Theadvantagesanddisadvantagesofthesemethodswerecomparedandtherelevantproblemsandprospectwerealsodiscussed.Keywords:automaticinsectidentification;insectcounting;imageprocessing;featureextraction;patternrecognition准确及时地识别与计数昆虫是监测农业害虫信息（发生种类、发生数量和发生时间）和害虫预测预报的一个重要前提。目前，昆虫识别主要依靠人的经验、或通过查阅相关专业书、或通过昆虫分类学家鉴定等手段；昆虫计数主要依靠人为计数。依靠人工识别与计数昆虫存在劳动强度大、非实时性和效率低等问题。近十几年来，农业害虫发生严重、虫口密度大、发生种类多，加上中国农民植保知识缺乏、有经验的昆虫分类专家和基层植保人员较少，不能满足当前害虫发生监测的需求，从而无法实现农业害虫准确预测预报。因此，开发一些快速、准确的昆虫自动识别和计数方法，将有助于提高昆虫识别与计数的准确率和效率，减少虫害带来的损失，进而促进精准农业的实施，提高昆虫知识的科普水平。计算机、图像处理和模式识别等技术和理论的飞速发展，为实现昆虫自动识别与计数提供了基础。基于图像的昆虫自动识别与计数技术具有节省劳力、快速和智能化等优点，已成为昆虫识别与计数研究领域的热点，国内外已取得了一些较好的结果和进展，有些方法和系统已得到应用。本文综述了国内外基于图像的昆虫自动识别与计数技术的研究成果，并比较这些方法的优缺点，旨在对致力于该领域的研究人员提供参考。1昆虫自动识别与计数的总体研究思路基于图像的昆虫自动识别与计数研究属于多学科14期姚青等：基于图像的昆虫自动识别与计数研究进展2887交叉研究，涉及昆虫学、图像处理技术、模式识别和人工智能等。国内外学者利用这些技术和理论对昆虫自动识别与计数做了一些研究，研究对象从昆虫标本[1-2]到活体昆虫[3]，研究目的也从单纯的昆虫分类[4-5]到实际应用[6-7]。虽然研究对象和研究目的的不同，导致具体采用的方法有所不同，但基于图像的昆虫自动识别与计数的研究步骤一般都包括昆虫图像采集、图像预处理、昆虫特征提取与优化、模式识别和计数等模块（图）。图基于图像的昆虫自动识别与计数流程图Fig.Theflowdiagramofautomaticinsectidentificationandcountingbyimageprocessing2昆虫图像采集与预处理2.1昆虫图像采集清晰的昆虫图像，可以为后续的图像分割和识别计数起到事半功倍的效果。因此，针对不同的昆虫对象，采用不同的图像采集装置和环境。对个体比较大的昆虫标本进行图像采集，一般使用数码相机或数字摄像机。于新文等[8]采用数码相机拍摄昆虫标本图像，为使昆虫标本的表面照度一致，在木箱内顶部安装对称的节能灯，并在内部用复印纸覆盖以增加光的漫射效果。对于体型较小的昆虫，一般利用显微摄影装置。Larious等[9]在采集体长大约为5.2mm的石蝇幼虫图像时，采用鹅颈灯作为实验光源，并通过安装柔光镜调节整个环境的光照均匀，以及减少光谱反射和阴影的影响，由电脑控制传输和旋转幼虫标本，利用leicaMZ9.5高性能立体显微镜获取石蝇幼虫图像。对于藏在谷物颗粒内部或外部的储粮害虫，一般采用软X射线[10-11]和近红外成像技术[12-14]采集储粮害虫的图像；徐昉等[15]利用取样器摄取储粮样品，并通过传送机构控制粮食样本匀速地经过均匀、恒定的CCD视区，实时地采集粮食样本的图像序列，进而结合图像处理方法实现储粮害虫的在线实时检测。在昆虫图像采集过程中，采集环境可分为室内和自然环境两种。由于室内环境稳定，只需建立合适的光照环境就能获取清晰的昆虫图像。对于自然环境下的活体昆虫，由于易受到外界光照、泥土、风吹等因素的影响，一般采取捕捉样本后室内拍摄和自然环境拍摄两种。刘德营等[16]选用高压汞灯，将诱虫幕布悬挂在灯下，当有飞虱停落在幕布上，直接捕捉活体飞虱标本，并放在室内载物台上，实验光源采用对称、均匀的LED光源，灯箱内壁为白色以增强整个环境光照稳定性，最后利用彩色数码摄像机获取飞虱实时图像。Park等[17]利用数码相机拍摄水稻田间褐飞虱图像，利用图像处理方法实现了对飞虱种群密度的估计。随着田间实际应用的迫切需求，越来越多的学者开始致力于田间活体昆虫的研究，但如何减少外在环境干扰，提高图像采集环境的稳定性进而获取清晰的田间活体昆虫图像仍需要进一步的研究。2.2图像预处理通常情况下，自然条件下采集的昆虫图像易受到光照、风吹、残渣以及拍摄角度等因素的干扰，影响后期的识别与计数结果。因此需要对昆虫图像进行预处理，方法主要包括图像增强、边缘检测、图像分割等操作。2.2.1图像增强在室外昆虫图像采集过程中，由于孤立点、光照不均匀等因素造成图像质量不高。因此，需要通过图像增强来提取感兴趣的信息。图像增强的实现包括频率域法和空间域法两大类。2888中国农业科学44卷频率域法主要通过图像平滑实现，其主要目的是消除或减弱孤立点、随机噪声等。在昆虫识别与计数过程中，平滑处理可以通过邻域平均法、中值滤波法和小波去噪等实现。张孝远[18]通过对农田害虫图像去噪实验发现，邻域平均法虽然对噪声抑制能力很强，但不能消除图像孤立点，且给图像带来一定程度的模糊，而中值滤波不仅有效地平滑噪声，还能够锐化模糊图像的边缘。根据噪声经过小波变换后能量随着尺度的增加而迅速减少，且在不同尺度上的小波变换高度不相关等特性，黄凌宵等[19]将小波分析应用于储粮昆虫图像去噪中，利用独立阈值去噪、强制阈值去噪和默认阈值去噪3种小波去噪方法分别对含有高斯噪声和椒盐噪声的昆虫图像进行去噪，结果发现独立阈值去噪的效果最优。但图像去噪效果的好坏，有时会受约于信号与噪声的相似度，如果很相似，图像去噪效果就会减弱。因此，不同昆虫对象所采用的去噪算法有待于进一步的研究。图像空间域法主要通过点运算实现，点运算算法即灰度级校正、灰度变换和直方图修正等，目的或使图像成像均匀，或扩大图像动态范围，扩展对比度。由于光照不均匀造成棉铃虫图像局部暗淡、对比度小，于新文等[8]利用对比度拉伸使得棉铃虫图像灰度分布变宽，达到图像增强的效果。2.2.2边缘检测边缘是图像最基本的特征，是周围像素灰度有阶跃变化或屋顶变化的像素集合，是图像分割、区域形状特征提取、目标区域识别的重要基础。常用的边缘检测算子有Sobel算子、Roberts算子、Canny算子、Log算子、Prewitt算子和Laplace算子等。孙怀斌等[20]、李海军等[21]、Cho等[22]利用Prewitt、Sobel、Laplace等算子对蝶类、蚜虫等昆虫进行边缘检测，通过不同算子提取纹理特征的能量、熵、惯性矩和局部平稳4个参数值并比较结果得出，基于Laplace算子的边缘检测纹理性优于其它几个算子。候慧芳等[23]利用支持向量机两类分类思想，分辨出图像的背景和目标，从而清晰、准确地分割出储粮昆虫边缘。王正宏等[24]采用分形理论检测林业害虫的边缘，并与基于Sobel算子、Roberts算子、Prewitt算子的检测效果相比较得出，基于分形理论的图像边缘检测不仅对噪声有很好的抑制性能，而且边缘细节连续性较好，但如何选取合适大小的窗口和步长，以及边缘纹理较粗等问题仍需要进一步的研究。由于昆虫图像边缘是多样的，而传统的形态学边缘检测只采取一种结构元素，只有与该结构元素形状、大小相同的模式才能被提取出来，而其它即便有细微差别的模式也不能被提取，刘军等[25]提出一种基于多结构元素的方法对玉米螟等昆虫图像进行边缘检测，研究表明利用多结构元素提取图像边缘特征不仅能提取多样的图像边缘还能达到去噪的效果。2.2.3图像分割图像分割是图像处理的关键环节之一，是按照图像的某种特性将图像分成互不相交的区域并提取关键感兴趣部分的过程。因此，能否有效的对昆虫图像分割获得感兴趣的信息直接影响到最终识别与计数结果的准确性。昆虫图像分割包括背景与目标昆虫分割、目标昆虫之间分割两种。背景与目标昆虫的分割方法一般包括阈值法[26]、边缘流法、小波分析法等。张洪涛等[27]、罗涛华[28]、于新文等[29]采用直方图阈值法、自适应阈值法、相对熵阈值法等方法分别实现了储粮昆虫、鳞翅目昆虫的图像分割，但阈值的选定直接影响这些方法的分割效果。因此，李小林[30]提出基于边缘流的图像分割算法解决阈值难确定的不足。Zhao[31]、张卫芳等[32]分别利用Gabor小波以及图割理论用于储粮害虫图像分割中，取得了相对满意的效果。近年来，随着计算机各种理论的不断成熟，国内外学者已将数学形态学[33]、多分辨率分割等算法用于昆虫图像分割中，取得了较好的分割效果。黄小燕等[34]、张学庆等[35]将昆虫触角