基于内容的大规模图像检索关键技术研究

华中科技大学博士学位论文基于内容的大规模图像检索关键技术研究姓名：陈永健申请学位级别：博士专业：系统分析与集成指导教师：王乘2011-02-27华中科技大学博士学位论文I摘要在商业、政府、学术、医疗等领域，数字图像正在成为一种重要的信息载体和信息表现形式。随着数字技术、传感技术和网络技术的飞速发展，图像的数量和内容越来越丰富。面对着这样一个巨大的、实时扩展、时刻变化的数据库，如何从中检索到自己感兴趣的相关信息，就显得尤为重要。面对这个需求研究人员开始越来越多地关注大规模图像的有效检索问题。在早期的研究中，研究者们将注意力集中在基于关键字标注的图像检索技术，利用成熟的文本检索技术取得了突破性的进展。但是随着研究的不断深入和图像规模的迅速增大，早期方法的局限性越来越明显。近几年研究者们提出基于内容的图像检索方法，利用互联网上大量的图像信息，以计算机视觉、信息检索、统计学习等理论为基础，发展图像内容的提取和检索技术。该方法目前虽然取得了一定的进展，但是面对目前日益增长的海量图像仍存在不足。针对基于内容的大规模图像检索问题，本文详细分析了现有方法存在的缺点和不足，吸取了计算机视觉理论、信息检索理论和统计学习理论中的最新成果，围绕基于内容的大规模图像检索问题中的图像信息提取、压缩和检索等技术内容展开了深入、系统的研究与实践，目标旨在研究适用于不同背景的大规模图像检索算法，提高在处理海量图像数据时的有效性和实时性。本文的主要研究工作如下：1）针对基于词袋模型的大规模图像检索方法，提出了基于随机窗局部特征和随机簇分类器的快速图像检索方法，并利用图形处理器进行并行加速。该方法避免了复杂的图像局部特征提取算法以及高维向量检索方法，简单有效，并且具有极高的并行性。与传统的基于词袋模型的大规模图像检索方法相比，有效的提高了编码和检索的速度。2）通过分析基于积量化的近似最近邻搜索方法的优缺点，提出了基于残差量化的近似最近邻搜索方法，并用于基于全局描述符的大规模图像检索。该方法弱化了积量化方法对原始数据的统计假设，在结构化和非结构化向量数据中均能保持较高华中科技大学博士学位论文II的正确率：在结构化数据上的正确率略高于积量化方法，而在非结构化数据上的正确率远远高于积量化方法。同时提出了基于残差量化的不完全搜索策略，大大加快了大规模数据检索时的速度。3）针对残差量化方法训练和编码计算量大的问题，设计了一种基于投影残差量化的近似最近邻搜索方法，结合线性降维和残差量化的优点，在维持与残差量化方法相当的正确率的前提下，提高了训练和编码的效率。4）针对基于变换编码的近似最近邻检索方法的不足，结合矢量量化技术，提出了基于变换编码的不完全搜索方法，在维持检索精度的前提下提高了检索的速度。关键词：大规模图像检索，特征描述符，高维向量索引，近似最近邻搜索，残差量化华中科技大学博士学位论文IIIAbstractWiththeprevalenceoftheInternetanddigitalcameras,therearemoreandmoredigitalimages.Intheareassuchascommerce,government,academia,andhospitals,digitalimageisbecominganimportantapproachforinformationrepresentation.Thelarge-scaledigitalimagesbroughttwoeffects,ontheonehand,thehugeamountofinformationattractsmoreandmoreusers,andontheotherhand,itishardforuserstofindtheexactinformationtheyreallyneedfromthelargeimagedatabase.Therefore,efficientandeffectivelarge-scaleimageretrievalmethodshavebecomeanimportantresearchdirectioninbothacademicandcommercialcircles.Theearlyresearchmainlyfocusonthetext-basedimageretrievaltechnologiesandachievesignificantimprovementswiththebenefitsofexistingmaturetechnologiesfortextretrieval.Withthedevelopmentofresearchandtheincreasingscaleofdigitalimages,thelimitationofearlymethodismoreandmoreobvious.Recentresearchersproposedcontentbasedimageretrievalsystem,developedimageinformationextractionandindexingmethodsbasedonthetheoriesofcomputervision,informationretrievalandstatisticallearning.Focusingonthecontentbasedlarge-scaleimageretrievalproblem,weanalyzetheadvantagesanddisadvantagesoftheexistingapproaches,thenwetakefulladvantagesofcomputervision,informationcoding,andstatisticallearningtoinvestigatethemethodsforextracting,compressingandindexingimagefeatureinformation.Thegoalistoimprovetheefficiencyandeffectivenessoflarge-scaleimageretrievalsystem.Themainstudiesandachievementsofthethesisarelistedasfollowing:1）Focusonthebag-of-featurebasedlarge-scaleimageretrievalmethods,weproposeanefficientimageretrievalmethodbasedonrandomsubwindowfeatureextractionmethodandrandomfernsclassifier,andparallelacceleratethemethodbygraphicprocessingunit.Ourmethodavoidthecomplexlocalimagedescriptorcomputationandhighdimensionalvectorindexing,itissimple,fastandhighlyparalleled.Itsignificantlyimprovesthetrainingandrecognitionspeedwhencomparingwithtraditional华中科技大学博士学位论文IVmethods.2）Byanalyzetheadvantagesanddisadvantagesoftheproductquantizationbasedapproximatenearestneighborsearchmethod,weproposeanefficientapproximatenearestneighborsearchmethodbasedonresidualvectorquantization,anduseitforglobaldescriptorbasedlarge-scaleimageretrieval.Itweakensthestatisticalassumptionintheproductquantizationmethodandmaintainshighaccuracybothonstructuredandunstructuredvector:theperformanceonthestructuredvectorslightlyoutperformsthatofthequantizationmethodwhiletheperformanceonunstructuredvectorsignificantoutperformsthatofthequantizationmethod.Wealsoproposeanon-exhaustivesearchstrategybasedontheresidualvectorquantizationtoimprovethesearchefficiency.3）Focusonthehighcomputationcomplexityinlearningandencodingstagesofresidualvectorquantizationmethod,wedesignanapproximatenearestneighborsearchmethodbasedontheprojectedresidualvectorquantizationwhichcombinestheadvantagesoflineardimensionalreductionandresidualvectorquantization.Itsignificantimprovestheefficiencyoflearningandencodingwithhighsearchaccuracy.4）Focusonthedisadvantagesoftransformcodingbasedapproximatenearestneighborsearchmethod,weproposeanon-exhaustivesearchmethodbasedontransformcodingandvectorquantization.Theeffectivenessofourmethodisdemonstratedwithseveralexperimentalresults.Keywords:large-scaleimageretrieval,featuredescriptor,highdimensionalindexing,approximatenearestneighborsearch,residualvectorquantization独创性声明本人声明所呈交的学位论文是我个人在导师的指导下进行的研究工作及取得的研究成果。尽我所知，除文中已表明引用的内容外，本论文不包含任何其他人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式表明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□，在年解密后适用本授权书。本论文属于不保密□。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：年月日年月日华中科技大学博士学位论文1绪论1.1课题的目的和意义本文展开的研究工作主要围绕图像检索技术中基于内容的大规模图像检索问题展开的。论文的目的是以计算机视觉理论、信息检索理论、统计学习理论等知识作为理论基础，通过图像处理技术和信息检索技术等最新的计算机技术作为手段，进行实用性的图像检索系统中大规模图像数据