43图像检索

4.3图像检索（以图搜图）43基于内容的图像检索•问题的提出•当我们的数字图像数量很多时（达到上千张、甚至上百万张），如何快速有效地找到需要的数字图像是一项有挑战性的工作。•从20世纪70年代开始，有关图像检索的研究就已开始，当时主要是基于文本的图像检索技术（Text-basedImageRetrieval，简称TBIR），利用文本描述的方式描述图像的特征，如绘画作品的作者、年代、流派、尺寸等•那么，如何利用计算机辅助检索图像呢？（与文本检索不同，图像与图像之间的比较是一个复杂的问题）43基于内容的图像检索•传统的图像检索方法•通过图片的元数据或标引文字进行检索例：图像元数据宽度：210高度：172主题：玻璃瓶与草背景：淡灰内容：6个有草的玻璃瓶3个瓶有红色液体3个瓶有透明液体443基于内容的图像检索•传统的图像检索方法–标引文字的检索的局限性是：图片的标引文字主要靠人工输入。•对大数据量的场合（如Web资源、数字图书馆等）应用困难标引文字无法精确完整的刻画图片内容•文字描述一维线性的媒体，而图片是二维非线性的媒体•生成或利用元数据的过程实质是在两种差异很大的媒体间的翻译过程，有很大的随意性和信息损失43基于内容的图像检索•基于内容的图像检索方法一图胜千言，考虑绕过这些转换（翻译）过程直接利用图片去检索图片，这就是基于内容的检索的出发点基于内容的图像检索的英文缩写：CBIRContent-BasedImageRetrieval到90年代以后，出现了对图像的内容语义，如图像的颜色、纹理、布局等进行分析和检索的图像检索技术，即基于内容的图像检索。4综合利用颜色、纹理、形状特征，逻辑特征和客观属性等，实现图像检索43基于内容的图像检索•基于内容的图像检索方法–大量原型系统已经推出,技术正在逐步走向成熟，已经出现一些商用系统。•商用系统如：IBM的QBIC、Virage的VIRImageEngine。•原型系统如：UCB的BlobWorld（形状）、Stanford的系统（颜色）。–检索效果仍需改进。43基于内容的图像检索•相似图片搜索444•相似图片-百度43基于内容的图像检索•商品图像搜索•1.Like（被Google收购）•2.淘淘搜•3.Ebay43基于内容的图像检索•移动图像搜索和识别•1.GoogleGoggles•2.Kooaba•3.百度识别（Mobile）43基于内容的图像检索43基于内容的图像检索•OCR识图43基于内容的图像检索•基本原理•基于内容的图像检索，利用图像本身固有属性，如颜色，形状，纹理，空间布局等来表达和检索图像。443基于内容的图像检索•基于内容的图像检索系统–基于内容的图像检索系统的4种检索方式：1）利用图片样本检索（QueryByExample）•可以由用户准备图片样本•可以在图片库中浏览–系统给出各类代表图像–从系统中随机抽取（检索是一个逐步求精的过程）4•基于内容的图像检索系统–基于内容的图像检索系统的检索方式2）利用草图检索3）利用图像特征模板检索如颜色特征模板，指定各种颜色的比率等。4）以上方式结合先用草图或指定特征获取图片样本，再用图片样本检索4左侧的就是一个颜色模板举例：用颜色特征模板进行检索43基于内容的图像检索基于内容的图像检索的必要性三种层次特征描述图像内容：低层特征：颜色、纹理和形状等特征中层特征：图像中的对象、背景以及空间关系语义特征：场景、事件、情感等图像特征分类：颜色、纹理、形状和空间关系43.1基于颜色特征的图像检索•定义：颜色是一种全局特征，描述了图像或图像区域所对应景物的表面性质。•颜色特征优势和缺陷是图像物理特征中最直接的视觉特征，颜色特征非常稳定，而且颜色特征计算简单。不能很好的描述对象的空间特征•颜色特征描述方法直方图法、累积直方图法、局部累积直方图法、颜色布局法、中心矩法等。43.1基于颜色特征的图像检索•使用颜色特征进行图像检索需要解决三个主要问题：选择合适的颜色空间描述颜色特征、表示成向量以便建立索引和相似性匹配、计算距离显示结果；•颜色空间模型•颜色直方图，其检索模型，存在问题及改进•颜色矩：一阶矩、二阶矩和多阶矩；•颜色聚合向量•颜色相关图。4颜色直方图的相似性4内容匹配的主要策略三种主要颜色匹配策略•颜色比率匹配•颜色布局匹配•色彩空间匹配43.1基于颜色特征的图像检索•1）颜色比率匹配•两幅相似的图像各自所包含的各种颜色的比率是相似的，因此可以利用描述颜色构成比率的特征进行检索。如彩色直方图、累积直方图、主色调等。43.1基于颜色特征的图像检索颜色比率匹配举例2：从1万张图片中检索的结果43.1基于颜色特征的图像检索颜色比率匹配举例2：从1万张图片中检索的结果43.1基于颜色特征的图像检索2）颜色布局匹配•颜色比率匹配法的缺陷：只能描述颜色的全局统计信息，不能描述颜色的空间分布•颜色布局匹配通过比较图像与样本的颜色分布位置的相似程度进行匹配。这类匹配选取的特征如图像的分块直方图、颜色对距离直方图等。443.1基于颜色特征的图像检索彩色布局匹配举例1：从1万张图片中检索的结果43.1基于颜色特征的图像检索彩色布局匹配举例2：从901张图片中检索的结果43.1基于颜色特征的图像检索•3）色彩空间匹配•色彩空间对特征有重要影响，如在HSV空间中可以忽略亮度信息的影响。•一般来讲，在HSV空间中利用分块累积直方图的检索效果较好43.2纹理特征匹配4.3.2纹理特征匹配纹理是一种不依赖颜色或者亮度并能反映图像中同质现象的全局性特征，它描述了图像或图像区域所对应景物的表面性质。43.2纹理特征匹配4.3.2纹理特征匹配纹理图像的灰度分布具有某种周期性，即便灰度变化是随机的，也具有一定的统计特性和规律性。基本属性：•粗糙度•对比度•方向度•线像度•规整度•光滑度42.纹理特征匹配1）基本原理：•粗糙度反映纹理的尺寸42.纹理特征匹配1）基本原理：•对比度反映纹理的清晰度42.纹理特征匹配1)基本原理：•方向反映实体是否有规则的方向性。4包含多个纹理区域的图象纹理是以像素的邻域灰度空间分布为特征；是图像强度局部变化的重复模式4一些典型的纹理图象42)匹配方法：•基于统计特征的纹理分析——共生矩阵，心理学特征等•基于信号处理的纹理分析——小波变换，Gabor滤波器等•基于结构特征的纹理分析•基于模型的纹理分析——Markov随机场模型等2.纹理特征匹配4•2)匹配步骤：•从上述纹理分析的方法中得到一组描述纹理的特征量；•提取这些纹理特征的数字特征（如期望、方差等），将它们组成归一化的特征向量；•在某种距离空间内（如欧氏距）寻找给定特征向量的最近匹配。4基于统计特征的纹理特征提取•用于测量灰度级分布随机性的一种特征参数叫做熵，定义为：•用灰度级共生矩阵还可以定义能量特征、对比度特征和均匀度特征：ijjiPjiP],[log],[熵ijjiP],[2能量ijjiPji],[)(2对比度ijjijiP||1],[均匀度4一个基于统计特征的纹理匹配的例子4一个基于统计特征的纹理匹配的例子4基于结构特征的纹理分析纹理的结构分析法分为三步：图像增强；基元提取；计算纹理基元的特征参数及构成纹理的结构参数．4纹理特征匹配举例1：从1万张图片中检索的结果4纹理特征匹配举例2：从1万张图片中检索的结果44.3.3形状1)基本原理•形状是刻划物体的本质特征之一,通常与目标联系在一起，可以针对面积(可用象素点的个数计算)、环形性(即周长*周长/面积,周长也用象素点的个数表示)、主轴方向、偏心率、圆形率、连通性、正切角等形状特征进行匹配。形状通常分为两种类型：•一类是基于轮廓特性的，如傅里叶描述•一类是基于区域特性的，如几何不变矩4形状的描述方式：•通过全局形状性质来比较两个形状；–形状直方图–边界匹配–轮廓匹配•通过局部形状性质来比较两个形状；–形状参数–偏心率–球状性等444匹配方法举例：边界匹配•两种表示边界的方法•象素序列表示法：将轮廓表示成沿轮廓曲线长度的函数。•多边形近似法•三种边界匹配方法•FourierDescriptors•多边形匹配法•弹性匹配4匹配方法举例：边界匹配4匹配方法举例：边界匹配4体现图内对象之间的关系称为空间关系；空间关系的分类：拓扑、方位和距离等；基于空间关系的图像检索，首先对图像进行自动分割，划分出图像中所包含的对象或颜色区域；然后定义拓扑、方位、距离等各种空间关系；最后依据这些定义提取出每幅图像的空间关系向量。4.4.4空间4空间关系匹配4.4.4空间检测出图象中所包含的物体后，可以确定它们之间的空间关系，如拓扑、方位、距离等空间关系，然后可以利用这些空间关系进行图象检索。44基于空间关系特征检索的步骤将图像数据库中的所有图像映射为多维特征空间的点；对应每种相似性准则来定义一个距离度量；建立多维特征点的索引；将所查询的图像映射到特征空间中的一个点或一个区域，然后选取与查询点靠近或者位于查询区域范围内的点；作为检索结果，返回选择点所对应的图像。4不同图像特征的特点总结颜色特征：对图像的方向、大小等变化不敏感纹理特征：是区域中的统计特征，具有旋转不变性形状特征：与目标相关空间关系特征：不同特征的比较4•4.3.2相似度比较•颜色、纹理、形状等图像特征被提取出来后，形成特征向量，就可以利用这些特征向量来表达对应图像。相似度度量方法：•闵可夫斯基距离•二次型距离•马氏距离•库尔贝克-莱博乐散度•杰弗里散度4•4.3.3索引方案建立•图像特征向量具有较高的维度，因此不适合传统的索引结构，建立一个高效的索引方案前，通常需要降维。降维方法：•主分量分析•K-L变换4•4.3.4用户交互•图像检索实现的是“人机交互、相互反馈”的方式，图像检索系统包括查询说明部分和结果浏览部分。查询说明：•类别浏览•概念查询•草图查询•示例查询•局部查询4数字媒体资产管理65GoogleGoggles•名片4条形码QBIC允许使用颜色,颜色比例,纹理和草图以及关键词等视觉信息查询大的数据库.在它的新系统中,基于文本的关键字与基于内容的相似性结合在一起；网站：和WebSEEKVisualSEEK和WebSEEK都是由哥伦比亚大学开发的一种实验性系统。采用代理自动搜索可视信息并对其进行分类，目前已分类的图像有66万多幅，形成了一个极富创新性的图像目录。主题分类是它的主要优点。WebSEEK的检索途径有三种，一是使用关键词进行自由全文检索，但不支持短语检索；二是利用不同的类目等级进行主题浏览；三是在检出图像的基础上利用其可视属性进一步检索。VirageVirage公司的产品．它为图像管理提供了一个开放的框架．Virage引擎表达了图像原色等视觉特征，原色可以是非常一般的，如颜色，形状和纹理，或针对具体域的，如面部征和癌细胞特征．网址：它是ＭＩＴ媒体实验室开幕的一套交互式图像数据库浏览和查询的工具．它包括三个子部分，分别用于抽取形状，纹理，面部等特性．用户可以在每个子部分中按照对应的特征进行查询；在最近版本ＦourEyes中，Ｐicard提出了在图像注释和检索中包括人．这一提出建立在没有一种单独的特征可以很好地对图像建模,而且人的理解又是主观的这样一种观测之上．因此他们提出了模型集(societyofmodel)方法．结合了人的因素．实验表明该方法在交互式图像注释中很有效。MARS(MultimediaAnalysisandRetrievalSystem)是由ＵＩＵＣ开发的系统，它的应用范围相当广泛，包括计算机视觉，图像数据库检索检索和信息检索等多个领域，这个系统的突出特点是引入相关反馈机制，能够根据用户的交互，动态的组织和优化查询，提高检索效益；网站：