采用基于内容的图像检索技术用于外观设计专利的检索

采用基于内容的图像检索技术用于外观设计专利的检索北京华旗图像数据智能技术有限公司冀春林2008年10月13日北京华旗图像数据智能技术有限公司aigoImageComputing&IntelligentTechnology(Beijing)Co.,Ltd.一、概况北京华旗图像数据智能技术有限公司是由北京华旗资讯公司和中国海外留学人员合资成立的，是一家由北京市科委认定的高新技术企业。公司拥有自主知识产权的高新技术——基于内容的图像检索技术。在国家知识产权局信息化办公室和外观审查部的大力支持和指导下，进行了近三年的技术准备工作，并利用一年多的时间，先后开发完成了面向审查员的《中国外观设计专利检索系统》和面向公众的《中国外观设计专利智能检索系统》。北京华旗图像数据智能技术有限公司aigoImageComputing&IntelligentTechnology(Beijing)Co.,Ltd.目前大家比较熟悉的计算机检索技术，大多是基于文字的检索。不论是文章的查询、图片的搜索、音乐的查找甚至视频的检索，都是通过文字的描述或者标引实现的。文字检索的薄弱环节在于对多媒体信息描述上，用文字描述难以避免主观性。这样，就产生了基于内容的检索需求，不论是图片、声音、视频还是动画。于是各种基于内容的检索技术就应运而生了。基于内容的图像检索技术是其中的一项重要技术。二、什么是基于内容的图像检索技术北京华旗图像数据智能技术有限公司aigoImageComputing&IntelligentTechnology(Beijing)Co.,Ltd.从20世纪70年代开始，有关图像检索的研究就已开始，当时主要是基于文本的图像检索技术（Text-basedImageRetrieval，简称TBIR），利用文本描述的方式描述图像的特征，如绘画作品的作者、年代、流派、尺寸等。目前还在广泛使用，一张照片，配以文字说明照片拍摄的时间、地点、事件的主要内容等等。2.1、图像检索2.1.1基于文本的图像检索技术TBIR北京华旗图像数据智能技术有限公司aigoImageComputing&IntelligentTechnology(Beijing)Co.,Ltd.图2-1新华社4月7日发稿北京华旗图像数据智能技术有限公司aigoImageComputing&IntelligentTechnology(Beijing)Co.,Ltd.在基于文本的图像检索系统中，需要先对所有的图像进行关键字标注，然后才能使用全文检索技术对图像进行搜索。这种方法存在两个方面的问题：存在的问题：一是这种方法需要较多的人工参与，而且随着图像数目的增加，这种方法很难实现；二是由于图像所包含的信息量庞大，不同的人对于同一张图像的理解也不相同，这就导致对图像的标注没有一个统一的标准，因而检索的结果不能很好地符合用户的需求。北京华旗图像数据智能技术有限公司aigoImageComputing&IntelligentTechnology(Beijing)Co.,Ltd.图2-2不同的人关心不同的内容北京华旗图像数据智能技术有限公司aigoImageComputing&IntelligentTechnology(Beijing)Co.,Ltd.到90年代以后，出现了对图像的内容语义，如图像的颜色、纹理、布局等进行分析和检索的图像检索技术，即基于内容的图像检索（Content-basedImageRetrieval，简称CBIR）技术。属于图像分析的一个研究领域。2.2.2基于内容的图像检索CBIRCBIR属于基于内容检索（Content-basedRetrieval，简称CBR）的一种，CBR中还包括对动态视频、音频等其它形式多媒体信息的检索技术。北京华旗图像数据智能技术有限公司aigoImageComputing&IntelligentTechnology(Beijing)Co.,Ltd.在检索原理上，无论是基于文本的图像检索还是基于内容的图像检索，主要包括三方面：2.2、图像检索原理1、对用户需求的分析和转化，形成可以检索索引数据库的提问；3、根据相似度算法，计算用户提问与索引数据库中记录的相似度大小，提取出满足阈值的记录作为结果，按照相似度降序的方式输出。2、收集和加工图像资源，提取特征，分析并进行标引，建立图像的索引数据库；北京华旗图像数据智能技术有限公司aigoImageComputing&IntelligentTechnology(Beijing)Co.,Ltd.指的是查询条件本身就是一个图像，或者是对于图像内容的描述，它建立索引的方式是通过提取底层特征，然后通过计算比较这些特征和查询条件之间的距离，来决定两个图片的相似程度。2.3、基于内容的图像检索1、提取特征值：利用一些数学的规则（公式），把图像进行一个量化的描述，按照色彩、形状、图案、纹理等不同要求，把一张图片转化为一组数字，我们称其为特征值。由于是采用的同样的规则，所以每一张图片都能提取出一组特征值。北京华旗图像数据智能技术有限公司aigoImageComputing&IntelligentTechnology(Beijing)Co.,Ltd.2、特征值的比对：由于采用的规则是相同的，如果两张图片是一样的，提取的特征值也会相同，这样就可以把两张图片的内容比较转化为两组特征值的数字比较，也就是用数字量的比较代替了模拟量的比较；3、结合语义分析：相同特征值的图片不一定就是相同的内容，结合图片的语义进行分析判断。如果两张图片是相似的，提取的特征值也是相近的；反过来讲，如果两张图片相差很大，其特征值也会有很大的差距；北京华旗图像数据智能技术有限公司aigoImageComputing&IntelligentTechnology(Beijing)Co.,Ltd.对于图像的低层特征，主要采用的是图像的颜色、纹理及其形状等特征。2.4图像的低层特征值提取2.4.1颜色特征颜色特征和图像的大小、方向无关，而且对图像的背景颜色不敏感，因此颜色特征被广泛应用于图像检索。颜色特征中包括颜色直方图、颜色相关图、颜色矩等。北京华旗图像数据智能技术有限公司aigoImageComputing&IntelligentTechnology(Beijing)Co.,Ltd.图2-3颜色特征－颜色布局示例北京华旗图像数据智能技术有限公司aigoImageComputing&IntelligentTechnology(Beijing)Co.,Ltd.2.4.2纹理特征纹理特征代表了物体的视觉模式，它包含了物体表面的组织结构以及与周围环境之间的关系。常用的方法有相关矩阵法，粗糙度、对比度等纹理表示方法，以及小波变换等。图2-4纹理特征北京华旗图像数据智能技术有限公司aigoImageComputing&IntelligentTechnology(Beijing)Co.,Ltd.2.4.3形状特征形状特征则包括两种，一种是基于边界的形状特征，另外一种则是基于区域的形状特征。最常用的表示方法有傅利叶变换和不变矩等。这些低层的特征将通过各种方法抽取出来，并形成一组特征向量，建立相关索引并存储到数据库中。91301417(灯管)200530117452x（杯子）基于边缘的形状表示基于区域的形状表示北京华旗图像数据智能技术有限公司aigoImageComputing&IntelligentTechnology(Beijing)Co.,Ltd.单纯使用图像的底层特征值，容易产生混淆，因为不同的图像也会有近似的特征组合，例如：一个冰箱和一个洗衣机（图2-6），从正面看二者有较大的区别，但从后面看其后视图时，二者的差距很小，相似度较高，无法有效区分；2.5单独使用低层特征值的弊端03304350.7冰箱图2-6冰箱与洗衣机的后视图对比200330124434.5洗衣机北京华旗图像数据智能技术有限公司aigoImageComputing&IntelligentTechnology(Beijing)Co.,Ltd.2.6.1必要性2.6建立语义特征由于低层的特征并不直接代表图像的语义信息，还需要抽取图像的语义特征。2.6.2可行性我们采用了外观设计专利中的相关文字信息来表征图像的语义特征，其中使用到的相关信息有：分类号、产品名称、设计人、通讯地址等。北京华旗图像数据智能技术有限公司aigoImageComputing&IntelligentTechnology(Beijing)Co.,Ltd.2.6.3效果通过使用专利的文字信息，使不同类别、不同名称之间的外观设计专利图像有了明显的区分，避免了混淆，提高了检索精度。2.6.4举例还是上面的图（图2-6），两个方框，加上产品名称后，冰箱和洗衣机就不会混淆了。北京华旗图像数据智能技术有限公司aigoImageComputing&IntelligentTechnology(Beijing)Co.,Ltd.3.1属于模糊查询，检索结果不是唯一的三、基于内容的图像检索技术的特点基于内容的图像检索与文字检索的一个主要区别是，基于内容的检索都是属于模糊查询，一般不会给出单一的检索结果，输出的是一个结果排序集合，按照图像的相似程度，从最像到最不像。最后需要由人来判断最终的结果是否满足检索需要，是人机结合的典范；由计算机来做大量简单烦琐的工作，由人做分析工作。北京华旗图像数据智能技术有限公司aigoImageComputing&IntelligentTechnology(Beijing)Co.,Ltd.图3-1检索结果显示图（4*6）北京华旗图像数据智能技术有限公司aigoImageComputing&IntelligentTechnology(Beijing)Co.,Ltd.通过设置检索输出门限值，也可以控制检索结果的输出数量。检索结果的显示需要考虑显示效率和显示效果的矛盾。图3-2不同数量的显示（6*9）北京华旗图像数据智能技术有限公司aigoImageComputing&IntelligentTechnology(Beijing)Co.,Ltd.3.2检索结果是逐渐逼近在检索过程中不断修订检索条件，可以逐步达到最终的检索结果；通过调整特征参数组合，可以得到不同的检索结果。3.3计算工作量大每次查询都需要根据临时提交的特征标准，对全部特征值进行匹配运算；数据计算时对计算机的要求高，查询时间相对长一些。北京华旗图像数据智能技术有限公司aigoImageComputing&IntelligentTechnology(Beijing)Co.,Ltd.采用基于内容的图像检索技术进行外观设计专利图像检索之前，我们进行过商标数据、人像数据的应用，有一定的应用经验。把技术在应用到外观设计专利数据上，又碰到了新的问题。主要表现在以下几点：四、外观设计专利的特点4.1数据量大、特征值提取时间长从1985年开始，中国外观设计专利已经审查公告了近80万件，有420多万幅图像。而且近几年还在以每年30%左右的速度递增着。整套数据提取图像特征值的工作花费了2000多个小时。北京华旗图像数据智能技术有限公司aigoImageComputing&IntelligentTechnology(Beijing)Co.,Ltd.4.2数据类型复杂、没有统一标准8530002993310220.803351732.0中国外观设计专利是从1985年开始的，早期的数据，由于计算机发展问题，图像处理的水平不高，主要以黑白图像为主；近几年随着数码产品的迅速发展，图像又以彩色的图片为主；从数据的内容上分，既有设计的线条图，也有实物照片图；在图像格式上，既有TIF格式的，也有JPG格式的；从图像的外型尺寸看，图像的长边大到近万像素，小到几百像素都有。图4-1几种不同年代、不同格式的专利图北京华旗图像数据智能技术有限公司aigoImageComputing&IntelligentTechnology(Beijing)Co.,Ltd.外观设计专利数据从色彩、内容到外型尺寸都有很大不同。而外观设计专利的检索