视觉词汇介绍

BoVW(bagofvisualwords)模型介绍BoVW模型介绍•主要内容•一、提出背景•二、框架•三、关键步骤•四、应用领域•五、存在问题及改进分析BoVW模型介绍•一、提出背景词袋模型最先是由Josef等基于自然语言处理模型而提出的。类比一篇文章由很多文字(textualwords)组合而成，如果將一張图片表示成由许多视觉单词（visualwords）组合而成，就能将过去在文本检索（textretrieval）领域的技巧直接利用在图像检索（imageretrieval）中，以文字检索系统现在的效率，图像表示的“文字化”也有助于大规模(large-scale)图像检索系统的效率。BoVW模型介绍•一、提出背景与文本文档进行类比BoVW模型介绍•二、框架视觉词典生成sift描述子生成视觉单词视觉单词直方图BoVW模型介绍•二、BoVW模型框架sift聚类图像库局部特征描述子集合视觉词典视觉词典生成流程图像视觉单词直方图生成过程BoVW模型介绍BoVW模型介绍•三关键步骤•(i)自动检测特征兴趣的区域/点；•(ii)计算该特征区域/点的描述子；•(iii)利用视觉词典(visualvocabulary)将特征描述子映射为视觉单词；•(iv)统计每个visualword在图像中的出现频率，生成视觉单词直方图。BoVW模型介绍•三关键步骤•3.1关键区域/点检测•3.1.1Harris-Laplace检测子旋转和尺度不变量,检测角点结构特征。BoVW模型介绍•三关键步骤•3.1关键区域/点检测•3.1.2DoG检测子检测高斯差分尺度空间的局部极值点区域。该检测子适合发现斑状结构（blob-likestructures)。另外，DoG点检测子目前在各类应用中性能很好，能够比其他检测子运算速度更快，同时根据压缩性（检测的特征点数更少）。BoVW模型介绍•三关键步骤•3.1关键区域/点检测•3.1.3Hessian-Laplace检测子与DoG检测近似，但是在尺度空间能获得更高的准确度，并且在尺度选择上的准确度也高于Harris-Laplace。BoVW模型介绍•三关键步骤•3.1关键区域/点检测•3.1.4显著区域（Salientregions）检测子•3.1.5Maximallystableextremalregions(MSERs)BoVW模型介绍•三关键步骤•3.2局部描述子——SIFT1999年BritishColumbia大学大卫.劳伊（DavidG.Lowe）教授总结了现有的基于不变量技术的特征检测方法，并正式提出了一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子－SIFT（尺度不变特征变换），这种算法在2004年被加以完善。BoVW模型介绍•三关键步骤•3.2局部描述子——sift•3.2.1sift的特点•独特性好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配。•多量性，即使少数的几个物体也可以产生大量SIFT特征向量。BoVW模型介绍•三关键步骤•3.2局部描述子——sift•3.2.1sift的特点(cont.)•经过优化的SIFT算法可满足一定的速度需求。•可扩展性，可以很方便的与其他形式的特征向量进行联合。BoVW模型介绍•三关键步骤3.2.2SIFT算法可以解决的问题•目标的旋转、缩放、平移（RST）•图像仿射/投影变换（视点viewpoint）•光照影响（illumination）•目标遮挡（occlusion）•杂物场景（clutter）•噪声BoVW模型介绍•三关键步骤•3.2.3sift算法主要步骤•a)尺度空间的生成BoVW模型介绍•三关键步骤•3.2.3sift算法主要步骤•b)检测尺度空间极值点BoVW模型介绍•三关键步骤•3.2.3sift算法主要步骤•C)精确定位极值点•D)为每个关键点指定方向参数梯度直方图BoVW模型介绍•三关键步骤•3.2.3sift算法主要步骤•e)关键点描述子的生成BoVW模型介绍Sift检测效果图BoVW模型介绍•三关键步骤•3.3视觉单词的产生•3.3.1聚类方法•最常用、最简单的方法是K_means，其他还有x_means,层次聚类等方法。•3.3.2权重机制TF、TF-IDF（termfrequencyandtermfrequency-inversedocumentFrequency）、binaryweighting.BoVW模型介绍•三关键步骤•3.3视觉单词的产生•3.3.3软权重方法(soft_weighting)•3.3.4停词(stopword)消除•SivicandZisserman认为图像中最常见的视觉单词也是停词，可以从词典中删除。但目前没有实验表明删除视觉词典中的停词后有助于分类性能提升。BoVW模型介绍•三关键步骤•3.3视觉单词的产生•3.3.5视觉单词的选取•五种特征选取评判准则：•i)documentfrequency(DF)表示包含某视觉单词的图片的数目，在文本分类任务中，具有较小DF的单词会被删掉，因为在文本分类中较小DF的单词可能对分类而言没有多大意义。BoVW模型介绍BoVW模型介绍BoVW模型介绍•iii)Informationgain(IG)•信息增益是测量两个随机变量独立性的又一种方法。单词t和类标签ci的信息增益计算如下：然后计算平均信息增益，将低于平均信息增益的单词删除。BoVW模型介绍•iv)Mutualinformation(MI)•视觉单词小于平均MI值的将从视觉词典中剔除。与信息增益有关，其计算方法如下：BoVW模型介绍•四、应用领域（1）视频/图像检索(Content-basedimageretrieval)（2）图像自动标注(imageannotation)（3）物体识别(objectrecognize)（4）场景分类(sceneclassify)BoVW模型介绍•五、存在问题及改进分析（1）空间信息的缺失：BoW模型一个很大的缺点是缺少特征点的空间关系信息，但这却是一个很重要的图片信息。一些改进方法已经被提出：基于区域划分的方法；分层词袋模型；空间金字塔匹配方法；BoVW模型介绍•五、存在问题及改进分析（2）语义鸿沟：从低层特征到视觉单词生成过程时使用基于欧几里得距离的kmeans算法导致语义信息的丢失。改进方法：利用机器学习方法构造具有语义保护的视觉单词词典。