多媒体内容检索与管理20130524

多媒体内容检索与管理李颖吴昊赵艳2多媒体内容检索与管理1多媒体数据库2多媒体内容管理3多媒体内容检索6基于内容视频检索5基于内容音频检索4基于内容图像检索31.1多媒体概念即媒介，承载、传输和表现信息的手段指集数据、文字、图形、图像、声音和视频等为一体的综合媒体信息指利用计算机将文本、图形、图像、声音、动画、视频等多种媒体信息进行处理和综合集成，以供人机交互使用的一个计算机应用分支Page41.2多媒体数据库系统数据量大结构复杂数据传输的连续性时序性-同步机制Page51.2多媒体数据库系统•存储和处理复杂对象•面向应用•强调媒体独立性•处理的应用对象不同，处理的方式也不同•具有更强的对象访问手段•强调终端用户界面的灵活性和多样性•存储和处理格式化数据•单一的数据模型•简单的查询方式•提供准确的查询1.2多媒体数据库系统MDBS的层次结构多媒体数据库系统的核心任务是实时地综合处理图、文、声信息集中型A指由单独一个MDBMS来建立和管理不同媒体的数据库，并由这个MDBMS来管理对象空间及目的数据的集成。协作型C协作型MDBS是由多个数据库管理系统组成的，这些数据库管理系统之间没有主从之分，但能相互通信，协调工作。主从型B每一个数据库都有自己的管理系统，称为从MDBMS，各自管理自己的数据库。这些从MDBMS又受一个被称为主MDBMS的统一控制和管理。1.2多媒体数据库系统集中型组织结构Page71.2多媒体数据库系统主从型组织结构Page81.2多媒体数据库系统协作型组织结构Page91.3多媒体数据库（MDB）传统数据库系统的主要处理对象是整数、实数、字符串等简单类型数据，但这种格式数据很难实现对人脸、指纹、人的声音等事物的有效描述。传统数据库的层次结构如下：Page101.3多媒体数据库（MDB）传统数据库的层次结构可以在用户给出查询条件后迅速地检索到正确的信息，但面对图像、声音、视频等无格式数据，如何设定检索条件，如何查询所需结果等，都是无法直接实现的。因此就必须寻找恰当的结构分层形式，已有多种层次划分，包括对传统数据库的扩展、对面向对象数据库的扩展、超媒体层次扩展等。虽然各有所不同，但大都是从最低层增加对多媒体数据的控制与支持，在最高层支持多媒体的综合表现和用户的查询描述，在中间增加对多媒体数据的关联和超链的处理。Page111.3多媒体数据库（MDB）综合各多媒体数据的层次结构如下：最高层支持多媒体的综合表现和用户的查询描述，完成用户对多媒体信息的查询描述和得到多媒体信息的查询结果中间层增加对多媒体数据的关联和超链的处理，对现实世界用多媒体数据信息进行的描述，也是多媒体数据库中在全局概念下的一个整体视图，该层为上层的用户接口、下层的多媒体数据存储和存取建立起一个在逻辑上统一的通道通过存取与存储数据模型描述媒体数据的逻辑位置安排、相互的内容关联、特征与数据的关系等，并完成多媒体数据的逻辑存储与存取。底层增加对多媒体数据的控制与支持。建立在多媒体操作系统之上,对不同性质媒体分别进行相应的分割、识别、变换等操作，并确定物理存储的位置和方法，以实现对各种媒体的最基本数据的管理和操纵Page121.4多媒体数据库管理系统（MDBMS）在多媒体系统中存在着声音、文字、图形、视频等媒体信息，与传统的计算机应用系统中只存在字符、数值相比扩充很大，这就需要一种新的管理系统对多媒体数据库进行管理。这种MDBMS能像传统的数据库那样对多媒体数据进行有效地组织、管理和存取，并可以实现以下功能：多媒体数据库对象的定义、多媒体数据存取、多媒体数据库运行控制、多媒体数据库建立与维护、多媒体数据库在网络上的通信功能等。Page13Page141.4多媒体数据库管理系统（MDBMS）A、表示和处理各种媒体数据，如文本、图像、音频、视频等。B、反映和管理各种媒体数据的特性，或各种媒体数据之间的空间或时间的关联。A、提供对无格式数据的查询搜索功能B、对不同媒体提供不同的操作方法，如图形、图像的编辑处理，声音数据的剪辑等。A、解决分布在网络上的多媒体库中数据的定义、存储、操作问题。B、对数据的一致性、安全性、并发性进行管理。1.4多媒体数据库管理系统（MDBMS）多媒体数据库管理系统MDBMS(MultimediaDatabaseManagementSystem)一般由用户界面、存储子系统、特征数据库、索引子系统、检索子系统和数据分析子系统等部分组成。其中用户界面采用B/S方式实现，该用户界面需要支持用户以图形方式进行基于内容的查询，同时也需要支持传统文本方式的查询。其体系结构如下图：Page151.4多媒体数据库管理系统（MDBMS）Page1617多媒体内容检索与管理1多媒体数据库2多媒体内容管理3多媒体内容检索6基于内容视频检索5基于内容音频检索4基于内容图像检索Page182.1多媒体内容处理概念级内容感知特性逻辑关系特指特征多媒体数据的内容概念的层次视觉特性，如颜色、视觉对象、纹理、草图、形状、体积、空间关系、轮廓、等，听觉特性如音调、音色、音质等。音视频对象的时间和空间关系，语义和上下文关联等。与应用相关的媒体特征，如人的体形特征、面部特征、指纹特征等。对象的语义表达，例如利用文本的描述，通过分类和目录来组织层次浏览，用链来组织上下文关联。2.1多媒体内容处理多媒体内容的处理如下图所示可分为三大部分：a、内容获取、b、内容描述和c、内容操纵。首先要对原始媒体进行处理并提取内容，然后用标准形式描述所提取的内容，以支持各种内容的查询、检索、索引等内容的操纵。Page192.1多媒体内容处理内容获取是通过对各种内容的分析和处理而获得媒体内容的过程。多媒体数据的重要成分是空间和时间结构，首先必须分割出图像对象、视频的时间结构、运动对象，以及这些对象之间的关系，然后提取显著的区别特征和人的视觉、听觉感知特征来表示媒体和媒体对象的性质。Page202.1多媒体内容处理内容描述就是针对获取的内容进行描述。为了支持数据管理的灵活性、数据资源的全球化和互操作性，描述必须基于一定的标准。MPEG-7标准被称为“多媒体内容描述接口”，主要采用描述子(Descriptor)和描述模式来分别描述媒体的特性及其关系。描述子是特征的表示法，一个描述子就是定义特征的语法和语义学。MPEG-7标准定义了一系列的描述结构、一种详细说明描述结构的语言、描述定义语言(DDL)和多种编码描述方法。Page212.1多媒体内容处理内容操纵主要针对内容的用户操作和应用。有许多这方面的名词和术语。查询(Query)是面向用户的术语，多用于数据库操作、检索(Retrieval)是在索引支持下的快速信息获取方式、搜索(Search)常用于Internet的搜索引擎、摘要(Summarization，Excerpt)是适合于视频和音频等时基媒体的特殊操作、浏览(Browsing)可以线性或非线性地存取结构化的内容、过滤(Filtering)是与检索相反的一种信息存取方式。Page222.2基于内容的多媒体信息检索基于内容检索(Contentbased)，就是从媒体数据中提取出特定的信息线索，根据这些线索从大量存储在数据库中的媒体中进行查找，检索出具有相似特征的媒体数据出来。多媒体数据的“内容”表示多媒体信息的含义、要旨、主题和显著的性质、实质性的东西、物理细节等，而多媒体内容处理技术要基于对内容的基本定义。Page23Page242.2基于内容的多媒体信息检索多媒体信息检索的特点相似性检索：CBR采用一种近似匹配的方法和技术，逐步求精来获得查询和检索结果，每一层的中间结果是一个集合，不断减少集合的范围，直到定位到查找的目标直接从内容中提取信息线索：CBR直接对文本、图像、视频、音频进行分析，从中抽取内容特征，然后利用这些内容特征建立索引并进行检索。满足用户多层次的检索要求：CBR检索系统通常由媒体库、特征库和知识库组成。大型数据库(集)的快速检索：CBR往往拥有数量巨大、种类繁多的多媒体数据库，能够实现对多媒体信息的快速检索。2.3内容检索的关键技术基于内容的多媒体数据库管理系统除了解决媒体信息的存储,还要求能够从媒体数据中分析、抽取可供检索的内容特征,用于信息的检索。其关键技术主要有特征抽取、特征分析和特征匹配。•特征提取：提取各种特征，如颜色，纹理，形状等。根据提取的特征不同，采取不同的处理，例如提取形状特征，就需要先进行图像分割和边缘提取等步骤。选择合适的算法，并在效率和精确性方面加以改进，以适应检索的需要，并实现特征的提取。•特征分析：对图像的各种特征进行分析，选择提取效率高、信息浓缩性好的特征，或者将几种特征进行组合，用到检索领域。•特征匹配：选择何种模型来衡量图像特征间的相似度。Page252.3内容检索的关键技术基于内容多媒体数据库管理系统的的功能框架如下图所示。Page262.4基于内容的多媒体信息检索体系结构基于内容检索系统结构由特征分析子系统、特征提取子系统、数据库、查询接口、检索引擎和索引过滤等子系统组成，同时需要相应的知识辅助支持特定领域的内容处理。Page272.4基于内容的多媒体信息检索体系结构•特征分析：该子系统负责将需要入库的媒体进行分割或节段化，标识出需要的对象或内容关键点，以便有针对性的对目标进行特征提取。特征标识可通过用户输入或系统定义。•特征提取对用户提供或系统标明的媒体对象进行特征提取处理。提取特征时需要知识处理模块的辅助，与标准化的知识定义直接有关。•数据库包含多媒体数据库和特征数据库，分别存放多媒体数据同对应的特征数据，它们彼此之间存在着一定的对应关系。特征库中包含了由用户输入的和预处理自动提取的特征数据，通过检索引擎组织与媒体类型相匹配的索引来达到快速搜索的目的。Page282.4基于内容的多媒体信息检索体系结构•查询接口，即人机交互界面，友好的人机交互界面是检索系统不可缺少的。在基于内容的检索中，由于特征不直观，因此必须为用户提供一个可视化的输入手段，还应在用户界面提供查询结果的创览功能，即为用户提供初步查询结果的返回，系统会根据用户选择的排序标准(如颜色、旋律、节拍等)，按照相似度的大小将结果排列后，返回给用户。•检索引擎，检索要将特征提取值和特征库中的值进行比较，得到一个相似度。不同的媒体各自具有不同的相似度算法，这些算法也称为相似性测度函数。检索引擎使用相似性测度函数集去进行比较，从而确定与特征库的值最接近的多媒体数据。•索引过滤在大规模多媒体数据检索过程中，为了提高检索效率，常在检索引擎进行匹配之前采用索引过滤方法，取出高维特征用于匹配。Page292.4基于内容的多媒体信息检索体系结构如果用户对系统返回的查询结果不满意怎么办？相关返馈技术Page302.5基于内容的多媒体信息检索中的相关反馈技术在基于内容的检索过程中相关反馈是一个相当重要的过程。因为仅仅基于图像低层特征很难给出令人满意的结果，主要原因是图像低层特征和高层语义间存在着很大的差距。相关反馈技术就是为了解决这个问题而提出的，一方面需要找出更有效的多媒体表示方法，另一方面通过人机交互来捕捉和建立低层特征和高层语义之间的关联。相关反馈技术的基本思想是建立一个由用户参与的交互过程，在交互过程逐步求得精确的查询结果。在检索过程中，系统根据用户的查询要求返回检索结果，用户可以对检索结果进行评价和标记，并将这些信息反馈给系统，系统则根据这些反馈信息进行学习，并返回新的查询结果，从而使得检索结果更加满足用户的要求。Page312.5基于内容的多媒体信息检索中的相关反馈技术相关反馈结构图如下：Page32参考文献[1]郑继文，吴吉义.多媒体数据库管理系统的关键技术分析[J].微型机与应用,2007(6):94-96.[2]徐险峰.基于内容的多媒体信息检索技术[J].现代情报,2005,25(3):134-136.[3]李松涛，钟建宁.基于内容的多媒体数据库管理系统研究[J].计算机技术与发展,2008,18(12):214-216.[4]柳群英.基于内容的音频信息检索技