跨媒体时代的知识表达――感知、关联及一致性表示

8专题第 10 卷  第 7 期  2014 年 7 月发展到一定程度的必然产物，人类社会也进入了一个全新的信息传播时代，即跨媒体时代。如“杭州70码”事件就是一个典型的跨媒体的社会热点事件。它的产生、发展及传播跨越了凤凰网、维基百科、互动百科及网易等多种信息来源，跨越了文本、视频、图像等多种信息形态，包含了不同信息源对此事件的不同评论视角等多种属性（如图1所示）。传统的知识表达方式已经难以准确地表达这种具有跨媒体属性的复杂知识结构了，因此，在跨媒体时代，如何从形态多变、分布零散、属性复杂的海量网络媒体资源中对有价值的知识进行获取和表达就成为亟待解决的问题。跨媒体知识表达的新问题知识获取及表达方式的演变与以往不同，当前知识传播的方式越来越具有跨媒体的特性，即跨源、跨形态、跨属性等。跨源是指同一实体和知识的信息跨越多个渠道，包含书本、报纸、照片等传统媒体信息，还包含微博、论坛、新闻网站、共享网站等网络媒体上的信息。跨形态是指跨越多种媒体形态（文本、声音、图像、视频）的交叉融合、协同表达。跨属性是指多渠道信息中蕴含的多种自然属性（时间、地点、人物、表观信息等）和社会属性（转发量、热度、关注度等）。这些从不同渠道获取的不同形态的媒体信息及其与之相关的自然、社会属性信息紧密混合在一起，形象地表达综合性知识，并反映个体和群体的社会行为，是一种新的媒体表现形式，我们称之为跨媒体。跨媒体是多媒体和网络技术赵　耀1　韦世奎1　王树徽2等1北京交通大学2中国科学院计算技术研究所跨媒体时代的知识表达——感知、关联及一致性表示关键词：跨媒体数据　知识表达图1　跨媒体时代的知识表达形式图“70码”还是“欺实马”“仇富”还是“仇不公”“交通肇事”还是“危害公共安全”肇事者：“富家子”何其冷漠？警方：“70码”认定何其尴尬？网民：“替身说”何其有理？70码－胡斌案质疑70码－胡斌案进展70码－胡斌案评论70码－事件反思发生当日事后进展起诉和审理判决杭州飙车案维基百科网易互动百科凤凰网杭州70码事件9第 10 卷  第7 期  2014 年 7 月跨媒体的出现与互联网技术的发展密切相关，从单一有限媒体资源到海量多源异构媒体资源，再到媒体之间的关联和用户社群的介入，每一步都推动了跨媒体的发展和演变。在跨媒体时代，人们通过不同方式去感知和刻画现实世界，并在新闻网站、视频网站、博客、微博等平台上进行全方位呈现。这些多种多样的方式在各种复杂的内在因素驱动下，从不同角度感知现实世界，产生了不同的感知结果和社会影响力（如观点、倾向等）。然而，由于其感知的事物中内蕴的知识是一致的，因此需要通过建立“跨”的机制来还原它们。这个过程可等价为一种非常复杂的多源感知信号的恢复及本征结构提取过程。跨媒体知识表达的关键问题是如何还原内蕴知识的一致性。其涉及跨媒体知识表达的三个关键技术：属性感知、关联分析和一致性表示（如图2所示）。研究进展跨媒体数据的属性感知属性感知是指对数据单元的感知，即对单一信息载体进行有效性辨识和属性抽取。大规模、实时、连续、动态呈现的跨媒体数据映射在时间轴上的是事件发生、发展、演变与结束的过程。为了有效地理解和感知这一过程，首先需要构造海量动态跨媒体数据的自然属性感知模型，通过文本解析、实体抽取、元数据分析、语义标注和用户行为分析等技术获得跨媒体数据及网络热点事件的5W+H属性（即Who,What,When,Where,Why和How）；在此基础上进一步提取和挖掘跨媒体数据的内在多层次、多粒度的组织结构，发现网络跨媒体数据与现实世界行为相互影响的规律，从而为跨媒体关联分析和知识表达提供有效的数据刻画机制。当前，跨媒体数据的自然属性感知方法包括跨媒体数据特征学习、结构化语义分析、上下文建模方法和复杂语义概念网络方法。图3展示了一个基于结构化语义分类方法来感知跨媒体数据What属性的例子[1,2]。该方法针对网络图像数据及其附带的文本信息，利用文本和图像之间的互补信息来提取其高层语义属性，并探索了文本和视觉的一致性语义关系；通过一组支持向量机分类器对新数据进行分类，从而从有噪声的网络图像中集中地自动图3　基于结构化分类的What属性感知算法流程图语义图构建与聚类海量Web数据感知模型建模自然属性提取What属性图2　跨媒体数据知识表达的三种关键技术及关系示意图属性感知关联分析一致性描述自然属性wherewhenwhowhat社会属性whyhow自然属性wherewhenwhowhat社会属性whyhow自然属性wherewhenwhowhat社会属性whyhow2009杭州警方交通事故富二代杭州警方70码致歉杭州70码网络流行语10专题第 10 卷  第 7 期  2014 年 7 月提取和识别同类别的目标。跨媒体数据的社会属性感知方法包括社群发现、群体行为建模、内容与群体交互机制分析等。图4展示了一个基于复杂网络的信息传播理论的群体关注度建模方法，通过分析网络用户对跨媒体数据的转发行为对现实世界用户的关注度进行建模[3]。通过分析新浪微博数据内容及用户转发行为，构建转发树模型，并利用频繁子树来发现用户行为的重复性和倾向性规律，从而对群体关注度进行更准确的跟踪和预测。跨媒体关联分析关联分析是指对多源异构数据中自然属性和社会属性之间的复杂关系进行关联建模，比如建立有关“70码”事件的各种媒体属性的关联关系（见图2）。跨媒体的一个重要特点是数据和媒体间存在复杂多样的关联性。因此，除了要感知丰富的自然及社会属性，还要分析和挖掘多层次、多粒度跨媒体数据单元之间的关联关系。由于跨媒体中蕴含着多种多样的数据，并且数据与数据之间相互作用的规律复杂，使得跨媒体蕴含了丰富的、不同类型的数据关联，如图5所示。首先，在同模态的数据中存在着关联。相同模态内的数据（如文本与文本、图像与图像等）存在内容上的关联，传统的文本检索以及图像检索等都是基于同模态的数据关联来进行的。第二，不同模态的数据（如图像与文本）间存在跨模态关联。第三，跨媒体数据间存在视觉语义的关联。由于视觉信息的多义性以及语义概念的多态性使得网络图像及视频的语义分析仍然是一个艰难的任务。第四，在不断发展演化的跨媒体数据间存在着时序关联。此外，跨媒体数据间还存在着结构关联。互联网上的各种媒体信息由许多的超链接联在一起，这些超链接提供了跨媒体数据之间的结构信息，可以为跨媒体数据关联分析提供支持。尽管跨媒体数据的关联类型多样，但不同类型的关联关系不能统一量化表达，而且潜在的关联不能进行有效预测，不同的关联关系之间也不能相互利用。因此，在对数据进行关联分析时，需要对各种关联关系设计不同的关联模型，并对各自的关联结果综合分析才能得到最终想要的结果。这些都使得关联建模方法不具备通用性和可扩展性。因此，有必要建立一种统一的跨媒体数据关联描述机制来解决上述问图4　网络用户转发行为的挖掘与关注度建模算法群体关注度建模网络与现实世界的“跨”用户转发行为图5　跨媒体异质关联和关联建模跨模态关联同模态关联视觉语义关联结构关联时序关联数据性质任务目标关联建模关联预测11第 10 卷  第7 期  2014 年 7 月题。为此，早在1946年，邓恩(Dunn)就提出记录链接[4]。记录链接是指将一个或多个数据库中指代相同实体的记录连接起来的过程。之后，费勒吉(Fellegi)和阿兰·萨德(AlanSunter)于1969年建立了一套概率化的记录链接理论——费勒吉-萨德理论(Fel-legi-Suntertheorem)[5]，并证明了在条件独立的情况下，所提概率框架的最优性。2013年，文献[6]将费勒吉-萨德理论扩展到多数据库的记录链接上。文献[7]提出了链接预测(linkprediction)方法，利用概率图模型对文档内容和链接进行概率化的建模分析和预测。近年来，在网络文本分析领域还出现了一系列概率化建模方法[8,9]，对文档内容和相关群体进行协同分析和聚类，为跨媒体关联分析提供了一种可行的解决思路。这种概率化分析方法为跨媒体异构数据进行统一建模提供了可能性。在此基础上，我们可以建立多种关联机制的统一概率化表示模型，并建立异质数据关联的度量准则。跨媒体一致性表达基于属性感知和关联分析，一致性表示在不同的数据粒度、不同知识层次上建立跨媒体异构数据一致性表示机制。一旦获取了足够的跨媒体属性及关联关系，如何利用这些属性和关系来实现多源异构数据的信息共享就成为一个需要解决的问题。信息共享的关键是实现多源异构数据的互联互通，使得跨媒体数据可以在一个表达框架下直接进行相似性度量，即一致性表达问题。理论上，一致性表达不仅包含了跨源、跨模态数据的一致性表达，还应包含跨属性、跨维度等其他“跨”媒体数据的一致性表达。然而，由于跨媒体一致性表达问题十分复杂，因此当前的研究重点是同语义、异模态数据的一致性表达（如图6所示）[10,11]。也就是说，我们已经知道部分异构数据之间的语义关联关系，利用这些关联关系来建立一致性表达模型，从而推断未知异构数据之间的关联关系。如图7所示，文本、图像、声音等异构互补的媒体形态共同表达了“虎”这一语义，如果通过学习某种映射关系，将这些异构模态信息映射到一个共享子空间，就可以在一个表达框架下直接图6　跨媒体语义关联示意图异构互补异构互补异构互补图7　跨模态语义一致性表示示意图异构互补异构互补12专题第 10 卷  第 7 期  2014 年 7 月对异构数据进行相似性度量，从而推断未知异构数据的语义关联。早期的一致性表达方法是基于多媒体文档的，并假设信息内容以多媒体文档的形式呈现，处于同一个多媒体文档中的文本、图像、视频、三维目标等异构数据的语义是一致的；利用同形态数据的相似性度量来计算多媒体文档之间的相似性，从而形成一个相似性矩阵；经过降维，最终为每个多媒体文档生成一个跨形态特征向量，由此形成一系列多媒体文档——跨形态特征对。通过利用这些特征对，来学习多媒体文档到跨形态特征的映射模型，从而预测未知多媒体文档的跨模态特征，实现跨媒体一致性描述。不同的相似性矩阵构建方法及映射模型学习方法形成了不同的一致性描述方案[12~14]。这类方法强调的是多媒体文档之间的关联性，而对同语义不同形态之间的关联性有欠考虑。为此，一类基于异构数据语义关联映射的方法提出来，其核心是学习一种模型，可将同一个多媒体文档中不同形态数据之间的关联性最大化，并将学习的关联模型来构建异构数据的一致性描述，比如基于典型关联分析(canonicalcor-relationanalysis,CCA)的关联学习方法[15]和流行对齐方法[16]。由于这类方法只考虑了同一个MMD内的异构数据的关联关系，而没有考虑具有同一语义的其他多媒体文档的信息，因此属于同语义但不同多媒体文档的异构数据在一致性描述空间中的距离可能较远。而基于语义分布的映射方法[15,17,18]则充分利用语义组的语义标签信息，只需要将不同多媒体文档中的同模态文档分别提取出来，利用组的语义标签分别为每一个形态训练分类器，并将分类的结果作为共享特征。这样，即使是不同形态的数据，也可以映射到同一个语义标签空间，实现语义一致性表达。此外，为了提高跨媒体异构数据的匹配效率，一些学者开始在构建跨媒体一致性表达的同时考虑特征的索引问题。大部分采用了哈希映射的方法来构建跨模态索引。比如，跨模态相似性敏感哈希方法[19]利用类间相似性信息来构建跨模态哈希，实现跨模态检索；跨视角哈希方法[20]则是将谱哈希扩展到跨模态哈希。类似的工作还包括多模态隐二进制嵌入[21]和线性跨模态哈希[22]等。挑战与机遇综上所述，跨媒体的兴起为新一代网络多媒体检索带来了前所未有的发展机遇。一方面，以往专注于多媒体自身内容分析的研究思路已不能很好地适应跨媒体数据的跨媒体、跨平台等多源属性，也无法有效利用数据之间的关联关系，对跨媒体内容进行更为深入的理解和更准确的检索。另一方面，由于跨媒体数据固有的社会属性反映了跨媒体数据本身与网络社群用户之间紧密的关联关系，因此为研究更加人性化和个性化的跨媒体检索技术提供了很好的契机。针对跨媒体的数据多