多媒体技术的应用

第7章多媒体计算机的应用技术7.1多媒体电子出版物的创作7.2多媒体会议系统7.3多媒体数据库及基于内容检索本章重点介绍视频会议系统的结构和标准第7章多媒体计算机的应用技术7.2.1视频会议系统的结构和标准三、视频会议系统的标准一、视频会议系统的分类二、视频会议系统的结构一、视频会议系统的分类点对点视频会议系统多点视频会议系统根据通信节点的数量，视频会议系统可分为点对点视频会议系统支持两个通信节点间视频会议通讯功能，它的主要业务是：•可视电话•桌面视频会议系统•会议室型会议室视频会议1.点对点的视频会议系统多点视频会议系统允许三个或三个以上不同地点的参加者同时参与会议。多点视频会议系统一个关键技术是多点控制问题，多点控制单元（MCU）在通讯网络上控制各个点的视频、音频、通用数据和控制信号的流向，使与会者可以接收到相应的视频、音频等信息，维持会议正常进行。2.多点视频会议系统二、视频会议系统的结构视频会议终端多点控制器信道（网络）控制管理软件视频I/O设备视频编解码器音频I/O设备音频编解码器延迟H.261G.711G.722G.728T.120系列数据通讯子系统MUX/DMUXH.242H.230H.221H.243系统控制端到端信令CI端到网络信令400系列用户/网络接口H.221G.403或1.400系列视频会议终端AMCU信道信道视频会议终端C视频会议终端B信道MCUH.231H.243信道视频会议终端DMCU视频会议终端G视频会议终端F信道信道信道视频会议终端E信道信道视频会议系统结构框图完成视频音频信号的采集、编辑处理及输出、视频音频数字信号的压缩编码和解码，最后将符合国际标准的压缩码流经线路接口送到信道，或从信道上将标准压缩码流经线路接口送到终端。1.视频会议终端的主要功能它的主要功能是对视频、语音及数据信号进行切换，例如它会把传送到MCU某会场发言者的图象信号切换到所有会场。对于语音信号，若同时有几个发言，可以对它们进行混合处理，选出最高的音频信号，切换到其它会场。2.多点控制单元的功能（MCU-MultipointControlUnit）信道（网络）的主要功能是：保证视频音频数据压缩码流安全在信道上传输到视频会议系统的终端。3.信道的功能QOS（QualityofService）安全保密4.控制管理软件二、视频会议系统的结构终端多点控制器信道（网络）控制管理软件QOS（QualityofService）安全保密三、视频会议系统的标准在20世纪80年代,国际电信联盟(ITU)专门成立了一个小组研究视频会议,建立了一系列的建议和标准.关于视频会议最著名的标准是H.320系列和T.120系列建议.1994年以Intel为首的90多家计算机和通信公司联合制定了一个个人会议标准PCS.第7章多媒体计算机的应用技术7.1多媒体电子出版物的创作7.2多媒体会议系统7.3多媒体数据库及基于内容检索一、多媒体数据库的关键技术1.多媒体数据大容量的存储技术(1).光盘存储子系统和高速大容量磁盘、光盘库保存时间很长。(2).超媒体文档和超媒体数据库的随机存取、检索、存储盘标识和关系数据库。在设计上仅支持表结构的字母数字数据。2.多媒体应用程序的数据库组织多媒体系统数据组织：(1).数据独立(2).通用分布式数据库结构(3).多媒体对象管理(4).多重数据服务器二、多媒体数据库基于内容检索概述web上出现大量多媒体信息，例如:遥感、医疗、安全、商业等部门，都会产生大量信息。1.IBM公司开发的QBIC是最具代表性的系统通过友好的界面为用户提供颜色、纹理、草图、形状等多种检索方法。系统以示例方式进行查询，查找物体的移动，摄影机的操作。2.美国加州大学伯克利分校与加州水资源部合作Chabot计划，对水利资源部大量图像提供基于内容的有效检索手段。3.麻省理工学院Photobook可以利用人脸Face(脸)、shape(形状)、texture(纹理)进行基于内容的检索。Virage系统又进一步发展了将多种检索特征的融合。4.澳大利亚NewSouthWales澳大利亚NewSouthWales(新南威尔士大学)已开发了NUTTAB系统。用于食品成分数据库的检索。5.清华大学计算机系清华大学计算机系结合863高技术研究发展项目“Web上基于内容图像检索”的研究。Internet/Intranet通过友好的人机界面可以对颜色、纹理或样本图像进行图像检索。目前该系统已可对12000张学物照片高维特征建立了Gss—索引。采用Java语言来实现人机交互模块。通过浏览器为用户提供界面。检索请求转换为cbExpr基于内容的检索表达式，通过检索引擎处理与网络延迟相比，检索时间基本上可以忽略，体现了较好的实时性。基于内容检索的系统结构现有的许多多媒体数据库系统只提供基本媒体的描述、关键字一类的检索和查询，但很多的应用要求数据库系统能对图像或声音等媒体进行内容语义分析，已达到更深的检索层次。因而有必要讨论多媒体数据库基于内容的检索与查询方法。基于内容检索的体系结构用户的查询说明示例一般性描述相似性匹配返回一组候选结果满意？结束修改查询说明从候选结果中选择一个示例YN特征调整,重新匹配的处理过程(1)首先由用户提交查询要求，或启用上述的查询接口：交互式输入方式模板选择输入方式特征样板输入方式(2)相似性匹配将查询的特征与数据库中的特征按照一定的匹配算法进行匹配。(3)返回候选结果满足一定相似性的一组候选结果，按照相似度大小排列返回给用户。(4)特征调整a.用户浏览一组初始特征查询结果选择满意的结果。b.也可以从候选结果选择一个示例，进行特征调整。最后形成一个新的查询，如此逐步缩小查询范围，直到用户对查询结果满意为止。基于内容检索的关键技术两个关键技术：多媒体特征提取技术和匹配算法相似性检索技术。1.特征抽取低层特征(原始特征)特征抽取高层特征(逻辑特征)(1)语言信号的特征提取和匹配低层特征：基音、共振峰、线性预测、倒谱系数高层特征：声纹特征、关键词特征(2)静态图象的特征提取和匹配低层特征：纹理特征，颜色特征，几何形状特征，统计特征(立方图)等。高层特征：人的脸部特征、表情特征、某些物体和景物特征。低层特征可用图象处理方法自动获取；高层特征可以在某些约束条件下或知识导引下，以低层特征为基础推导得到。(3)动态视频特征提取低层特征：镜头切换类型、特技效果、摄象机运动、物体运动轨迹、代表帧、全景图。高层特征：描述镜头中的内容或事件。2.相似索引结构检索：在高维空间中寻找指定点距离最近的一组点的问题。采用顺序比较法不能满足实时检索的要求，因此需建立一种有效索引结构和检索方法。