第9章多媒体数据库与分布式多媒体

9.1多媒体数据库◆多媒体数据的管理◆多媒体数据库的数据模型◆多媒体数据库的检索与查询9.2分布式多媒体计算机系统◆分布式多媒体计算机系统的特性◆分布式多媒体计算机系统的服务模型◆计算机支持协作系统9.3可视电话系统◆可视电话系统的发展◆可视电话的架构第9章多媒体数据库与分布式多媒体应用系统9.4多媒体视频会议系统◆视频会议系统概述◆视频会议系统的结构◆视频会议系统的尝试9.5交互电视系统◆交互电视的基本概念◆交互电视的系统结构◆用户接入网技术9.1多媒体数据库多媒体数据库需处理的信息包括数值（Number）、字符串(String)、文本(Text)、图形（Graphics）、图像（Image）、声音（Voice）、和视频（Video）等。对这些信息进行管理、运用和共享的数据库就是多媒体数据库。多媒体数据库系统的基本功能包括：(1)多媒体数据库系统必须能表示和处理多种媒体数据。(2)多媒体数据库系统除必须满足物理数据独立性和逻辑数据独立性外，还应满足媒体数据独立性。(3)多媒体数据库系统的数据操作功能。目前对多媒体数据库的研究分为两大方向：(1)面向对象数据库的研究(2)对关系数据库进行扩充9.1多媒体数据库9.1.1多媒体数据的管理1．多媒体数据●数值●字符串●文本●图形●图像●音频●动画和视频2．多媒体数据的特点●数据量巨大●数据类型多●数据类型间差距大●多媒体数据的输入和输出复杂3．多媒体数据的管理●扩展关系数据库●多媒体面向对象数据库4．多媒体数据库管理系统的基本功能9.1多媒体数据库9.1.2多媒体数据库的数据模型1．NF2数据模型2．面向对象的数据模型3．其他数据模型●对象--关系模型●超媒体数据模型●专有媒体数据模型图NF2嵌套结构面向对象数据库建立在对象模型的基础上，以定义对象的属性、集合、行为、状态和联系等为主要描述方式。对关系型数据库的扩展主要包括下列两个方面：引入抽象数据类型（ADT），用来描述复杂数据类型的逻辑，主要包括图像、图形、声音，使那些传统的RDBMS具有一定的管理多媒体数据的能力。引入嵌套表，在记录和表之间建立层次关系。9.1多媒体数据库9.1.3多媒体数据库的检索与查询1．关键字查询2．可视化查询3．语义查询语义查询（或基于内容的查询）是各种方法中最具挑战性的，它采用索引、模式匹配等多种技术。它要求数据库中信息的表示必须包括隐含或明显的语义。关键字查询也存在着缺点：实现可视化查询有两点要求：（1）查询系统必须将模糊查询映射成内部查询表示，即把诸如颜色、形状等非精确定义的特征转变成低层查询原语可以处理的查询条件。（2）必须对查询语言加以改动，在标准的SQL语言中不能允许模棱两可的查询语义，所以只有对查询语言加以扩展才能实现查询。●关键字的准确性问题。●信息的丢失。9.1多媒体数据库9.1.3多媒体数据库的检索与查询4．基于内容的信息检索（1）多媒体数据库基于内容的检索特点：●从媒体内容中提取信息线索●提取特征的方法多种多样●检索过程人机交互进行●基于内容的检索是一种近似的匹配（2）系统的一般结构：图基于内容检索系统的结构示意图图查询的方法示意图9.1多媒体数据库9.1.3多媒体数据库的检索与查询4．基于内容的信息检索（3）媒体的内容语义（4）基于内容检索的过程图基于内容检索的主要过程（5）检索技术●高层概念和低层特征的关联●高维索引技术●综合的多特征检索技术媒体的内容语义是基于内容检索的基础，与任务有关，也与领域有关。9.2分布式多媒体计算机系统9.2.1分布式多媒体计算机系统的特性●多媒体综合性●资源分散性●运行实时性●操作交互性●系统透明性9.2.2分布式多媒体计算机系统的服务模型1．简单的C/S模型图客户机服务器模型的结构9.2分布式多媒体计算机系统9.2.2分布式多媒体计算机系统的服务模型2．CSGAgent-NSGAgent-Client/Server模型图CSGAgent-NSGAgent-Client/Server模型9.2分布式多媒体计算机系统9.2.2计算机支持协作系统●CSCW的含义●CSCW系统模型和体系结构●CSCW的分类●CSCW的关键技术●CSCW的应用领域CSCW，即地域分散的一个群体借助计算机及其网络技术，共同协调与协作来完成一项任务。它包括协同工作系统的建立、群体工作方式研究和支持群体工作的相关技术研究、应用系统的开发等部分。通过建立协同工作环境，改善人们信息交流的方式，消除或减少人们在时间和空间上的相互分隔的障碍，节省工作人员的时间和精力，提高群体工作质量和效率，从而提高企业、机关、团体乃至整个社会的整体效益和人类的生活质量。9.2分布式多媒体计算机系统9.2.2计算机支持协作系统●CSCW的含义●CSCW系统模型和体系结构●CSCW的分类●CSCW的关键技术●CSCW的应用领域◆同步模式：在同一时间和同一地点进行同一任务的合作方式，如共同决策、共同编辑文件、CAD、室内会议等。◆分布式同步模式：在同一时间但不同地点进行同一任务的合作方式，如联合设计、联合编辑、群体决策、视频会议等。◆异步模式：在同一地点但不同时间进行同一任务的合作方式，如轮流作业等。◆分布式异步模式：在不同时间且不同地点进行同一任务的合作方式，如电子邮件等。9.2分布式多媒体计算机系统9.2.2计算机支持协作系统●CSCW的含义●CSCW系统模型和体系结构●CSCW的分类●CSCW的关键技术●CSCW的应用领域CSCW可以理解为一个4层模型。第1层，开放系统互联环境。提供开放的通信支持环境，保证协同工作过程中有效的信息交流。第2层，协同工作支撑平台。解决协同工作所需要的主要机制和工具。第3层，协同工作应用接口。提供协同应用的编程接口API、人机接口HCI和人际接口IPI。第4层，各种CSCW应用系统。针对各种协同工作应用环境，提供所需的协作支持工具的剪裁和集成，协同应用系统的开发。9.2分布式多媒体计算机系统9.2.2计算机支持协作系统●CSCW的含义●CSCW系统模型和体系结构●CSCW的分类●CSCW的关键技术●CSCW的应用领域（1）群体协作模式（2）协作控制机制（3）群组通信支持（4）同步机制（5）安全控制（6）多媒体技术（7）应用共享技术9.2分布式多媒体计算机系统9.2.2计算机支持协作系统●CSCW的含义●CSCW系统模型和体系结构●CSCW的分类●CSCW的关键技术●CSCW的应用领域远程教育。网络环境下的协作学习，可以使学生、教师和专家等从网上获取丰富的资源。合作科学研究。信息交换、会议系统、合作协作系统等是提供给科学家之间进行密切的科研合作的有效手段。电子商务在商业、贸易、金融中的应用。电子政务与各级政府部门的协调和决策支持。医疗应用。远程专家会诊、远程指导手术等。9.3可视电话系统9.3.1可视电话系统的发展可视电话系统的发展大致可以分为三个阶段:图可视电话机示图9.3.2可视电话的架构1．H.324系列标准H.324系列是一个低位速率多媒体通信终端标准，它的旗号下的标准包括：H.263：电视图像编码标准，压缩后的速率为20kb/s。G.723.1：声音编码标准，压缩后的速率为5.3(用于声音＋数据)或者6.3kb/s。H.223：低位速率多媒体通信的多路复合协议。H.245：多媒体通信终端之间的控制协议。T120：实时数据会议标准(可视电话应用中不一定是必须的)。第一阶段：可视阶段。主要解决“可视”的问题。第二阶段：可视信息平台。解决“交互”的问题，实现多媒体可视电话。第三阶段：移动可视阶段。实现人类千百年来的梦想，让电话成为“千里眼，顺风耳”。9.3可视电话系统9.3.2可视电话的架构2．H.324可视电话基本架构视频I/O设备音频I/0设备用户数据应用设备电视编译码器音频编译码器控制协议复用协议调制解调器PSTN的网络接口图H.324多媒体系统方框图9.4多媒体视频会议系统9.4.1视频会议系统概述视频会议系统是分布式多媒体技术最早的一种典型应用。视频会议系统是把分布式多媒体和系统工作相结合，把两个或两个以上不同地方的个人或群体，通过传输线路及多媒体设备，将声音、影像及文件资料互传，实现即时且互动的沟通，以实现会议目的的系统设备。图视频会议拓扑图9.4多媒体视频会议系统9.4.1视频会议系统概述1．多媒体视频会议的形式2．视频会议的类型●基于硬件的视频会议系统。●Conference（会议）●Casting（广播会议）●Caching（可存储会议）●网络视频会议系统。●基于软件的视频会议系统。现在最常用的实现手段。特点是使用专用的设备来实现视频会议，系统造价较高，使用简单，维护方便，视频的质量非常好，对网络要求高，需要专线来保证。9.4多媒体视频会议系统9.4.1视频会议系统概述1．多媒体视频会议的形式●Conference（会议）●Casting（广播会议）●Caching（可存储会议）2．视频会议的类型●基于硬件的视频会议系统。●网络视频会议系统。●基于软件的视频会议系统。完全使用软件来完成硬件的功能，主要借助于高性能的计算机来实现硬件解码功能。特点是充分利用已有的计算机设备，总体造价较低。9.4多媒体视频会议系统9.4.1视频会议系统概述1．多媒体视频会议的形式●Conference（会议）●Casting（广播会议）●Caching（可存储会议）2．视频会议的类型●基于硬件的视频会议系统。●网络视频会议系统。●基于软件的视频会议系统。完全基于互联网而实现的。特点是可以实现非常强大的数据共享和协同办公，对网络要求较低，完全基于电信公共网络的运营，客户使用非常方便，不需要购买专用的软件和硬件设备，视频效果一般。9.4多媒体视频会议系统9.4.2视频会议系统的结构1．逻辑系统结构图逻辑系统结构（1）会议管理完成会议通知，召集任务；初始化会议环境等。（2）协作处理提供共享白板、共享文件、共享应用等形式的协作方式。（3）视频/音频处理程序完成视频/音频信息的采集、转化等。（4）通信服务和多点控制具有网络管理的功能，能集中处理各种媒体产生的信息流的调度等。9.4多媒体视频会议系统9.4.2视频会议系统的结构2.物理系统结构(1)多点处理单元(MCU)MCU是视频会议系统的核心部分，为用户提供群组会议、多组会议的连接服务。(2)大中小型会议室终端产品大中小型会议室终端产品是提供给用户的会议室使用的，设备自带摄像头和遥控键盘。(3)桌面型(PC)终端产品直接在电脑上举行视频会议。(4)电话接入网关(PSTNGateway)用户直接通过电话或手机在移动的情况下加入视频会议。图逻辑系统结构9.4多媒体视频会议系统9.4.2视频会议系统的结构3.终端结构（1）视频输入/输出设备（2）音频输入/输出设备（3）视频编码解码器（4）音频编码解码器（5）信息通信设备（6）数据协议（7）控制协议和系统控制（8）多路复用和解复用设备（9）用户/网络接口4.组网结构（1）点对点组网结构点对点视频会议系统只涉及到两个会议终端系统，其组网结构非常简单，不需要MCU，也不需要增加额外的网络设备，只须在终端系统的系统控制模块中增加会议管理功能即可实现。图点对点视频会议系统9.4多媒体视频会议系统9.4.2视频会议系统的结构4.组网结构（2）多点会议组网结构①单MCU方式在会议场点数目不多且地域分布比较集中时，可采用单MCU方式。各会议场点依次加入会议时，必须经过MCU确认并通知先于它加入会议的会议场点。由单个MCU连接的多点视频会议系统的会议控制模式常常是声控模式和发言者控制模式。图单MCU方式9.4多媒体视频会议系统9.4.2视频会议系统的结构4.组网结构（2）多点会议组网结构②多MCU方式，星型组网结构多MCU连接的星型组网结构见图所示，其中VCT是视频会议终端VideoConferenceTerminal的缩写。这种星型结构对会议终端系统要求较低，增加新会议场点时易扩展。MCU功能类似于交换机，各MCU在这种组网结构中地位平等。由于该组网方式的会议场点数目