多媒体应用设计基础知识

1多媒体应用设计基础知识：多媒体计算机技术的发展和应用1.多媒体数据库①多媒体数据库的研究途径目前多媒体数据库的研究主要有以下三条途径：A.在现有商用数据库管理系统的基础上增加接口，以满足多媒体应用的需要；B.建立基于一种或几种应用的专用多媒体信息管理系统；C.从数据模型入手，研究全新的通用多媒体数据库管理系统。②多媒体数据库要解决的关键技术问题：A.多媒体数据模型多媒体数据模型主要采用关系数据模型的扩充和采用面向对象的设计方法。由于用传统的关系模型难以描述多媒体信息和定义对多媒体数据对象的操作，目前在关系模型扩充方面除了引入抽象数据类型外，较多的采用语义模型的方法。关系模型主要描述数据的结构，而语义模型则主要表达数据的语义，语义模型的层次高于关系模型，后者可以作为前者的基础。目前的研究表明，采用面向对象的方法来描述和建立多媒体数据模型是较好的方法，面向对象的主要概念包括对象、类、方法、消息、封装和继承等，可以方便地描述复杂的多媒体信息。B.数据的压缩和解压缩由于多媒体数据，如声音、图像及视频等数据量大，存贮和传输需要很大的空间和时间，因此必须考虑对数据进行压缩编码，压缩方法要考虑到复杂性，实现速度及压缩质量等问题。C.多媒体数据的存贮管理和存取方法目前常用的有分页管理、B+树和Hash方法等。在多媒体数据库中还要引入基于内容的检索方法、矢量空间模型信息索引检索技术、超位检索技术及智能索引技术等。D.多媒体信息的再现及良好的用户界面转自:考试网-[Examw.Com]在多媒体数据库中应提供多媒体宿主语言调用，还应提供对声音、图像、图形和动态视频的各种编辑和变换功能。E.分布式技术多媒体数据通信对网络带宽有较高的要求，需要相应的高速网络，此外还要解决数据集成、异构多媒体数据语言查询、调度和共享等问题。多媒体数据库不只是具有存贮管理多媒体信息的能力，而应该能把多种媒体统一起来，支持对各种媒体信息的语义查询和检索22.多媒体通信（1）多媒体通信作者认为可以把它分成两类：一类是对称的全双工的多媒体通信，如分布式多媒体信息系统、视频会议系统及计算机支持的协同工作系统；另一类是非对称全双工的多媒体通信系统，如交互式电视系统（ITV）、点播电视系统（VOD）、远程教育系统、远程医疗诊断系统及远程图书馆。（2）对于多媒体通信要解决两个关键技术：多媒体数据压缩和高速数据通信问题。尤其是实用化效果较好，应用比较广泛的视频会议系统要解决视频会议系统的国际标准问题。标准化是产业化成功的前提，这样用户可以把不同厂家的不同产品连接在一起，彼此间相互通信。（3）视频会议系统可分为两类：点对点视频会议系统和多点视频会议系统。（4）点对点视频会议系统有：可视电话、台式机－台式机视频会议及会议室－会议室视频会议。多点视频会议系统，允许三个或三个以下不同地点的参加者一起参加讨论，多点会议系统的关键技术是多点控制器（MCU），它能自动地交换数据，把正确音频和视频信号发送给每个与会者，多点控制器可以被放置在视频会议网络的任何一个点上，它通过编码和解码器接收所有的数字信号，并自动地把数据发送到合适的地点。3.多媒体创作工具及其应用多媒体创作工具可以分成：基于时间的创作工具；基于图符（icon）或流线（Line）创作工具；基于卡片（Card）和页面（Page）的创作工具；以传统程序语言为基础的创作工具4.多媒体计算机的发展趋势（1）进一步完善计算机支持的协同工作环境（CSCW-ComputerSupportedCollaborativeWork）。（2）智多媒体技术能（3）把多媒体信息实时处理和压缩编码算法作到CPU芯片中多媒体应用设计基础知识：目前的HDTV特点目前研制的HDTV有下述几个特点：⊙采用国际标准的压缩编码算法MPEG-Ⅱ，这意味着它能以MPEG，JPEG压缩编码算法为基础的多媒体计算机兼容，并与其互连通信；⊙采用打包数据结构，当电视信号在视频通道传输时，图像和声音数据分成不同分量，在大多数情况下，这些分量要遵循大小和次序的限制。HDTV将图像和声音信息以及用于多媒体服务的附加数据以包的方式传送。这些数据可任意大小，只要它们符合频道特性，能以随机次序传送，这些数据包能够动态分配，使HDTV能与计算机、多媒体娱乐、教育系统及录像机通信，打开了将电视机、计算机和通信融为一体，通向更灵活服务领域的大门。3⊙采用双层传输技术，双层传输技术保证HDTV的可靠性和抗于扰性。它将信息分开传送，最重要的数据放到具有高优先级的载波上传输，其它数据则放到具有标准优先级的载波上传输。多媒体应用设计基础知识：多媒体计算机的分类从开发和生产厂商以及应用的角度出发可以分成两大类：●一类是家电制造厂商研制的电视计算机Teleputer，是把CPU放到家电中，通过编程控制管理电视机、音响，有人称它为灵巧电视。SmartTV；●另一类是计算机制造厂商研制的计算机电视（Compuvision，采用微处理器（80×86、68×××）作为CPU，其它设备还有VGA卡、CD-ROM、音响设备以及扩展的多窗口系统，有人说它的发展方向是TV-Killer。多媒体应用设计基础知识：多媒体计算机的定义及关键技术一、多媒体计算机的定义及关键技术1.多媒体计算机的定义：多媒体计算机技术（MultimediaComputing）的定义是：计算机综合处理多种媒体信息（包括：文本、图形、图像、音频和视频），使多种信息建立逻辑连接，集成为一个系统并具有交互性。简单地说：（1）计算机综合处理声、文、图信息；（2）具有集成性和交互性；（3）总之，多媒体计算机具有信息载体多样性、集成性和交互性。分析提示：多媒体最显著的特点是，它具有媒体的多样性、交互性和集成性。判断是否是“多媒体”，从这个角度就可以判断。目前的家用电视不是多媒体，因为在人与电视之间，人是被动者而电视是主动者，电视不具备像计算机一样的交互性。从这一点来看，各种家电的组合也就不算是多媒体了。而那些采用计算机集成处理多种媒体的系统，如多媒体咨询台、交互式电视、交互式视频游戏、计算机支持的多媒体会议系统、多媒体课件及展示系统等都属于多媒体的范畴。42.要把一台普通的计算机变成多媒体计算机要解决的关键技术是：（1）视频音频信号获取技术；（2）多媒体数据压缩编码和解码技术；（3）视频音频数据的实时处理和特技；（4）视频音频数据的输出技术。分析提示：要把一台普通的计算机变成多媒体计算机要解决的第一个关键技术：视频音频信号获取技术过去计算机只能处理数和文字，现在要综合处理声、文、图。多媒体计算机要解决的第一个关键技术视频音频信号获取问题。只有将视频音频信号获取到计算机中，才能谈到综合处理。可以自己设计声音和视频信号获取器，也可以使用声霸卡、视频卡等解决视频音频信号的获取问题。要把一台普通的计算机变成多媒体计算机要解决的第二个关键技术：多媒体数据压缩编码和解码技术过去计算机企图综合处理声、文、图，但是不可以原因在于：文件量过大。21世纪的人类社会将是信息化社会，数字化后的信息，尤其是数字化后的视频和音频信息具有数据海量性，它给信息的存储和传输造成较大的困难，成为阻碍人类有效地获取和使用信息的瓶颈问题之一。因此，研究和开发新型有效的多媒体数据压缩编码方法，以压缩的形式存储和传输这些数据将是最好的选择。我们可以举一个简单的例子来加以说明。以一幅彩色静态图像(RGB)为例：设分辨率为512×512每一种颜色用8bit表示即R用8bit256级别表示G用8bit256级别表示B用8bit256级别表示则一幅彩色静态图像的数据量为512×512×3×8bitPAL制式25帧/秒NTSC制式30帧/秒以PAL制25帧/秒为例，视频每秒钟的数据量512×512×3×8×25=180Mbps5过去计算机的总线为ISA，ISA总线的数据传输率为150KB/s，变成bit为150×8=1.2Mbps，我们可以想象到，把180Mbps的视频流经过传输率为1.2Mbps（150KB/s）的ISA总线送到计算机的硬盘几乎是不可能的。差不多要压缩近似200倍才行。现在VCD的标准MPEG-1的固定传输率为1.5Mbps，通过MPEG-1压缩后，可以把这个视频流传输到计算机并存储。如何压缩数据？可以采取帧内压缩和帧间压缩的方法。陆地卫星（Landsat-3）的例子，其水平、垂直分辨率分别为2340和3240，四波段采样精度7位，它的一幅图像的数据量为2340×3240×7×4=212Mbit，按每天30幅计每天数据为212×30=6.36Gbit，每年的数据量高达2300Gbit。这么大的数据量无疑给存储器的存储容量、通信干线的信道传输率以及计算机的运算速度都增加了极大的压力。单纯用扩大存储容量，增加通信干线的传输率是不现实的，数据压缩是行之有效的方法。例如1988年Barnsley采用分形（Fractor）的迭代函数系统IFS和递归迭代函数系统RIFS方法，对几幅图像进行压缩编码，获得了高达10000:1的压缩比。以压缩形式存储和传输信息，既节省了压缩空间，又提高了通信干线的传输率，同时也便于计算机实时处理视频和音频，高质量播放视频和音频节目成为可能。运动图像的压缩编码技术也是多媒体计算机、多媒体数据库、多媒体通信、常规电视数字化、高清晰度电视（HDTV）以及交互电视（InteractiveTV）系统中的关键技术。·目前正在开展的应用项目有：·家庭用卫星广播业务（BSS-BroadcastingSatelliteServicetoTheHome）；·地面数字电视广播（DigitalTerrestrialTelevisionBroadcast）；电子影院（EC-ElectronicCinema）；·电子新闻采集系统（ENG-ElectronicNewsGathering）；·个人通信（IPC-InterPersonalCommunication）；·多媒体邮件（MMM-MultiMediaMailing）；·网络数据库（NDBS-NetworkedDatabaseService）；·家庭电视剧场（HTT-HomeTelevisionTheatre）；·遥控监视（RVS-RemoteVideoSurveillance）；·电视点播系统（VOD-VideoOnDemand）等。要把一台普通的计算机变成多媒体计算机要解决的第三个关键技术：视频音频数据的实时处理和特技；实时处理--Realtime6电视信号的扫描光栅扫描一行的时间为64ms其中正程为52.2ms逆程为11.8ms如果分辨率为512×512则处理每个像素的时间近似为0.1ms。实时的概念是：512×512处理一个像素的时间为0.1ms256×256处理一个像素的时间为0.2ms经过大量的实验分析，多媒体信息的实时处理，大量运行的是8位和16位定点矩阵运算。例如抽取某图像（512×512）的边缘时，我们常用到抽边算子。实时：要求在0.1ms内做9个加法和9个乘法运算，将运算结果再放到中间的点上。解决的方法：⊙DSP数字信号处理器⊙LUT（LookUpTable）查找表具体内容将在后面的章节中介绍。要把一台普通的计算机变成多媒体计算机要解决的第四个关键技术：视频音频数据的输出技术视频数据的输出问题：要解决视频会议中同时开多个视频窗口、画中画电视等问题音频数据的输出问题：从过去的单声道、到环绕立体声、DolbyAc-3，要解决音频数据的输出问题。7软考多媒体应用设计师考试大纲一、考试说明1.考试要求（1）掌握计算机系统组成及各主要部件的性能和基本工作原理；（2）掌握计算机软件、程序设计语言的基础知识及一种通用的C语言程序设计；（3）掌握计算机网络与通信基本知识（C、Java或VisualBasic任选一种）；（4）掌握多媒体的定义、分类和关键技术；（5）熟悉多媒体数据（视频、音频）获取、传输、处理及输出技术；（6）熟悉多媒体数据压缩编码、常用格式及其适用的国际标准；（7）掌握多媒体应用系统的创作过程，包括数字音频编辑、图形绘制、动画和视