第1章-多媒体技术概述(北科大杨扬版)

多媒体通信北京科技大学杨扬第1章多媒体技术概述多媒体技术的基本概念多媒体的特征多媒体计算机技术的发展历史多媒体技术的主要内容多媒体技术的应用多媒体技术的发展趋势1、基本概念什么是媒体？媒体（Medium）在计算机领域中有两种含义，一是指用以存储信息的实体，如磁盘、磁带、光盘和半导体存储器；一是指信息的载体，如数字、文字、声音、图形图像和视频等。CCITT曾给媒体做了如下的分类：感觉媒体（PerceptionMedium）表示媒体（RepresentationMedium）显示媒体（PresentationMedium）存储媒体（StorageMedium）传输媒体（TransmissionMedium）1、基本概念CPUOutputDeviceStorageInputDevice表示媒体存储媒体显示媒体显示媒体感觉媒体感觉媒体表示媒体传输媒体1、基本概念什么是多媒体？“多媒体”译自20世纪80年代初产生的英文词“multimedia”，最早出现于美国麻省理工学院(MIT)递交给国防部的一个项目计划报告中。多媒体是指信息表示媒体的多样化，常见的多媒体有文字、图形、图像、声音、音乐、视频、动画等多种形式。多媒体技术是利用计算机技术把文本、声音、视频、动画、图形和图像等多种媒体进行综合处理，使多种信息之间建立逻辑连接，集成为一个完整的系统。单一媒体：文本、声音、视频、动画、图形、图像集成的多媒体系统综合处理各种媒体，建立信息间的逻辑链接2、多媒体的特征多媒体从本质上来说具有三个最重要的特征:--多维化--集成性--交互性除了以上三个特征，实际上多媒体还具有很多其它的特征，例如实时性，它主要指类似声音和视频这样的媒体，它们具有很强的时间相关性。2.1多媒体的特征—多维化多维化是指信息媒体的多样化。它使人们思想的表达不再限于顺序的、单调的、狭小的范围内，而有充分自由的余地。多媒体信息多维化不仅是指输入，而且还指输出，目前主要包括听觉和视觉两个方面。2.2多媒体的特征—集成性这不仅是指多媒体设备集成，而且也包含多媒体信息集成或表现集成。早期的各项技术都可以单一使用和应用，但很难有大的作为，因为它们是单一的、零散的，如声音、图像和交互式技术等。信息空间的不完整（例如，仅有静态图像而无动态视频、仅有声音而无图形等）都限制了信息空间中的信息组织，也就限制了信息的有效使用。2.3多媒体的特征—交互性这是人们获取和使信息变被动为主动的最为重要的特征。多媒体信息空间中的交互性向用户提供更加有效地控制和使用信息的手段，同时也为应用开辟了更广阔的领域，交互可以增加对信息的注意和理解，延长保留的时间。3、多媒体技术的发展历史多媒体及多媒体技术产生于20世纪80年代1984年Apple公司引入“位图”的概念进行图像处理，并使用窗口和图标作为用户界面，这标志着多媒体技术的产生和应用1986年PHILIPS和SONY公司联合推出了交互式紧凑光盘系统，能够将声音、文字、图形、图像等数字化信息存储到光盘上1990年PHILIPS等十多家厂商成立多媒体市场协会，并制定了MPC(多媒体计算机)市场标准MPC最低功能要求规格项目MPC1MPC2MPC3RAM2MB4MB8MB运算处理器16MHz386SX25MHz486SX75MHzPentium同等级X86CD-ROM150kB/s最大寻址时间1s300kB/s最大寻址时间400msCD-ROMXA600kB/s最大寻址时间200msCD-ROMXA声卡8bit数字声音8个合成音MIDI16bit数字声音8个合成音MIDI8bit数字声音Wavetable(波表)MIDI显示640×48016色640×48065536色640×48065536色硬盘容量30MB160MB540MB彩色视频播放--352×24030fps输入输出端口MIDII/O,摇杆端口，串并联端口MIDII/O,摇杆端口，串并联端口MIDII/O,摇杆端口，串并联端口4、多媒体技术的主要内容4.1多媒体的软硬件平台软件及硬件平台是实现多媒体系统的物质基础，其中每一项重要的技术突破都直接影响到多媒体的发展与应用的进程。除了硬件和操作系统，软硬件平台还包括多媒体制作、编辑和应用系统。4.1多媒体的软硬件平台多媒体应用系统多媒体创作编辑软件多媒体制作平台与工具多媒体核心系统软件多媒体计算机硬件系统4.2专用芯片数字化后的音频和视频数据量非常大，因此必须进行压缩并需要大容量的存储器；音频和视频的输入和输出是实时的，需要高速度。要实现以上基本的要求，在很多情况下需要专用硬件支持。多媒体计算机专用芯片可归纳为两种类型：固定功能的芯片可编程的处理器4.3数据压缩及编码技术多媒体系统要求具有综合处理声、图、文的能力，面临的主要问题是巨大的数据量，尤其是对动态图形和视频图像一幅中等分辨率彩色图像(分辨率为640×480，256色，8bit/像素)大约需0.293M字节的存储空间，如果用电话线的标准速率(2400bps)传输约需17分钟，一幅同样分辨率的真彩色(24bit/像素)图像的数据量约为7.37Mbit，一个1000MB（等于8000Mbit）的硬盘只能存约1000帧静止画面，一秒钟全动态视频画面（25帧）约占23.03MB空间，650MB的CD-ROM只能存放约28秒图像信息。数字音频格式频带(Hz)带宽(KHz)取样率(KHz)量化位数存储容量(MB)电话200~34003.2880.48会议电视伴音50~7000716141.68CD-DA20~200002044.1165.292×2DAT20~200002048165.76×2数字音频广播20~200002048165.76×61分钟数字音频信号需要的存储空间数字电视格式空间×时间×分辨率取样率(MHz)量化位数存储容量(MB)公用中间格式（CIF）352×288×30亮度3；4:1:1亮度、色差共12270CCIR601号建议PAL720×480×30NTSC720×576×25亮度13.54:2:2亮度、色差共1616201620HDTV亮度信号1280×720×6060836001分钟数字视频信号需要的存储空间4.4多媒体同步在对多媒体数据进行综合处理时，不仅要考虑到各种媒体的相对独立性，为了达到较好的信息表示效果，还要注意保持媒体之间在时间和空间上的相关性。多媒体信息以三种方式相互集成：–制约式–协作式–交互式4.5多媒体网络与分布式处理技术多媒体单机系统的研究目前已相对成熟，但对多媒体计算机网络的研究目前还不够成熟数字化的网络集多媒体信息的获取、存储、处理、编辑、综合、传输于一体，并运行于网络上，网络的任意节点都可以共享网上的多媒体信息多媒体技术要充分发展其对多媒体信息的处理能力，必须与网络技术相结合运行于网络环境下多媒体系统，因为它能够不受时空限制地使多个用户透明地共享网上的数据，特别是多个用户同时共同对一个数据文件进行编辑，这使得多媒体技术有了更广泛的应用4.6信息的组织与管理多媒体数据量巨大，种类繁多，每种媒体之间差异很明显，但又存在某种关联性。如何管理、组织这些数据？如何从各种数据中找出所要信息？如何表现这些多媒体信息？新型的信息管理方法：超媒体（Hypermedia）信息的组织不是线性的，而是按照某种方式以非线性的形式进行存储、管理和浏览。超文本和超媒体适合表达多媒体信息4.7多媒体数据存储随着因数字化、网络化而开展的各种应用的不断增加，对多媒体网络存储系统的要求也越来越高。这些要求不仅体现在存储容量上，还包括以下几个方面。–可用性和可访问性–可靠性–可扩展性–灵活性–安全性–易管理性–良好的性价比4.8虚拟现实技术所谓虚拟现实，就是采用计算机技术生成一个逼真的视觉、听觉、触觉及嗅觉的感觉世界，用户可以用人的自然技能对这个生成的虚拟实体进行交互考察。这个概念包含三层含义：-虚拟实体用计算机来生成的一个逼真的实体；-用户可以通过人的自然技能(人的头部转动、眼动、手势或其它的身体动作)与这个环境交互；-要借助于一些三维传感设备来完成交互动作，常用的如头盔立体显示器、数据手套、数据服装、三维鼠标等。4.9人机界面设计人机界面设计的目的是通过对用户需求的解释达到一种人机之间较好的通信能力。需要以下几个方面的研究：①稳健的语言处理模式，包括语音识别和自然语言理解。②手势分析和理解模型的设计。③上述两个方面的通信模式的融合，因为二者之间在对用户需求的理解上是相互补充的。④多模式环境中的对话管理。这是保证一个连续的对话过程所必需的。4.10高速多媒体通信技术高速多媒体通信技术是指为满足新一代信息系统中实时多媒体信息传输的需要，网络的带宽可能要在1000Gbps以上，而且能支持服务质量控制，以适应不同媒体传输质量的要求。解决三个方面的难度：–相对于传统的数据应用而言，网络多媒体应用通常需要更高的网络带宽；–大多数的多媒体应用都要求实时传输；–多媒体数据流通常都存在一定的突发性，仅仅增加带宽还不能解决突发性所带来的问题。5、多媒体技术的应用音/视频点播电子出版物医疗卫生游戏与娱乐计算机视频会议多媒体展示和信息查询系统MIS(管理信息系统)与OA(办公自动化)传媒、广告教学管理系统移动卫星6、多媒体技术的发展趋势计算机技术和网络通信技术的结合为多媒体技术的进一步应用和发展提供了巨大的可能性，目前这种可能性已经逐渐变为现实。多媒体技术的未来将朝着智能化和三维化两个方向发展。6.1多媒体技术的发展趋势—智能化多媒体技术中最主要的处理对象就是数字音频和数字图像，这里的数字图像包括了静态图像和动态图像（视频、动画）。对数字音频的研究，主要涉及的是压缩编码和语音识别，而对数字图像的研究包括了压缩编码、图像分析识别和图像理解。无论是自然语言的理解还是图像理解，都将涉及“智能化”，而智能化的目标就是实现人与计算机的自然交互。人类一般都是用概念来表达意志，但是计算机存储的都是低层的数据，因此很难把这些概念表述出来。这样就提出来一个如何智能化处理的问题。人机交互、语义网6.2多媒体技术的发展趋势—三维化多媒体技术的一个重要研究内容就是将计算机视觉技术和图形学技术的内容结合起来，即实现所谓的增强现实技术。这样做可以将诸如视频会议系统的现场图像和计算机生成的图像叠加在一起，使多媒体的应用效果产生极大的改观，应用范围也随之发生新的拓展。计算机图形学从二维图形发展到复杂的、高质量的三维的环境，其相关的技术已经得到广泛的应用。在娱乐方面，电影和计算机游戏中广泛地使用计算机图形学。动画片发展到完全靠计算机制作，甚至非动画片也主要依靠计算机图形学去开发特定的效果。例如，20世纪70年代中期电影“星球大战”的成功就是个证明。三维全息图像思考题1.什么是多媒体？2.多媒体的关键特性包含哪些方面？3.为什么说，利用多媒体是计算机技术发展的必然趋势？4.为什么说，如果没有数据压缩的进步，多媒体计算机就难以得到实际的应用？5.就你个人的看法，多媒体技术要研究的内容还应包括哪些方面？6.除了本章介绍的多媒体技术的一些应用，你还了解哪些不同的应用？