第1章多媒体技术与应用教程

多媒体技术与应用教程高等学校教材主编雷运发清华大学出版社目录第一章多媒体技术概述第二章多媒体硬件环境第三章多媒体音频技术第四章多媒体图像处理技术第五章多媒体视频处理技术第六章多媒体动画制作技术第七章多媒体作品的设计与制作第八章虚拟现实技术与系统开发1.1多媒体的基本概念1.2多媒体相关技术简介1.3多媒体技术的发展与应用学习目标1.了解媒体、多媒体的定义以及媒体的分类；2.了解多媒体的相关技术（如压缩技术、音视频技术等）及其应用；3.掌握多媒体的特征和多媒体系统的构成；4.了解多媒体的发展历史及其发展趋势。1.1.1多媒体基本概念媒体一是承载信息的物理实体，如磁盘、光盘、半导体存储器、录像带、书刊等。二是表示信息的逻辑载体，如数字、文字、声音、图形图像和视频与动画等。多媒体技术中的媒体一般指后者。多媒体基本概念媒体的分类1）感觉媒体2）表示媒体3）存储媒体4）传输媒体感觉媒体•能直接作用于人的听觉、视觉、触觉等感觉器官感官，使人能直接产生感觉的一类媒体。如：语言、音乐，声音、图形、图像。表示媒体•传输感觉媒体的中介媒体，为加工、处理和传输感觉媒体而人为研究、构造出来的一种媒体，即用于数据交换的编码，是感觉媒体数字化后的表示形式。如语音和图像编码等。表现媒体•指将感觉媒体输入到计算机中或通过计算机展示感觉媒体的物理设备，即获取和还原感觉媒体的计算机输入和输出设备。如键盘、摄像机、显示器、喇叭等。存储媒体•指存储表示媒体信息的物理设备，即存放感觉媒体数字化后的代码的媒体称为存储媒体，如：软硬盘、CD－ROM、磁带、唱片、光盘、纸张等。传输媒体•传输表示媒体的物理介质。传输信号的物理载体称为传输媒体，例如，同轴电缆、光纤、双绞线、电磁波等。1.1.2多媒体•多媒体多媒体（Multimedia）是由两种以上单媒体融合而成的信息综合表现形式，是多种媒体的综合、处理和利用的结果。多媒体技术•多媒体技术是以计算机（或微处理芯片）为中心，将文本、图形图像、音频、视频和动画等多种媒体信息通过计算机进行数字化综合处理，使多种媒体信息建立逻辑连接，并集成一个具有交互性的系统技术。多媒体技术的特征（1）多样性（2）集成性（3）交互性（4）实时性（5）数字化1.1.3多媒体系统•多媒体系统(MultimediaSystem)是指由多媒体网络设备、多媒体终端设备、多媒体软件、多媒体服务系统及相关的多媒体数据组成的有机整体。多媒体系统是一种趋于人性化的多维信息处理系统，它以计算机系统为核心，利用多媒体技术，实现多媒体信息（包括文本、声音、图形图像、视频、动画等）的采集、数据压缩编码、实时处理、存储、传输、解压缩、还原输出等综合处理功能，并提供友好的人机交互方式。1.1.4多媒体信息的基本要素•文本文本是以文字、数字和各种符号表达的信息形式，是现实生活中使用最多的信息媒体，主要用于对知识的描述。文本有两种主要形式：格式化文本和无格式化文本。多媒体信息的基本要素•图形图形是指用计算机绘图软件绘制的从点、线、面到三维空间的各种有规则的图形。如直线、矩形、圆、多边形以及其他可用角度、坐标和距离来表示的几何图形。多媒体信息的基本要素图像这里所指的是静止图像。图像可以从现实世界中捕获，也可以利用计算机产生数字化图像。图像是由单位像素组成的位图来描述的，每个像素点都用二进制数编码，用来反映像素点的颜色和亮度。图形与图像的区别（5）表现力不同（4）处理显示速度不同（3）处理操作不同（2）数据记录方式不同（1）构造原理不同音频•音频是指在20Hz～20KHz频率范围的连续变化的声波信号，声音具有音调、音强、音色三要素。音调与频率有关，音强与幅度有关，音色由混入基音的泛音所决定的。从用途上可分为语音、音乐和合成音效3种形式，从处理的角度可分为波形音频和MIDI音频等。波形音频•（1）波形音频：是以数字方式来表示声波，即利用声卡等专用设备对语音、音乐、效果声等声波进行采样、量化和编码，使之转化成数字形式，并压缩存储，使用时再解码还原成原始的声波波形。MIDI音频•（2）MIDI音频：MIDI即电子乐器数字接口，MIDI技术最初应用在电子乐器上用来记录乐手的弹奏，以便以后重播。后来引入支持MIDI合成的声卡之后才正式地成为了一种计算机的数字音频格式。MIDI是一种记录“乐谱”和音符演奏方式的数字指令序列音频格式，数据量极小。MIDI音频与波形音频•MIDI音频与波形音频不同，它不对声波进行采样、量化和编码，而是将电子乐器键盘的演奏信息（包括键名、力度和时间长短等）记录下来，这些信息称之为MIDI消息，是乐谱的一种数字式描述。对应于一段音乐的MIDI文件不纪录任何声音信息，而只是包含了一系列产生音乐的MIDI消息。播放时只需读出MIDI消息，生成所需的乐器声音波形，经放大处理即可输出。•将音频信号集成到多媒体中，可提供其它任何媒体不能取代的效果，不仅烘托气氛，而且增加活力。音频信息增强了对其它类型媒体所表达的信息的理解。视频•视频是指从摄像机、录像机、影碟机以及电视接收机等影像输出设备得到的连续活动图像信号，即若干有联系的图像数据连续播放便形成了视频。电视主要有3大制式，即NTSC(525/60)、PAL(625/50)、SECAM(625/50)动画•动画则是采用计算机动画设计软件创作由若干幅图像进行连续播放而产生的具有运动感觉的连续画面。计算机设计动画方法有两种：一种是造型动画，一种是帧动画。前者是对每一个运动的物体分别进行设计，赋予每个对象一些特征，如大小、形状、颜色等，然后用这些对象构成完整的帧画面。造型动画每帧由图形、声音、文字、调色板等造型元素组成，控制动画中每一帧的图元表演和行为的是由制作表组成的脚本。帧动画则是有一幅幅位图组成的连续的画面，就像电影胶片或视频画面一样，要分别设计每个屏幕显示的画面。1.2.1多媒体数据压缩技术•多媒体数据压缩编码技术是多媒体技术中最为关键的技术。数字化后的多媒体信息的数据量非常庞大，例如，对于在彩色电视信号的动态视频图像，数字化处理后的1秒钟数据量达十多MB，650MB容量的CD－ROM仅能存1分钟的原始电视数据。超大数据量给存储器的存储容量、带宽及计算机的处理速度都带来极大的压力，因此，需要通过多媒体数据压缩编码技术来解决数据存储与信息传输的问题。与数据压缩相对应的处理称为解压缩，又称数据还原。它是将压缩数据通过一定的解码算法还原到原始信息的过程。通常，人们把包括压缩与解压缩内容的技术统称为数据压缩技术。1.2.2多媒体信息存储技术多媒体信息存储技术主要研究多媒体信息的逻辑组织、存储体的物理特性、逻辑组织到物理组织的映射关系、多媒体信息的存取访问方法、访问速度、存储可靠性等问题，具体技术包括磁盘存储技术、光存储技术以及其他存储技术。1.2.3多媒体网络通信技术多媒体网络通信技术是指通过对多媒体信息特点和网络技术的研究，建立适合传输文本、图形、图像、声音、视频、动画等多媒体信息传输的信道、通信协议和交换方式等，解决多媒体信息传输中的实时与媒体同步等问题。1.2.4多媒体专用芯片技术多媒体计算机专用芯片可归纳为两种类型：一种是固定功能的芯片，其主要用来提高图像数据的压缩率；另一种是可编程数字信号处理器DSP芯片,其主要目标是提高图像的运算速度。1.2.5人机交互技术•人机交互（CHI，ComputerHumanInteraction）技术是研究人与计算机之间相互通信的技术，它涉及到认知心理学、人机工程学和虚拟现实等多个学科的内容。多媒体人机交互技术是指人们通过多种媒体与计算机进行通信的技术，主要研究多媒体信息的输入／输出以及人与计算机系统的交互方式和交互性能。1.2.6多媒体软件技术（1）多媒体操作系统（2）多媒体数据库技术（3）多媒体信息处理与应用开发技术1.2.7虚拟现实技术•虚拟现实（VirtualReality，简称VR）技术是一种可以创建和体验虚拟世界的计算机系统，一种逼真地模拟人在自然环境中视觉、听觉和运动等行为的高级人机交互（界面）技术。虚拟现实技术是多媒体技术的重要发展和应用方向，旨在为用户提供一种身临其境和多感觉通道的体验，寻求最佳的人机通讯方式。1.3多媒体技术的应用在家庭娱乐方面在教育培训方面在信息咨询方面在电子出版物方面在网络及通信方面本章小结•本章主要介绍了媒体、多媒体、多媒体技术以及多媒体系统等基本概念，并简述了多媒体技术的产生、发展和应用情况，其知识点如下：1.按照CCITT的分类标准，媒体分为感觉媒体、表示媒体、表现媒体、存储媒体和传输媒体五大类。2.多媒体是由两种以上单一媒体有机融合而成的信息综合表现形式，是多种媒体的综合、处理和利用的结果。多媒体信息的主要表现形式有文字、图形、图像、声音、动画与视频等。本章小结（续）•3.多媒体技术是以计算机（或微处理芯片）为中心，把数字、文字、图形、图像、声音、动画、视频等不同媒体形式的信息集成在一起，进行加工处理的交互性综合技术，具有多样性、集成性、交互性、实时性和数字化等五个基本特性。•4.多媒体信息的组织方式有线性组织和非线性组织两种形式。不同组织方式需要不同的控制程序——浏览器来表现其内容。超媒体中的非线性关系是通过超链接来实现的。本章小结（续）•5.多媒体技术的具体内容主要涉及多媒体的基础技术、关键技术、多媒体系统的体系结构以及多媒体信息处理技术等内容。•6.多媒体技术促进了通信、大众传媒与计算机的融合，在教育、商业、医疗、军事、出版等各行各业得到了广泛应用。多媒体技术将朝着高速、简单、智能、综合以及更人性化的方向发展。