多媒体基础概论

刘立新、刘真、郭建璞编著，电子工业出版社卓越亚马逊多媒体的定义“媒体”指的信息的载体，如报纸、电视、广播、杂志等。“多媒体”一词译自英文“Multimedia”即“Multiple”和”Media”的合成其核心词是媒体(承载或传递信息的载体)何谓多媒体呢？媒质：存储信息的实体，如磁盘、光盘、磁带、半导体存储器等。媒介：传递信息的载体，如数字、文字、声音、图形和图像等。媒体（medium）在计算机领域有两种含义：即媒质和媒介。通常概念的“媒体”，可分为以下五种类型：感觉媒体表示媒体显示媒体存储媒体传输媒体感觉媒体：能直接作用于人们的感觉器官，从而能使人产生直接感觉的媒体。如语音、音乐、各种图像、动画、文本等。表示媒体：为了传送感觉媒体而人为研究出来的媒体。借助于此种媒体，便能更有效的存储或传送感觉媒体。如语言编码、电报码等。显示媒体：用于通信中使电信号和感觉媒体之间产生转换用的媒体。如输入、输出设施，键盘鼠标器、显示器、打印机等。存储媒体：用于存放某种媒体的媒体如纸张、磁带、磁盘、光盘等。传输媒体：用于传输某些媒体的媒体，如电话线、电缆光纤等。多媒体媒体元素是指多媒体应用中可显示给用户的媒体组成。1.1.3多媒体中的媒体元素及特征音频动画视频文本图形图像文本文本分为非格式化文本文件和格式化文本文件。非格式化文本文件：只有文本信息没有其他任何有关格式信息的文件，又称为纯文本文件。如“.TXT”文件。格式化文本文件：带有各种文本排版信息等格式信息的文本文件。如“.DOC”文件。图形图形（Graphic）一般指用计算机绘制的画面，如直线、圆、圆弧、矩形、任意曲线和图表等。图形的格式是一组描述点、线、面等几何图形的大小、形状及其位置、维数的指令集合。在图形文件中只记录生成图的算法和图上的某些特征点，因此也称矢量图。图形例如:line(xl，y1，x2，y2，color)、circle(x，y,r，color)分别是画线、画圆的指令。通过读取指令并将其转换为屏幕上所显示的形状和颜色，而生成图形的软件通常称为绘图软件。图形的最大优点在于可以分别控制处理图中的各个部分，如在屏幕上移动、旋转、放大、缩小、扭曲而不失真，不同的部分还可在屏幕上重叠并保持各自的特性。微机上常用的矢量图形文件有：“.3DS”（用于3D造型）、“.DXF”（用于CAD）、“.WMF”（用于桌面出版）等等。由于图形只保存算法和特征点，因此占用的存储空间很小。但显示时需经过重新计算，因而显示速度相对慢些。图像图像（Image）是指由输入设备捕捉的实际场景画面，或以数字化形式存储的任意画面。静止的图像是一个矩阵，阵列中的数字用来描述构成图像的各个点（称为像素点pixel）的强度与颜色等信息。这种图像也称为位图（bit-mappedpicture）。图像文件在计算机中的存储格式有多种，如BMP、PCX、TIF、TGA、GIF、JPG等，一般数据量都较大。图像处理时要考虑三个因素：分辨率图像深度与显示深度图像文件大小分辨率屏幕分辨率：显示器屏幕上的最大显示区域，即水平与垂直方向的像素个数。图像分辨率：数字化图像的大小，即该图像的水平与垂直方向的像素个数。像素分辨率：像素的宽和高之比一般为1:1。图像深度和显示深度图像深度（也称图像灰度、颜色深度）表示数字位图图像中每个像素上用于表示颜色的二进制数字位数。显示深度：表示显示器上每个点用于显示颜色的二进制数字位数。若显示器的显示深度小于数字图像的深度，就会使数字图像颜色的显示失真。颜色深度颜色总数图像名称12单色图像416索引16色图像8256索引256色图像1665536HI—Color图像2416672216TrueColor图像颜色深度与表示的颜色数目图像文件大小用字节表示图像文件大小时，一幅未经压缩的数字图像的数据量大小计算如下：图像数据量大小=像素总数×图像深度÷8音频数字音频（Audio）可分为波形声音、语音和音乐。波形声音实际上已经包含了所有的声音形式，它可以将任何声音都进行采样量化，相应的文件格式是WAV文件或VOC文件。语音也是一种波形，所以和波形声音的文件格式相同。音乐是符号化了的声音，乐谱可转变为符号媒体形式。对应的文件格式是MID或CMF文件。计算机音频技术主要包括声音的采集、数字化、压缩/解压缩以及声音的播放。影响数字声音波形的质量主要因素有：采样频率、量化位数和声道数。采样频率（samplingrate）是将模拟声音波形转换为数字时，每秒钟所抽取声波幅度样本的次数，单位是Hz（赫兹）。量化位数（也称量化级）是每个采样点能够表示的数据范围，经常采用的有8位、16位。例如，8位量化级表示每个采样点可以表示256个不同量化值，而16位量化级则可以表示65536个不同的量化值声道数记录声音时，如果每次生成一个声道数据，称为单声道；每次生成两个声波数据，称为立体声（双声道）。数字音频的存储量：可用以下公式估算声音数字化后每秒所需的存储量（未经压缩的）存储量=采样频率×量化位数÷8若使用双声道，存储量再增加一倍动画是活动的画面，实质是一幅幅静态图像的连续播放。动画的连续播放既指时间上的连续，也指图像内容上的连续。计算机设计动画有两种：一种是帧动画，一种是造型动画。动画帧动画是由一幅幅位图组成的连续的画面，就如电影胶片或视频画面一样要分别设计每屏显示的画面。造型动画是对每一个运动的物体分别进行设计，赋予每个动元一些特征，然后用这些动元构成完整的帧画面。动元的表演和行为是由制作表组成的脚本来控制。存储动画的文件格式有FLC、MOV等视频视频是由一幅幅单独的画面序列（帧frame）组成，这些画面以一定的速率（fps）连续地投射在屏幕上，使观察者具有图像连续运动的感觉。视频文件的存储格式有AVI、MPG、MOV等。视频标准主要有NTSC制和PAL制两种。NTSC标准为30fps，每帧525行。PAL标准为25fps，每帧625行。多媒体计算机技术的定义：多媒体技术是将多种媒体信息（文本、图形、图像、音频和视频）通过计算机进行综合处理（数字化采集、编码、存储、传输、处理和再现等），使多媒体信息建立逻辑连接，并集成一个具有交互性的系统。1.1.2多媒体计算机技术及其特性综合处理图、文、声、像多媒体计算机技术的三个主要特性信息载体的多样性交互性集成性信息载体的多样性是指综合处理多种媒体信息。多媒体就是要把计算机处理的信息多样化或多维化，从而改变计算机信息处理的单一模式，使人们能交互的处理多种信息。信息载体的多样性交互性多媒体的交互性是指用户可以与计算机的多种信息媒体进行交互操作从而为用户提供了更加有效地控制和使用信息的手段。集成性集成性是指以计算机为中心综合处理多种信息媒体，它包括信息媒体的集成和处理这些媒体的设备的集成。信息媒体的集成包括信息的多通道统一获取、多媒体信息的统一组织和存储、多媒体信息表现合成等方面。多媒体设备的集成包括硬件和软件两个方面。１.2多媒体的关键技术1.2.1多媒体数据压缩技术1.2.2多媒体网络通信技术1.2.3多媒体存储技术1.2.4多媒体专用芯片技术1.2.5多媒体输入输出技术1.2.6多媒体软件技术1.2.7虚拟现实技术1.2.1多媒体数据压缩技术图像、动画、视频和音频等数字化后数据量是非常大的。如一幅640X480分辨率的真彩色图像，数据量约为7.37Mbit／帧如果是视频(运动图像)，要以每秒30帧的速度播放，则视频信号的传输速度为221．2Mbit／s。如果存放于650MB光盘中，只能播出约23秒钟。数字化处理的关键问题－数据压缩1.2.1多媒体数据压缩技术选用合适的数据压缩技术，有可能将字符数据量压缩到原来的1/2左右，语音数据量压缩到原来的1/2-1/10，图像数据量压缩到原来的1/2-1/60。如今已有压缩编码/解压缩编码的国际标准JPEG和MPEG。1.2.2多媒体网络通信技术多媒体网络通信技术是多媒体计算机技术和通信技术结合的产物，它将计算机的交互性、通信的分布性和广播电视的真实性融为一体。多媒体系统通过通信网络传送文本、图形、图像、动画、音频和视频等信息。不同的媒体元素对通信网络要求不同，如:语音和视频有较强的实时性要求，多媒体通信的发展要求有适合于传输多媒体信息的通信网。1.2.2多媒体网络通信技术系统是运行在因特网上的全球性分布式信息系统，它使用超文本和超媒体技术管理多媒体信息。1.2.3多媒体存储技术多媒体存储技术主要是指光存储技术。利用数据压缩技术，在一张CD-ROM光盘上能够存取70多分钟全运动的视频图像或者十几个小时的语言信息或数千幅静止图像。在CD-ROM基础上，还开发了CD-I、可录式光盘CD-R、高画质、高音质的光盘DVD以及PHOTO-CD等。1.2.4多媒体专用芯片技术在现有的计算机系统中，如何处理音频和视频信号？大多数具有多媒体处理能力的计算机采用专用的音频和视频处理芯片。专用芯片不仅集成度高，能大大提高处理速度，而且有利于产品的标准化。1.2.4多媒体专用芯片技术多媒体计算机专用芯片可归纳为两种类型：一种是固定功能的芯片；另一种是可编程的数字信号处理器（DSP）芯片。第一批固定功能的芯片目标瞄准了图像数据的压缩处理。C-Cube公司生产的MPEG解压缩芯片被广泛地应用于VCD播放机中。1.2.5多媒体输入与输出技术多媒体输入/输出技术：媒体变换技术媒体识别技术媒体理解技术媒体综合技术1.2.5多媒体输入与输出技术媒体识别技术是对信息进行一对一的映像过程。例如，语音识别技术和触摸屏技术等。媒体变换技术是指改变媒体的表现形式。如当前广泛使用的视频卡、音频卡（声卡）都属媒体变换设备。媒体理解技术是对信息进行更进一步的分析处理和理解信息内容。如自然语言理解、图像理解、模式识别等技术。媒体综合技术是把低维信息表示映像成高维的模式空间的过程。例如语音合成器就可以把语音的内部表示综合为声音输出。1.2.6多媒体系统软件技术多媒体软件技术主要包括以下四个方面的内容：多媒体操作系统多媒体数据库技术超文本/超媒体技术多媒体应用开发技术多媒体操作系统多媒体操作系统是多媒体软件的核心。它负责多媒体环境下多任务的调度、保证音频、视频同步控制以及信息处理的实时性，提供多媒体信息的各种基本操作和管理；具有对设备的相对独立性与可扩展性。多媒体数据库技术多媒体信息是结构型的，致使传统的关系数据库已不适用于多媒体的信息管理，需要从下面四个方面研究数据库1).多媒体数据模型2).媒体数据压缩和解压缩的模式3).多媒体数据管理及存取方法4).用户界面超文本/超媒体技术超文本是一种新颖的文本信息管理技术，它提供的方法是建立各种媒体信息之间的网状链接结构，这种结构由节点组成。对超文本进行管理使用的系统称为超文本系统。也即浏览器，或称为导航图。若超文本中的节点的数据不仅可以是文本，还可以是图像、动画、音频、视频，则称为超媒体。多媒体应用开发技术多媒体应用的开发会使一些采用不同解决问题方法的人集中到一起，包括计算机开发人员、音乐创作人员，图像艺术家等，他们的工作方法以及思考问题的方法都将是完全不同的。1.2.7虚拟现实技术虚拟现实的定义可归纳为：利用计算机技术生成的一个逼真的感觉世界，用户可以用人的自然技能对这个生成的虚拟实体进行交互考察。虚拟现实技术是在众多相关技术上发展起来的一个高度集成的技术，是计算机软硬件技术、传感技术、机器人技术、人工智能及心理学等飞速发展的结晶。1.2.7虚拟现实技术虚拟现实技术具有4个重要特征：•多感知性•临场感•交互性•自主性本节重点：多媒体系统的主要技术数据压缩技术网络通信技术存储技术输入/输出技术数据库及管理虚拟现实技术1.3多媒体计算机系统的组成1.3.1多媒体个人计算机M