第7章_多媒体技术基础.

第7章多媒体技术基础7.1多媒体技术概述近年来，多媒体技术取得了令人瞩目的成绩，它给人类带来了深刻的影响，正迅速渗透到社会各个领域。在计算机信息领域中泛指一切信息载体，此时有两种具体含义，一种指信息的存储实体，如磁带、磁盘、光盘和半导体存储器；另一种指信息的表现形式或多种信息的载体，概括为声音、文字、图像、图形、数据5类。7.1多媒体技术概述多媒体技术使计算技能同时处理音频、视频和文本等多种信息。所以说，多媒体是数字、文字、声音、图形、图像和动画等各种媒体的有机组合，并与先进的计算机、通信和广播电视技术相结合，形成一个可组织、存储、操纵和控制多媒体信息的集成环境和交互系统。简单地说，是利用计算机综合处理声、文、图等信息，构造具有集成性和交互性系统的技术。把一台普通的计算机变成多媒体计算机要解决的关键技术是视频、音频信号的获取技术和多媒体数据压缩、编码、解码技术。7.1.1多媒体技术的基础知识1．数字声音声音是携带信息的重要媒体，是多媒体技术研究中的一个重要内容。声音的种类繁多，如人的话音、乐器声、动物发出的声音、机器产生的声音，以及自然界的雷声、风声和雨声等。这些声音有许多共同的特性，也有它们各自的特性。用计算机处理这些声音时，既要考虑它们的共性，又要利用它们各自的特性。7.1.1多媒体技术的基础知识（1）声音的特性声音是通过空气传播的一种连续的波，叫声波。声音的两个基本参数是幅度和频率。人们通常听到的声音并不是单一频率的声音，而是许多频率不同的音频信号组成的，声音信号的频率范围称为带宽，如高保真声音的频率范围为10Hz～20000Hz，它的带宽约为20kHz。7.1.1多媒体技术的基础知识亚音信号：音频信号：话音信号：超音频信号：频率小于20Hz的信号频率范围为20Hz～20kHz的信号人的发音器官发出的声音频率大约是80Hz一3400Hz，人说话时信号频率通常为300Hz～3000Hz高于20kHz的信号7.1.1多媒体技术的基础知识（2）数字音频数字音频基础知识包括音频数据采样、加工处理、压缩、存储及音频文件格式、数字音频处理软件功能等。声音是连续的震动的波，通常用随时间变化的连续波形模拟表示。一般有3个物理量描述:振幅、周期、频率。振幅:波形的最高点（或最低点）与基线间距离为振幅，振幅表示声音的强弱。周期:两个连续波峰间时间的长度为周期。频率:一秒钟内出现的周期数即震动次数，以Hz为单位。7.1.1多媒体技术的基础知识代表声音的模拟信息是一个连续的正弦波，不能由计算机直接处理，必须将其数字化。数字化过程如图7.1所示。7.1.1多媒体技术的基础知识采样:按规则的时间间隔对模拟信号进行测量叫做采样，在采样时刻获得的幅度值为模拟信号的振幅，其时间间隔为采样周期。如图7.2所示。7.1.1多媒体技术的基础知识奈奎斯特理论指出:采样频率不应低于声音信号最高频率的两倍，这样就能把以数字表达的声音还原成原来的声音，这叫做无损数字化。采样定律为:Fs≥2F或Ts≤T/2其中:F为被采样信号的最高频率。T为被采样信号的周期。7.1.1多媒体技术的基础知识（3）音频文件格式采样后的声音以文件方式存储后，方可进行声音处理。声音文件有多种格式，目前常用的有四种:1)波形音频文件扩展名.wav。2)数字乐器MIDI音频文件扩展名.mid。3)光盘数字音频文件(CD-DA)扩展名.cda。4)网络数字音频文件扩展名.au。7.1.1多媒体技术的基础知识2.计算机中的颜色模型自然界多姿多彩的景物通过人们的视觉器官在大脑中留下印象，这就是图像。图像是计算机中一类重要而常用的多媒体信息。为了了解人的视觉系统如何认识色彩，计算机中如何表示彩色图像，我们介绍表示数字彩色图像所需要的基本知识。7.1.1多媒体技术的基础知识（1）视觉系统对颜色的感知颜色的实质是一种光波，是视觉系统对可见光的感知结果。它的存在是因为有3个实体，即光线、被观察的对象以及观察者。人眼对颜色的感知是把颜色当作由被观察对象吸收或者反射不同波长的光波形成的。可见光是波长在380nm～780nm之间的电磁波，人们看到的大多数光不是一种波长的光，而是由许多不同波长的光组合成的。7.1.1多媒体技术的基础知识自然界中的任何一种颜色都可以由-红、绿、蓝(R，G，B)这3种颜色值之和来确定，它们构成一个三维的RGB矢量空间。这就是说，R，G，B的数值不同，混合得到的颜色就不同，也就是光波的波长不同。7.1.1多媒体技术的基础知识（2）图像的颜色模型理论上，任何一种颜色都可用红、绿、蓝3种基本颜色按不同的比例混合得到，称为相加混色。相加混色是计算机应用中定义颜色的基本方法。一个能发出光波的物体称为有源物体，它的颜色由该物体发出的光波决定，并且使用RGB相加混色模型。7.1.1多媒体技术的基础知识在计算机中，将红、绿、蓝3种颜色分别按光强度(深浅)的不同分为256个级别，0级实际上是黑色，255级是纯色(红、绿或蓝)，分别用8位二进制数表示，每个像素占24位。7.1.1多媒体技术的基础知识除了RGB模型之外，还可以用颜色的3个特性来区分颜色，它们是色调，饱和度和明度，称为HSB颜色模型。色调又称为色相，指颜色的外观，用于区别颜色的名称或颜色的种类。饱和度是指颜色的纯洁性，它可用来区别颜色明暗的程度。明度是视觉系统对可见物体辐射或者发光多少的感知属性。7.1.1多媒体技术的基础知识如果对连续图像f(x，y)的坐标按一定顺序进行等间隔的采样，而对每一点的灰度也用等间隔进行整量，并且假设在(x，y)方向上均取N个间隔，那么就可以得到一个N×N的数组，便把它称为数字图像(digitalimage)。数组中的每一个数据都是数字图像的一个元素，称为图像元素，简称像素(pixel)或者像元。7.1.1多媒体技术的基础知识这就是一幅灰度图像在计算机中的表示，通常是将这些数据一行一行地存放在图像文件中。7.1.1多媒体技术的基础知识在计算机中，表示图像有两种方法，一种是用一系列的计算机指令来表示一幅图。如对于直线，图像文件中记录line，start-point，end-point；对于圆，图像文件中记录circle，center_x，center_y，radius，这样记录的文件不会随图像的尺寸改变而改变，也不存在采样分辨率的问题，只与显示的尺寸和显示分辨率有关，这样的图像称为矢量图像，或矢量图，而矢量图像通常叫做图形。7.1.1多媒体技术的基础知识对于复杂的图像，很难用数学方法对其进行描述，比如一幅照片，这时就使用记录每一个离散点的颜色的方法(就是前面介绍的采样、量化和编码)来描述图像，这种图像叫位图图像。位图图像把一幅图分成许许多多的像素，每个像素用若干个二进制位来表示该像素的颜色和亮度。7.1.1多媒体技术的基础知识位图图像按颜色又分为灰度图像和彩色图像，灰度图像的颜色只有黑白和浓淡之分，只有黑白两种颜色的称为单色图像。灰度图像还有16级、256级灰度。彩色图像有红、绿、蓝等丰富的色彩，有16色、256色和24位真彩色之分。7.1.1多媒体技术的基础知识4.图像文件格式（1）BMP（bitmap-file）位图文件位图文件后缀名以bmp结尾，是微软公司为其Windows环境设置的标准图像格式，在Windows系统中提供了一系列支持BMP图像处理的APl函数。随着Windows在世界范围内的不断普及，BMP文件格式无疑也已经成为PC机上的流行图像文件格式。在每个BMP文件中只能存放一幅图像。BMP图像质量较高，没有数据损失。BMP图像文件格式可以存储单色、16色、256色以及真彩色四种图像数据。7.1.1多媒体技术的基础知识（2）GIF(graphicsinterchangeformat图形交换格式)GIF是一种常用的跨平台的位图文件格式，存储的是8位图像文件，最多为256色，常用于网络传输。GIF是CompuServe公司开发的图像文件存储格式。7.1.1多媒体技术的基础知识（3）JPEG(JointPhotographicExpertsGroup)JPEG是一个由ISO(InternationalStandardOrganization国际标准化组织)和IEC(InternationalElectrotechnicsCommittee国际电工委员会)联合组成的一个专家组，负责制定静态的数字图像数据压缩编码标准，这个专家组开发的算法称为了JPEG算法，并且成为国际上通用的标准，因此又称为JPEG标准，相应的文件存储格式为.jpg格式。JPEG是一个适用范围很广的静态图像数据压缩标准，既可用于灰度图像又可用于彩色图像。7.1.1多媒体技术的基础知识5.视频文件格式（1）AVI(audiovideointerleave)AVI是一种音频视像交插记录的数字视频文件格式。（2）RMRM格式是RealNetworks公司开发的一种流媒体视频文件格式，它主要包含RealAudio，RealVideo和RealFlash3部分。RealMedia可以根据网络数据传输的不同速率制定不同的压缩比率，从而实现在低速率的Internet上进行视频文件的实时传送和播放。（3）ASF(advancedstreamingformat)ASF是由Microsoft公司推出的一种高级流媒体格式，也是一个可以在Internet上实现实时播放的标准，7.1.1多媒体技术的基础知识（4）DV(digitalvideo)DV格式是一种国际通用的数字视频标准，由SONY和Panasonic等10余家公司共同开发的，可以在一盘1/4英寸的金属蒸镀带(MiniDV格式)上记录高质量的数字视音频信号。7.1.2多媒体计算机系统的组成多媒体系统是一个能处理多媒体信息的计算机系统。它是在现有PC计算机基础上加上硬件板卡和相应的软件，使其具有综合处理声音、文字、图像、视频等多种媒体信息的多功能计算机。可见，多媒体系统是计算机和视觉、听觉等多种媒体系统的综合。多媒体计算机系统与普通计算机一样，也是由多媒体硬件和多媒体软件两部分组成。7.1.2多媒体计算机系统的组成1．多媒体系统的硬件结构多媒体计算机的硬件系统是由主机、视频部分、音频部分、基本输入/输出部分、高级多媒体设备等5部分组成，如图7.6所示:图7.6多媒体系统的硬件结构7.1.2多媒体计算机系统的组成(1)主机(2)视频部分(3)音频部分(4)基本输入/输出设备(5)高级多媒体设备主机是多媒体计算机的核心，可以是大/中型计算机，也可以是工作站，用的最多的还是微机。目前主机主板上可能集成有多媒体专用芯片。视频部分负责多媒体计算机图像和视频信息的数字化摄取和回放。主要包括视频压缩卡(也称视频卡)、电视卡、加速显示卡等。完成视频信号的A/D和D/A转换及数字视频的压缩和解压缩功能。音频部分主要完成音频信号的A/D和D/A转换及数字音频的压缩、解压缩及播放等功能，主要包括声卡、外接音箱、话筒、耳麦、MIDI设备等。多媒体输入/输出设备十分丰富，按功能分为视频/音频输入设备、视频/音频输出设备、人机交互设备、数据存储设备。随着科技的进步，出现了一些新的输入/输出设备，比如用于传输手势信息的数据手套，用于虚拟现实能够产生较好的沉浸感的数字头盔和立体眼镜等设备。7.1.2多媒体计算机系统的组成2．多媒体软件系统多媒体软件系统按功能可分为系统软件和应用软件。系统软件是多媒体系统的核心，它不仅具有综合使用各种媒体、灵活调度多媒体数据进行媒体传输和处理的能力，而且要控制各种媒体硬件设备协调地工作。多媒体系统软件主要包括多媒体操作系统、媒体素材制作软件及多媒体函数库、多媒体创作工具与开发环境、多媒体外部设备驱动软件和驱动器接口程序等。7.1.2多媒体计算机系统的组成应用软件是在多媒体创作平台上设计开发的面向应用领域的软件系统，通常由应用领域的专家和多媒体开发人员共同协作、配合完成。开发人员利用开发平台、创作工具，制作组织各种多媒体素材，生成最终的多媒体应用程序，并在应用中测试、完善，形成最终的多媒体产品