第11章多媒体及技术_2

第11章多媒体技术掌握多媒体的定义了解多媒体的特性，熟悉多媒体关键技术了解数字音频、视频的基本原理，计算机动画制作处理技术理解图形和图像的区别，图像静态压缩和动态压缩概念基本熟悉GoldWave、WindowsMovieMaker【学习目标】【能力考查要求】初步掌握本章讲解的多媒体制作软件的基本操作理解图形、图像、静态压缩、动态压缩概念【操作考查点】基本掌握GoldWave采集和处理声音基本掌握WindowsMovieMaker分割视频文件11.1多媒体技术概述11.2多媒体特性与关键技术11.3音频处理技术11.4视频处理技术11.5图形图像处理技术11.6计算机动画制作技术第11章多媒体技术11.1多媒体技术概述11.1.1媒体与多媒体媒体的两种含义：一种是指用以存储信息的实体另一种是指信息的载体多媒体：理解为直接作用于人感官的文字、图形图像、动画、声音和视频等各种媒体的统称。多媒体系统（MultimediaSystem）是指以计算机技术为基础，能综合处理文字、声音、图形、图像、动画等多种媒体信息的技术的系统。多媒体分类感觉媒体（PerceptionMedium）感觉媒体是指能够直接作用于人的感觉器官，使人产生直接感觉(视、听、嗅、味、触觉)的媒体，如语言、音乐、图像、图形、动画、文本等。表示媒体（PresentationMedium）表示媒体是指为了传送感觉媒体而人为研究出来的媒体，借助这一媒体可以更加有效地存储感觉媒体，或者是将感觉媒体从一个地方传送到远处另外一个地方的媒体，如语言编码、电报码、条形码、语言编码，静止和活动图像编码以及文本编码等。表现媒体（PresentationMedium）表现媒体是表现感觉媒体的设备。表现媒体又分为两类：一类是输入表现媒体，如话筒，摄像机、光笔以及键盘等，另一类为输出表现媒体，如扬声器、显示器以及打印机等，指用于通信中，使电信号和感觉媒体间产生转换的媒体。存储媒体（StorageMedium）存储媒体用于存储表示媒体，即存放感觉媒体数字化后的代码的媒体。例如磁盘、光盘、磁带、纸张等。简而言之，是指用于存放某种媒体的载体。传输媒体（TransmissionMedium）传输媒体是指传输信号的物理载体，例如同轴电缆、光纤、双绞线以及电磁波等都是传输媒体。11.1.2多媒体技术多媒体技术：把文字、图形、图像、动画、音频、视频等各种媒体通过计算机进行数字化的采集、获取、加工处理、存储和传播而综合为一体化的技术。多媒体技术的研究内容1.多媒体数据压缩技术2.多媒体数据存储技术3.多媒体系统软件平台4.多媒体数据库与基于内容的检索技术5.超文本与Web技术6.多媒体系统数据模型7.多媒体通信与分布式多媒体系统11.1.3多媒体计算机一台PC变为MPC的关键技术是：视频、音频信号获取技术；多媒体数据压缩编码和解码技术；视频、音频数据的实时处理和特技；视频、音频数据的输出技术。多媒体计算机系统：多媒体硬件系统+多媒体软件系统硬件：视频/音频输入设备、视频/音频输出设备、人机交互设备、数据存储设备。软件：多媒体操作系统、媒体素材制作软件及多媒体函数库、多媒体创作工具与开发环境、多媒体外部设备驱动软件和驱动器接口程序等11.2多媒体特性与关键技术11.2.1多媒体特性集成性多维性交互性数字化智能型易扩展性11.2.2关键技术多媒体数据压缩技术多媒体硬件平台技术多媒体软件技术多媒体信息管理技术多媒体界面设计与人机交互技术多媒体通信与分布应用技术11.3音频处理技术11.3.1数字音频的基本原理声音媒体分三类：波形声音、语音、音乐所谓数字化手段就是把模拟信号数字化。把模拟信号转换成数字信号的过程称为模/数转换，它主要包括以下三步：1、采样（在时间轴上对信号数字化）2、量化（在幅度轴上对信号数字化）3、编码(按一定格式记录采样和量化后的数字数据)。数字音频的重要技术指标采样频率采样频率是指一秒钟内采样的次数。根据该采样理论，CD激光唱盘采样频率为44KHz，可记录的最高音频为22KHz。采样的三个标准频率分别为：44.1KHz，22.05KHz和11.025KHz。量化位数量化位是对模拟音频信号的幅度轴进行数字化，它决定了模拟信号数字化以后的动态范围。由于计算机按字节运算，一般的量化位数为8位和16位。量化位越高，信号的动态范围越大，数字化后的音频信号就越可能接近原始信号，但所需要的存储空间也越大。声道数声道数分为单声道和双声道。双声道又称为立体声，在硬件中要占两条线路，音质、音色好，但立体声数字化后所占空间比单声道多一倍。编码算法编码的作用一是采用一定的格式来记录数字数据，二是采用一定的算法来压缩数字数据。压缩编码的基本指标之一就是压缩比。音频数字化处理基本的包括以下几种：不同采样率、频率、通道数之间的变换和转换。其中变换只是简单地将其视为另一种格式，而转换通过重采样来进行，其中还可以根据需要采用插值算法以补偿失真。针对音频数据本身进行的各种变换，如淡入、淡出、音量调节等。通过数字滤波算法进行的变换，如高通、低通滤波器。11.3.2音频编码标准语音的编码技术有三类：波形编码参数编码混合编码音乐的编码技术有三类：自适应变换编码（频域编码）心理声学模型熵编码11.3.3常见音频文件格式1、WAV格式（.WAV）WAV格式是微软公司开发的一种声音文件格式，用于保存WINDOWS平台的音频信息资源，被WINDOWS平台及其应用程序所支持。标准格式的WAV文件和CD格式一样，也是44.1K的采样频率，是目前广为流行的声音文件格式，几乎所有的音频编辑软件都能识别WAV格式。但其缺点是文件体积较大，所以不适合长时间纪录。2、MIDI格式（.MID）MIDI是MusicalInstrumentDigitalInterface的缩写，又称作乐器数字接口，是数字音乐/电子合成乐器的统一国际标准。它定义了计算机音乐程序、数字合成器及其他电子设备交换音乐信号的方式，规定了不同厂家的电子乐器与计算机连接的电缆和硬件及设备间数据传输的协议，可以模拟多种乐器的声音。MIDI文件就是MIDI格式的文件，在MIDI文件中存储的是一些指令。把这些指令发送给声卡，由声卡按照指令将声音合成出来。MIDI文件的大小要比WAV文件小的多，一分钟的WAV文件约要占用10MB的硬盘空间，而一分钟的MIDI却仅占用3.4KB。3、CDA格式（.CDA）大家很熟悉的CD就是使用这种音乐格式，扩展名CDA，其取样频率为44.1kHz，16位量化位数，跟WAV一样，但CD存储采用了音轨的形式，又叫“红皮书”格式，记录的是波形流，是一种近似无损的格式。4、MP3格式（.MP3）MPEG是动态图像专家组的英文缩写。这个专家组始建于1988年，专门负责为CD建立视频和音频压缩标准。MPEG音频文件指的是MPEG标准中的声音部分，即MPEG音频层。MPEG音频文件根据压缩质量和编码复杂程度的不同可分为三层。MPEG音频编码具有很高的压缩率，一分钟CD音质的音乐未经压缩需要10MB存储空间，而经过MP3压缩编码后只有1MB左右。5、VQF格式（.VQF）VQF即TWINVQ，是NTT与YAMAHA共同开发的一种音频压缩技术。VQF的音频压缩率比标准的MPEG音频压缩率高出近一倍，可以达到18:1左右，甚至更高。当VQF以44KHZ，96KBBPS的频率压缩时，它的音质几乎等于44KHz、256KBPS的MP3。6、AIF/AIFF格式（.AIF/.AIFF）.AIFF是音频交换文件格式的英文缩写。它是APPLE公司开发的一种音频文件格式，被MACINTOSH平台及其应用程序所支持，NETSCAPE浏览器中LIVEAUDIO也支持AIFF格式，SGI及其他专业音频软件包也同样支持AIFF格式。AIFF支持ACE2、ACE8、MAC3和MAC6压缩。7、AU文件格式（.AU）AUDIO文件是SUN公司推出的一种数字音频格式。AU文件原先是UNIX操作系统下的数字声音文件。8、VOICE文件格式（.VOC）VOICE文件是新加坡著名的多媒体公司CREATIVELABS开发的声音文件格式，支持CCITTALAW和CCITTuLAW等压缩算法。9、REALAUDIO文件格式（.RA/.RM/.RAM）REALAUDIO文件是REALNETWORKS公司开发的一种新型音频流文件格式，主要用于在低速率的广域网上实时传输音频信息。网络连接速率不同，客户端所获得的声音质量也不相同：对于14.4KBPS的网络连接，可获得调幅（AM）质量的音质；对于28.8KBPS的连接，可以达到广播级的声音质量；如果使用ISDN或ADSL等更快的线路连接，则可获得CD音质的声音。10、模版格式文件格式（.MOD/.S3M/.XM/.MTM/.FAR/.KAR/.IT）模版格式文件。它同时具有MIDI与数字音频的共同特性：既包括如何演奏乐曲的指令，又保存了数字声音信号的采样数据。因此，在不同的机器上可以获得基本相似的声音回放质量。11、MP4文件格式（.MP4）MP4采用的是美国电话电报公司（AT&T）所研发的以“知觉编码”为关键技术的a2b音乐压缩技术，由美国网络技术公司(GMO)及RIAA联合公布的一种新的音乐格式。MP4在文件中采用了保护版权的编码技术，只有特定的用户才可以播放，有效地保证了音乐版权的合法性。另外MP4的压缩比达到了15:1，体积比MP3更小，但音质却没有下降。11.3.4音频处理工具GoldWaveGoldWave是一个集声音编辑、播放、录制和转换的音频工具，体积小巧，功能却不弱。可打开的音频文件相当多，包括WAV、OGG、VOC、IFF、AIF、AFC、AU、SND、MP3、MAT、DWD、SMP、VOX、SDS、AVI、MOV等音频文件格式，同时也可以从CD、VCD、DVD或者其他视频文件中提取声音。内容丰富的音频处理特效，从一般特效如多普勒、回声、混响、降噪到高级的公式计算(利用公式在理论上可以产生任何你想要的声音)，效果相当多。试做书上实例11.4视频处理技术11.4.1视频的基本原理首先，通过摄像机的光敏器件像CCD（电荷耦合器件），将光信号转换成RGB三路电信号；其次，在电视机或监视器内部也使用RGB信号分别控制三支电子枪轰击荧光屏以产生影像。将RGB信号转换成亮度信号Y和两个色差信号U、V，形成YUV分量信号。U、V信号进一步合成一个色度信号C。Y和C又可以进一步形成复合视频，即彩色全电视信号，这种方式便于传输和电视信号的发射。将RGB信号转换成YUV信号、Y/C信号直至复合视频信号的过程称为编码。视频影像是由一系列被称为帧的单个静止画面组成。一般帧率在24-30帧/秒时，视频运动非常平滑。PAL制与NTSC制一般都是模拟信号，视频捕捉卡可完成对它的模数转换。视频捕捉卡先对输入视频信号以4:2:2格式进行采样，然后进行量化，一般对YUV（也即对RGB）各8位量化，因而产生24位真彩。经过上述过程，模拟视频即变成数字视频，而这一过程的逆过程即可实现数字视频的解压缩与回放。数字视频经解压缩后，可送入显示卡并在计算机的显示器上显示出来。11.4.2视频压缩标准MPEG-1目的是把221Mbits／s的NTSC图像压缩到1.2Mbits／s，压缩率为200∶1。这是图像压缩的工业认可标准。它可针对SIF标准分辨率(对于NTSC制为352×240；对于PAL制为352×288)的图像进行压缩，传输速率为1.5Mbits／s，每秒播放30帧，具有CD音质，质量级别基本与广播级录像带（VHS）相当。MPEG的编码速率最高可达4-5Mbits／s，但随着速率的提高，其解码后的图像质量有所降低。MPEG-2MPEG-2制定于1994年，设计目标是高级工业标准的图像质量以及更高的传输率。MPEG-2所能提供的传输率在3MB-10MB／s间，在NTSC制式下的分辨率可达720×486。MPEG-2能够提供广播级的视像和CD级的音质。MPEG-2的音频编码可提供左右中及两个环