大学计算机教程-第9章多媒体技术基础

计算机科学与工程学院《大学计算机教程》2020/1/3第3章多媒体技术基本知识1大学计算机教程第9章多媒体技术基本知识计算机科学与工程学院《大学计算机教程》2020/1/3第3章多媒体技术基本知识2第9章多媒体技术基本知识多媒体技术使计算机具有综合处理声音、文字、图像和视频的能力，它以形象丰富的声、文、图信息和方便的交互性，极大地改善了人机界面，多媒体技术的出现从根本上改变了以往基于字符的各种计算机处理。首先是语音和图像的实时获取、传输及存储，使人们获取和交互信息流的渠道豁然开朗，既能听其声，又能见其人，千里之外，近在咫尺，改变了人们的交互方式、生活方式和工作方式；其次是促进了各个学科的发展和融合，开拓了计算机在国民经济各个领域中的广泛应用，从而对整个社会结构产生重大影响。多媒体计算机加速了计算机进入家庭和社会各个方面的进程，给人类的工作和生活带来一场革命。计算机科学与工程学院《大学计算机教程》2020/1/3第3章多媒体技术基本知识39.1多媒体计算机的定义和关键技术9.2多媒体技术的特性9.3数字音频基础9.4图像和图形基础第9章多媒体技术基本知识9.5视频与动画基础9.6多媒体数据的压缩与编码9.7多媒体应用系统的制作过程计算机科学与工程学院《大学计算机教程》2020/1/3第3章多媒体技术基本知识4媒体（Medium）：在计算机领域中有两种含义：一是指用以存储信息的实体，如磁带、磁盘、光盘和半导体存储器；二是指信息的载体，如数字、文字、声音、图形和图像。多媒体技术中的媒体是指后者。人类感知信息的途径是：视觉：是人类感知信息最重要的途径，人类从外部世界获取信息的70%~80%是从视觉获得；听觉：人类从外部世界获取信息的10％是从听觉获得；嗅觉、味觉、触觉：通过嗅、味、触觉获得的信息量约占10％。9.1多媒体计算机的定义和关键技术计算机科学与工程学院《大学计算机教程》2020/1/3第3章多媒体技术基本知识5多媒体计算机（MultimediaComputingTechnology）的定义是：计算机综合处理多种媒体信息（包括文本、图形、图像、音频和视频），使多种信息建立逻辑连接，集成为一个系统并具有交互性。简单地说，多媒体计算机具有综合处理声、文、图信息的能力以及具有集成性和交互性，即多媒体计算机具有信息载体多样性、集成性和交互性。把一台普通的计算机变成多媒体计算机要解决的关键技术是：１）视频音频信号获取技术；２）多媒体数据压缩编码和解码技术；３）视频音频数据的实时处理和特技；４）视频音频数据的输出技术。。9.1多媒体计算机的定义和关键技术9.1.1多媒体计算机的定义及其关键技术计算机科学与工程学院《大学计算机教程》2020/1/3第3章多媒体技术基本知识6在计算机发展的初期，人们只能用数值这种媒体承载信息。当时只能通过0和1两种符号表示信息，20世纪50年代到70年代，出现了高级程序设计语言，开始用文字作为信息的载体，人们可以用文字（如英文）编写源程序，输入计算机，使用英文文字同计算机交往，对于文化水平较低，特别是非英语国家，仍然是件困难的事情。20世纪80年代开始，人们致力于研究将声音、图形和图象作为新的信息媒体输入输出计算机，这将使计算机的应用更为直观、容易。超大规模集成电路的密度增加了；超大规模集成电路的速度增加了；CD-ROM可作为低成本、大容量PC机的只读存储器双通道VRAM的引进；网络技术的广泛使用。9.1多媒体计算机的定义和关键技术9.1.2利用多媒体是计算机技术发展的必然趋势计算机科学与工程学院《大学计算机教程》2020/1/3第3章多媒体技术基本知识79.1多媒体计算机的定义和关键技术9.2多媒体技术的特性9.3数字音频基础9.4图像和图形基础第9章多媒体技术基本知识9.5视频与动画基础9.6多媒体数据的压缩与编码9.7多媒体应用系统的制作过程计算机科学与工程学院《大学计算机教程》2020/1/3第3章多媒体技术基本知识81.信息载体多样性9.2多媒体技术的特性2.交互性3.协同性4.实时性5.集成性计算机科学与工程学院《大学计算机教程》2020/1/3第3章多媒体技术基本知识99.1多媒体计算机的定义和关键技术9.2多媒体技术的特性9.3数字音频基础9.4图像和图形基础第9章多媒体技术基本知识9.5视频与动画基础9.6多媒体数据的压缩与编码9.7多媒体应用系统的制作过程计算机科学与工程学院《大学计算机教程》2020/1/3第3章多媒体技术基本知识101.声音采样声音采样是把模拟声音波形按相等时间间隔划分为许多片断，每个片断用一个数值进行量化，从而将连续的波形转化为离散的数字信号。影响采样后的数字音频质量的因素有：采样频率、采样量化大小和声道数。1)采样频率是指单位时间内的采样次数。声卡一般提供l1.025KHz、22.05KHz和441KHz三种不同的采样频率。2)采样的量化大小反映了对采样点进行数字化时所选用的精度，用记录每次采样样本值大小的数据位数来表示，通常有8位、16位和32位。16位声音，衡量的样本值有65536个等级。3)声道数指所处理的声音是单声道还是立体声。单声道在声音处理过程中只有单数据流，而立体声则需要左、右声道的两个数据流。9.3数字音频基础9.3.1声音及其数字化计算机科学与工程学院《大学计算机教程》2020/1/3第3章多媒体技术基本知识112.其他相关技术1)MIDI(MusicalInstrumentDigitalInterface)是数字音乐的国际标准。它定义了计算机音乐程序、合成器及其他电子设备交换信息和电子信号的方式，可以解决不同电子乐器之间不兼容的问题。PC能够通过内部合成器或连接到MIDI端口的外部合成器播放MIDI文件。MIDI文件演奏音乐的存储量最少。2)采样后的数字声音的大小为采样频率×量化位数×声道数×时间(秒)/8。例如以22.05KHz采样频率对模拟信号采样，采样的量化位数为16位，录制4秒双声道声音，获得的数据量为22.05×1000×16×4/8=352800字节。3)实现计算机语音输出通常有两种方法：一是文/语转换，二是录音/重放。第一种方法是基于声音合成技术的一种声音产生技术，它可用于语音合成和音乐合成。而第二种方法是最简单的音乐合成方法，曾相继产生了调频（FM）音乐合成技术和波形表(WaveTable)音乐合成技术。9.3数字音频基础9.3.1声音及其数字化计算机科学与工程学院《大学计算机教程》2020/1/3第3章多媒体技术基本知识121.WAVE扩展名为WAV，是微软公司开发的一种声音文件格式，用于保存Windows平台的音频信号。该格式记录声音的波形，只要采样频率高，采样字节长，机器速度快，利用该格式记录的声音文件能够和原声基本一致文件太大。2.MOD扩展名MOD，ST3，XT，S3M，FAR和669等，该格式的文件里存放乐谱和乐曲使用的各种音色样本，具有回放效果明确、音色种类无限等优点。但它也有一些致命弱点，以至于现在已经逐渐被淘汰，目前只在一些游戏程序中使用。3.MPEG-3扩展名MP3：MPEG-llayer3，是将WAV声音数据进行数据压缩后产生的音乐文件格式。它的音频数据流为112kbit/s或128kbit/s，与CD音质相仿，但压缩率非常高，成为目前最流行的声音文件格式，在网络、可视电话和通信方面应用广泛。9.3数字音频基础9.3.2音频文件的常用存储格式计算机科学与工程学院《大学计算机教程》2020/1/3第3章多媒体技术基本知识134.RealAudio扩展名RA，是RealNetworks公司开发的一种流式音频格式。这种格式以强大的压缩率和相对较小的失真在众多格式中脱颖而出。出现早，技术成熟。但其压缩率和音质的综合表现一般，有被后起之秀取代的危机。5.CreativeMusicalFormat扩展名CMF，Creative公司的专用音乐格式，和MIDI差不多，只是音色、效果上有些特色，专用于FM声卡，但其兼容性较差。6.CDAudio音乐CD扩展名CDA，是CD唱片采用的格式，又叫“红皮书”格式，记录的是波形流，音色和音质都非常好。但缺点是音乐文件只能存储在光盘中，不是以普通文件形式存储，无法编辑，占用空间大。一张光盘只能存储10余首CD音乐，却能存储100多首MP3歌曲。9.3数字音频基础9.3.2音频文件的常用存储格式计算机科学与工程学院《大学计算机教程》2020/1/3第3章多媒体技术基本知识147.MIDI扩展名MID，目前最成熟的音乐格式，实际上已经成为一种产业标准。作为音乐工业的数据通信标准，MIDI能指挥各种音乐设备的运转，而且具有统一的标准格式能够模仿原始乐器的各种演奏技巧甚至无法演奏的效果，而且文件的长度非常小，可用于为不同乐器创建数字声音，可以模拟大提琴、小提琴和钢琴等常见乐器。MIDI文件不包含数字化后的声音波形数据，只包含产生声音的指令（严格来讲，它不属于数字音乐家族中的成员），这些指令包括使用什么MIDI设备的音色、声音的强弱以及声音持续的时间等。在播放声音时，计算机将这些指令发送给声卡，声卡按指令将声音合成出来。MIDI音乐在不同场合下重放时，效果可能不同，取决于音乐合成器的质量。其缺点是不能很好地重现真实自然界中的声音，如水流、鸟鸣等，表现语音能力差。9.3数字音频基础9.3.2音频文件的常用存储格式计算机科学与工程学院《大学计算机教程》2020/1/3第3章多媒体技术基本知识15MIDI消息实际上就是乐谱的数字表示。与波形声音比，MIDI数据不是声音而是指令，因此它的数据量要比波形声音少得多。如30分钟的立体声高品质音乐，用波形文件无压缩录制，约需300MB的存储空间；而同样的MIDI数据，则只需200KB。两者相差1500倍之多。另外，对MIDI的编辑很灵活，可以自由地改变曲调、音色等属性。波形声音与设备无关，MIDI数据是与设备有关的，即MIDI音乐文件所产生的声音与用来回放的特定的MIDI设备有关。至于MIDI文件，是指存放MIDI信息的标准文件格式。MIDI文件中包含音符、定时和多达16个通道的演奏定义，文件包括每个通道的演奏音符信息：键通道号、音长、音量和力度（击键时，键达到最低位置的速度）。由于MIDI文件比波形文件需要的磁盘空间少，在设计多媒体节目时，将有很大的灵活性。9.3数字音频基础9.3.3波形声音与MIDI音乐的比较计算机科学与工程学院《大学计算机教程》2020/1/3第3章多媒体技术基本知识169.1多媒体计算机的定义和关键技术9.2多媒体技术的特性9.3数字音频基础9.4图像和图形基础第9章多媒体技术基本知识9.5视频与动画基础9.6多媒体数据的压缩与编码9.7多媒体应用系统的制作过程计算机科学与工程学院《大学计算机教程》2020/1/3第3章多媒体技术基本知识17我们知道，彩色都可用亮度、色调和饱和度来描述，人眼中看到的任一彩色光都是这三个特征的综合效果。通常我们把色调和饱和度通称为色度，亮度是用来表示某彩色光的明亮程度，而色度则表示颜色的类别与深浅程度。自然界常见的各种颜色光，都可由红(R)、绿(G)、蓝(B)三种颜色光按不同比例相配而成。同样，绝大多数颜色光也可以分解成红、绿、蓝三种色光这就形成了色度学中最基本的原理-------三原色原理(RGB)。9.4图像和图形基础9.4.1有关色彩的基本常识计算机科学与工程学院《大学计算机教程》2020/1/3第3章多媒体技术基本知识181.矢量图与位一般来说，目前的图形(图像)格式大致可以分为两大类：一类为位图；另一类称为描绘类、矢量类或面向对象的图形(图像)。前者是指在空间和亮度上已经离散化的图像。通常把一幅位图图像近似为一个矩阵，矩阵中的一个元素(像素)对应图像的一个点，相应的值表示该点的灰度等级或颜色。后者是以数学方法描述的一种由几何元素组成的图形（图像)，即用一个指令集合来描述的，这些指令用来描述图中线条的形状、位置和颜色等各种属性和参数。矢量图与位图比较，主要看空间和性能两方面。一般