多媒体技术基础及应用期末复习指导

1多媒体技术基础及应用期末复习指导（本科）中央电大计算机教研室多媒体技术基础及应用是中央电大计算机科学与技术专业的限定性选修课程。4学分，开设一学期。该课程使用的教材为《多媒体技术基础及应用》和《多媒体技术基础及应用——辅导与实验》，钟玉琢、冼伟铨、沈洪编著，清华大学出版社出版。本课程综合讲述了多媒体计算机的基本原理、关键技术及其开发和应用。要求学生掌握的主要内容有：多媒体计算机的定义及其关键技术；视频音频信息的获取与处理；多媒体数据压缩编码技术；多媒体计算机硬件及软件系统结构、超文本和超媒体、多媒体计算机的应用技术。通过学习这些内容，为今后开展多媒体领域的研究和开发工作打下良好的基础。为了电大的同学更好地复习和掌握这门课程的知识，下面按照教学大纲要求，对各章的复习要点进行归纳总结，并给出相应的练习题及解答，供大家复习时参考。一、复习的主要内容第一章多媒体计算机概述1.多媒体计算机的定义和分类多媒体计算机的定义是：计算机综合处理多媒体信息（文本、图形、图像、音频和视频）使多种信息建立逻辑连接、集成为一个系统并具有交互性的技术。简单地说：计算机综合处理声、文、图信息；具有集成性和交互性。多媒体计算机的分类，从开发和生产厂商以及应用的角度出发可以分为两大类：一类是家电制造厂商研制的电视计算机（Teleputer），是把CPU放到家电中通过编程控制管理电视机、音响。有人称它为“灵巧”电视-SmartTV；另一类是计算机制造厂商研制的计算机电视（Compuvision），采用微处理器（80X86，68XXX）作为CPU，其它设备还有VGA卡，CD-ROM，音响设备以及扩展的多媒体家电系统，有人说它的发展方向是TV-Killer。2.多媒体计算机要解决的关键技术（1）视频音频信息的获取技术；（2）多媒体数据压缩编码和解码技术；（3）视频音频数据的实时处理和特技；（4）视频音频数据的输出技术。3.多媒体技术促进了通信娱乐和计算机的融合(1)多媒体技术是解决数字化及HDTV的可行方案应用多媒体技术制造高清晰度电视(HDTV)它可以支持任意分辨率的输出,而且输入输出分辨率可以独立,输出分辨率也可以任意地改变。可以用任意的窗口尺寸输出，同时还具备许多新的功能，如图形功能、视频音频特技以及交互功能。高清晰度数字电视技术及交互式电视技术由于采用了数字式视频数字式音频及MPEG压缩编码算法以便于数据传输、存储及计算机控制和管理。国际标准MPEG-Ⅱ，提供了四种工具：空间可扩展性、时间可扩充性、信噪比可扩充性及数据分块等。（2）利用多媒体技术制作VCD、DVD及影视音响应用多媒体计算机技术可制作VCD、DVD、影视音响卡拉OK机等。VCD播放系统主要有两种，一种是MPEG播放卡，另一种是VCD播放机。MPEG卡由Mediamatics公司研制的，这种卡由三块主要的芯片：MX501、4Mbit-DRAM和40MHzOSC。它由视频音频解2码加速器、PCI总线/主机寄存器组成。(3)个人信息通信中心（PIC）多媒体计算机由于具有录音机、电话（可视电话）、图文传真机、立体声音设备、电视机和录音像机等多种功能。通过联网在网上传输多种信息，因此，有人称它为个人信息通信中心（PIC）。第二章音频信息的获取与处理1.数字音频的基本概念（１）模拟音频与数字音频技术声音是一种机械振动，振动越强，声音就越大。例如话筒把机械振动转换成电信号，这是一种模拟的音频，它是以模拟电压的幅度表示声音的强弱。数字音频技术是把表示声音强弱的模拟电压用数字表示，如0.5V电压用数字20表示，2V电压用80表示。模拟电压的幅度，即使在某电平范围内，也可以取无穷多个，如1.2V、1.21V、1.215V……。而用数字来表示音频幅度时，只能把无穷多个电压幅度用有限个数字表示。把某一幅度范围的电压用一个数字表示，这叫做量化。数字音频是通过采样量化把模拟量表示的音频信号转换成许多二制数1和0组成数字音频文件。（２）数字音频的文件格式与转换多媒体技术中常用的声音文件格式有：⑴WAV文件WAV是Microsoft公司的音频文件格式。Microsoftsoundsystem软件SoundFinder可以转换AIF，SND和VOC文件到WAV格式。其中AIF是Apple计算机的音频文件格式；SND是另一种计算机的波形音频文件格式；⑵VOC文件VOC文件是Creative公司波形音频文件格式。利用声霸卡提供的软件可实现VOC和WAV文件的转换。程序VOC2WAV转换Creative的VOC文件到Microsoft的WAV文件。程序WAV2VOC转换Microsoft的WAV文件到Creative的VOC文件。⑶MIDI文件MIDI文件是（MusicalInstrumentDigitalInterface）乐器数字接口的缩写。RMI是Microsoft公司的MIDI文件格式。2.音频卡的功能及工作原理（１）音频卡的功能音频卡的功能有以下几个主要方面：音频录放、编辑、音乐合成、文语转换、CD-ROM接口、MIDI接口、游戏接口等。音频录放①数字化音频采样频率范围：5kHz～44.1kHz；量化位：8位／16位；通道数：立体声／单声道。②编码与压缩：基本编码方法有PCM(脉冲编码调制)；压缩编码方法有ADPCM（8:4；8:3；8:2；16:4）；CCITT律（13:8）CCITT律（14:8）实时硬件压缩／软件压缩。③音频录放的自动动态滤波。3④录音声源：麦克风、立体声线路输入、CD。编辑与音乐合成编辑与合成就像一部数字音频编辑器，它可以对声音文件进行各种特殊的处理：如倒播、增加回音效果、静噪音、往返放音、交换声道等。音乐合成功能和性能主要是依赖于合成芯片。（２）音频卡的工作原理音频卡的工作原理框图主要由以下几个部分组成：声音的合成与处理这是音频卡的核心部分，它由数字声音处理器、调频（FM）音乐合成器及乐器数字接口（MIDI）控制器组成。这部分的主要任务是完成声波信号的模／数（A／D）和数／模（D／A）转换，利用调频技术控制声音的音调、音色和幅度等。混合信号处理器混合信号处理器内置数字／模拟混音器，混音器的声源由以下几种信号如MIDI信号、CD音频、线路输入、麦克风等。可以选择一个声源或几个不同的声源进行混合录音。功率放大器由于混合信号处理器输出的信号功率还不够大不能推动扬声器或音箱，所以一般都有一个功率放大器作为功率放大使得输出的音频信号有足够的功率。总线接口和控制器总线接口有多种，早期的音频卡为ISA总线接口，现在的音频卡一般是PCI总线接口。总线接口和控制器是由数据总线双向驱动器、总线接口控制逻辑、总线中断逻辑及直接存储器访问（DMA）控制逻辑组成。第三章视频信息的获取与处理1.彩色空间表示及其转换⑴RGB彩色空间在多媒体计算机中常用红、绿、蓝（RGB）彩色空间表示，由于计算机彩色监视器的输入需要红、绿、蓝（RGB）三个彩色分量，通过RGB三个分量的不同比例的组合，在显示器屏幕上可得到任意的颜色。在多媒体系统中不管采用什么形式的彩色空间表示，但最后要求输出的是转换成RGB彩色空间表示。⑵YUV和YIQ彩色空间现代的彩色电视系统中，一般采用摄像机把摄到的彩色图像信号，经过分色棱镜分成R0、G0、B0三个分量的信号，经过放大和校正后得到RGB信号，再经过矩阵变换电路得到亮度信号Y和色差信号R-Y、B-Y，最后发送端将Y、R-Y及B-Y三个信号进行编码，用同一信道经过高频功率放大，通过天线发送出去。这种信号就是常用的YUV彩色空间表示。由于这种彩色空间的亮度信号Y解决了彩色电视与黑白电视的兼容问题，而且实验表明人眼对彩色图像细节的分辨能力比对黑白低得多，因此可以对色度信号U、V采用“大面积着色原理”用亮度信号Y传送细节而用色差信号U、V进行大面积涂色。采用YIQ彩色空间表示的好处是人眼的彩色视觉特性表明，人眼分辨红、黄之间颜色变化的能力最强，而分辨蓝与紫之间颜色变化的能力最弱。(3)RGB与YUV和YIQ之间的转换彩色摄像机得到的信号是经过校正的RGB信号。考虑到和黑白电视机兼容及压缩编码，在传送过程中包含亮度信号和色差信号，则亮度方程可简化为：Y＝0.3R＋0.59G＋0.11B。从这个公式可看到，采用三基色显示彩色时，各基色组成亮度Y的比例关系是不变的，这些比例系数也叫做“可见度系数”它们的和为1。这表示当基色信号电压ER、EG、EB各4为1V时，构成的亮度信号E也为1V。在三个色差信号中B-Y、R-Y、G-Y，其中有两个是独立的，最后一个可用亮度方程和两个色差信号通过运算得到。考虑到彩色与黑白的兼容问题和减少幅度失真问题，则必须对彩色信号进行压缩，具体方法是让色差信号乘上一个小于1的压缩系数。经过运算整理得YUV与RGB之间的关系表达式。2．黑白全电视信号和彩色全电视信号（1）黑白全电视信号全电视信号主要由图像信号、复合消隐信号（包括行消隐信号、场消隐信号）和复合同步信号（包括行同步信号、场同步信号）三部分组成。(2)彩色全电视信号①彩色全电视信号与黑白电视的兼容问题在彩色电视系统中,通常用Y、U、V彩色空间或Y、I、Q彩色空间，Y为亮度信号，它可以和黑白全电视信号兼容。为了实现兼容，彩色电视信号必须满足以下几个要求：（a）保留黑白电视信号原有的各项标准。如：每帧625行、隔行扫描、帧频为25Hz、场频为50Hz、行频为15625Hz、以及同步方式、频带宽度等。（b）彩色电视信号中应包含有一个代表图像的亮度信号（称为亮度信号），这个信号中彩色接收机和黑白接收机中均能重现黑白图像。（c）彩色电视图像信号中还应包含有代表图像颜色的信号（称为色度信号）和色同步信号。②彩色全电视信号的组成彩色全电视信号是由色度信号F、亮度信号Y（或用B表示）、复合消隐信号A（包括行消隐和场消隐信号）、复合同步信号S（包括行同步和场同步信号）等迭加在一起组成的，通常可用符号FBAS来表示。在我国消隐电平规定为零电平，因此，在彩色全电视信号中实际上并没有迭加特定的消隐信号。另外，为了接收机解调色度信号的需要，在彩色全电视信号中还应包括色同步信号，这是由位于行同步后肩，具有十个周期左右的副载波组成。（3）视频信息和获取技术①利用计算机产生彩色图形，静态图像和动态图像。②利用彩色扫描仪，扫描输入彩色图形和静态图像。③利用视频信号数字化仪，将彩色全电视信号经数字化处理后，输入到多媒体计算机中，获得静态和动态图像。3.视频采集卡的组成⑴模数（A／D）变换和数字解码⑵窗口控制器⑶帧存储器系统⑷数模（D／A）转换和矩阵变换⑸视频信号和VGA信号的叠加⑹数字式多制式视频信号编码4.视频卡的工作原理视频卡的工作原理（参考教材上视频卡的工作原理框图）可概述为：视频信号源、摄像机、录像机或激光视盘的信号首先经过模数（A／D）变换，送到多制式数字解码器进行解码得到Y、U、V信号，然后由视频窗口控制器对其进行剪裁，改变比例后存入帧存储器。帧存储器的内容在窗口控制下，与VGA同步信号或视频编码器的同步信号同步，再送到数模（D／A）变换器模拟彩色空间变换矩阵，同时送到数字式视频编辑器进行视频编码，最后输出到VGA监视器及电视机或录像机。第四章多媒体数据压缩编码技术51、多媒体数据压缩的重要性和分类(1)为什么要进行数据压缩多媒体信息包括了文本、数据、声音、动画、图形、图像以及视频等多种媒体信息。虽然经过数字化处理后其数据量是非常大的，如果不进行数据压缩处理，计算机系统就无法对它进行存储和交换。另一个原因是图像、音频和视频这些媒体具有很大的压缩潜力。因为在多媒体数据中，存在着空间冗余、时间冗余、结构冗余、知识冗余、视觉冗余、图像区域的相同性冗余、纹理的统计冗余等。它们为数据压缩技术的应用提供了可能的条件。因此在多媒体系统中必须采用数据压缩技术，它是多媒体技术中一项十分关键的技术。(2)数据压缩方法的分类常用的压缩编码方法可以分为两大类，一类是无损压缩法；另一类是有损压缩法。常用的数据压缩方法按其原理分类也可分为：预测编码、变