第七章多媒体技术

教学进度第七章多媒体技术本章主要介绍多媒体计算机硬件与软件方面的基础知识，以及计算机中音频、图像等信息的获取与处理、多媒体数据压缩原理等方面的相关内容。教学进度7.1.1多媒体计算机的概念7.1多媒体计算机技术概述从一般意义上讲，在计算机或通讯领域，媒体是指信息的载体或者信息的存储实体，信息载体包括数字、文字、声音、图形、图像、视频，信息的存储实体包括磁盘、磁带、光盘、U盘等。而就多媒体计算机而言，媒体则是指信息载体。根据国际电信联盟的定义，媒体可分为5种：感觉媒体表示媒体显示媒体存储媒体传输媒体教学进度7.1多媒体计算机技术概述2.为传送和表达感觉媒体而人为研究出来的媒体(如ASCII、汉字、图像、声音、视频编码等)1.人类通过感观直接感知的信息(文字、声音、图像等)3.输入和输出信息的媒体(如键盘、鼠标、显示器、打印机等)4.存储表示媒体的介质(软盘、硬盘、光盘等)5.传输信息的媒体。(如光纤、电缆等)教学进度多媒体：通常所指的多媒体就是文字、声音、图像、图形、动画、视频等各种媒体在计算机统一管理下的有机结合。7.1多媒体计算机技术概述多媒体计算机技术：计算机综合处理多种媒体信息(文本、图形、图像、音频、视频和动画)，使多种信息建立逻辑连接，集成为一个系统且具有交互性。教学进度1984年，Apple公司推出Machintosh图形操作系统。1985年，世界上第一台多媒体计算机问世。1986年，推出光盘系统。1990年，多媒体个人计算机协会制定MPC1标准。1995年，Windows95操作系统问世。Apple计算机(1984)CommodoreAmiga系统7.1多媒体计算机技术概述7.1.2多媒体技术的发展历史教学进度7.1多媒体计算机技术概述多媒体特点是：(1)多样性：多媒体不只处理一种媒体，而是综合处理多种媒体，包括图文声像信息。(2)集成性：多媒体不是多种媒体简单的收集，而是被有机地集成为系统。(3)交互性：多种媒体系统可以实现人机互动，用户可以根据需要来使用系统。7.1.3多媒体技术的特点和关键技术关键技术，包括：①音频视频信号的获取技术②多媒体数据的压缩编码和解码技术③音频视频数据的实时处理和特技④音频视频数据的输出技术教学进度多媒体信息的主要元素1．文本：包含字母、数字、汉字等基本元素。2．图形：又称矢量图。通过计算而描述的矢量图形多媒体多媒体多媒体各类文字和符号1234ABCD☆※＃№§→◇！？；φβ教学进度多媒体信息的主要元素3．图像：又称位图或像素图。4.动画：采用编程或动画软件创作的连续画面。用像素点描述的自然影像编程或动画制作软件生成的画面多画面帧动画单画面矢量动画教学进度多媒体信息的主要元素5.音频：指人耳能听到的连续变化的音波。6.视频：动态的影视图像。数字音频信号、压缩音频信号●midi音频●wav音频●mp3压缩音频用电视摄像设备捕捉的实物场景音频+视频END教学进度7.1.4多媒体技术的发展和应用7.1多媒体计算机技术概述教育（形象教学、模拟展示）医疗（远程诊断、远程手术）人工智能模拟（生物、人类智能模拟）商业广告（特技合成、大型演示）影视娱乐业（电影特技、变形效果）教学进度7.1多媒体计算机技术概述(1)多媒体技术智能化把人工智能领域某些研究课题与多媒体计算机技术结合。(2)多媒体信息实时处理和压缩编码算法芯片化把多媒体信息实时处理和压缩编码算法直接放置到CPU芯片中，从而大大改善多媒体计算机的性能指标。(3)虚拟现实技术是指运用多种技术综合形成一种模拟现实环境的人造环境，用户在该环境中通过五官和大脑的亲自体验并参与到该虚拟环境中，可以与之交互。让用户感觉到如同置身于真实世界一样，它是多媒体技术的最高境界。7.1.5未来多媒体技术的发展教学进度7.2.1多媒体计算机硬件系统7.2多媒体计算机系统教学进度7.2多媒体计算机系统(1)基本硬件设备:①光盘存储器光盘存储器由光盘和光盘驱动器构成。②音频卡又名“声卡”，主要用于处理声音，是多媒体计算机的基本配置。目前许多计算机的主板上都集成了声卡的功能，声卡不再以单独形式存在。教学进度7.2多媒体计算机系统声卡的作用主要有：①A/D(模/数)转换——将作为模拟量的自然声音转化成数字化的声音，然后以文件形式保存在计算机中。②D/A(数/模)转换——把数字化的声音转换成模拟量的自然声音并输出到声音还原设备(例如耳机、有源音箱、音箱放大器等)中。③输入、输出功能——利用声卡的输入/输出端口可以将模拟信号引入声卡并转换成数字信号；也可以将数字信号转换成模拟信号送到输出端口驱动音响设备发出声音。7.6音频卡的基本原理教学进度声卡的主要接口：①总线(Bus)②线路输入(Linein)③话筒输入(Micin)④线路输出(Lineout)⑤扬声器输出(SpeakerOut)⑥游戏棒/MIDI(Joystick/MIDI)7.2多媒体计算机系统教学进度声卡与外部设备的连接示意图音箱2、麦克风输入3、扬声器输出4、MIDI/操纵杆端口外部音频设备麦克风操纵杆MIDI声音装置1、线路输入7.2多媒体计算机系统(1)数字信号处理器DSP：声卡的核心部件，用于管理声音的输入输出以及音频信号的模/数转换和数/模转换。(2)混音器：可以将几个不同声源进行混合录音。(3)音乐合成器：主要用于MIDI音乐文件的播放。声卡中的关键部件教学进度7.2多媒体计算机系统(2)扩展设备:具有代表性的扩展设备有：触摸屏、视频卡、扫描仪、数码相机、数字摄像机、各种彩色打印机、彩色投影仪等。数码照相机彩色扫描仪数码摄像机触摸屏彩色打印机教学进度①触摸屏：属于输入设备，可通过手指直接触及屏幕上的菜单、光标、接钮等。系统主要由传感器、控制部件、驱动程序组成。当用手指或其它设备触摸显示器前面的触摸屏时，所摸到的位置以坐标形式被触摸屏控制器检测到，并通过接口送到CPU，从而确定用户所输入的信息。触摸检测装置触摸屏控制卡驱动程序电缆7.2多媒体计算机系统教学进度②视频卡：插在主机板的扩展槽内，可以对视频信号进行数字化转换、编辑和处理，以及保存数字化文件。通常使用的视频采集卡可接收模拟视频源的信号(如录像机、电视机、LD影碟机等)，并对该类信号进行数字化处理，然后再压缩编码成数字视频信号。此外，还有一种比较流行的视频采集卡，我们称之为IEEE1394数字视频采集卡。它主要的作用是将数码摄像机中存放在数码摄像带上的视频数据传送到电脑硬盘中，和模拟采集不同的是它在传送数据的过程中没有任何质量损失。7.2多媒体计算机系统视频卡数字视频采集卡教学进度扫描仪工作原理：把原件面朝下放在扫描仪的玻璃台上，扫描仪内发出光照射原件，反射光线经光学镜面导向后，照射到CCD的光敏器件上。CCD将不同颜色光的强度转换成等价的电信号，再送到模数转换器中转换成代表每个像素色调或颜色的数字值。步进电机驱动扫描头沿平台作微增量运动,每移动一步，即获得一行像素值。扫描样张光电转换器导轨光源数字信号输出识别反射光线7.2多媒体计算机系统③扫描仪：是一种图形输入设备。配合适当的应用软件后，扫描仪还可以进行中、英文智能识别。教学进度④数码照相机数码相机采用CCD作为记录图像的介质，CCD实际上是一块布满光敏元件的感光板，它通过光照的不同引起的电荷分布的不同来记录被摄入的物体。7.2多媒体计算机系统1.光信号转换成电信号2.电信号再转换成数字信号3.编码、压缩等处理4.保存压缩数字图像教学进度1、CCD和像素CCD上的感光元件越多则像素就越多，像素越多则图像越清晰。2、存储卡数码相机摄入的像片直接存储在相机存储卡中。3、对焦和变焦对焦，是指将透过镜头折射后的影像准确投射到CCD感光板上，形成清晰的影像。几个技术指标(简介)7.2多媒体计算机系统教学进度1.多媒体设备驱动程序，用于在启动操作系统时把设备的状态、型号、工作模式等信息提供给操作系统，并驻留在内存中供系统调用。2.多媒体产品制作软件，主要包括图像、视频、音频的编辑制作。3.多媒体平台软件，用于多媒体素材的组合。4.工具软件，用于加工和处理数据，如压缩、加密等。5.应用软件包括，Windows系统提供的多媒体软件、动画播放软件、声音播放软件、光盘刻录软件等。7.2多媒体计算机系统7.2.2多媒体计算机软件系统多媒体设备多媒体设备驱动程序操作系统媒体制作软件多媒体平台软件工具软件应用软件教学进度7.3.1数字音频基本概念7.3音频信息的获取和处理声音是一种机械振动。模拟音频技术把这种机械振动转换成电信号，并以模拟电压的幅度表示声音强弱。次声波人耳可听范围超声波20Hz20～20,000Hz20,000Hz模拟音频信号:声音波形在时间和幅度上都是连续的，一般用不同的电压表示。由于模拟音频信号是连续的，所以不能由计算机直接处理。数字音频信号:是把表示声音强弱的模拟电压用数字表示。教学进度7.3.2音频信息的数字化7.3音频信息的获取和处理模拟信号的数字化过程100101100011101数字音频信号是由模拟声音经采样、量化和编码得来的。其信号在时间和幅度上都用离散的数字序列表示。教学进度7.3音频信息的获取和处理其过程是每隔一个时间间隔在模拟声音的波形上取一个幅度值，把时间上的连续信号变成时间上的离散信号。采样频率是指计算机每秒钟采集多少个声音样本。(1)采样——时间上的离散采样频率越高，单位时间所得到的振幅值就会越多，因而对于原声音曲线的模拟也就越精确。采样频率≥声音信号最高频率×2奈奎斯特(Nyquist)采样定理：主流声卡的采样频率一般可分为22.05KHz、44.1KHz、48KHz三个等级，22.05只能达到FM广播的声质，44.1KHz则是理论上的CD音质界限，48KHz则更加精确一些。教学进度7.3音频信息的获取和处理量化的过程是将采样后的信号按整个声波的幅度划分成有限个区段(量化间距)，然后把落入某个间距内的值归为一类，并赋予相同的量化值。(2)量化—幅度上的离散失真在采样过程中是不可避免的，从下面两幅图我们可以直观地看出，当采用更高的采样频率、量化精度，就可以减少失真。但由此得到的数字音频信号数据量也就越大。教学进度7.3音频信息的获取和处理由于经采样和量化后的音频信号数据量很大，所以一般要先对数字化的音频信息进行压缩和编码后再在计算机内传输和存储。在播放这些声音时，还需要经解码器将二进制编码恢复成原来的模拟声音信号播放。(3)编码输入信号解码器传输/存储编码器输出信号图7.15音频信号处理过程教学进度7.3音频信息的获取和处理(1)WAV文件格式：来源于对声音模拟波形采样，量化、编码。这种文件最大的缺点是占用存储空间大。适用领域：音频原始素材保存。该格式是通用音频格式。7.3.3数字音频文件格式未压缩的波形音频文件WAV和CD音频光盘的存储容量计算如下：存储量=采样频率×采样量化位数×声道数×时间/8举例：采样频率为44.1KHz，采样数据量化位数(或称采样精度)为16位、双声道，一张60分钟的CD唱片所占存储容量为：(44.1×1000×16×2×3600)/8=635040000(B)≈606(M)教学进度7.3音频信息的获取和处理(2)MP3文件格式：采用1:10～1:20压缩率制作的数字音频文件。必须经过解压缩才能播放，数据量小。(3)RA文件格式：最早的因特网流媒体音频，音质相对较差。特点是可在低的带宽下在网上实时播放。(4)WMA文件格式：因特网流媒体音频，用于在互联网上播放的压缩音频文件。质量优于RA。(5)MID文件格式：是一种通过电子乐器弹奏，数字化合成的音频文件，占用空间很小。(6)APE文件格式：是一种音频无损压缩格式，可压缩到传统无损格式WAV文件的一半；而在音质上超越一般的MP3，达到和CD相同的音质。(7)AIF文件格式：Apple计算机的音频文件格式。教学进度7.4.1图像与图形的区别7.4图像信息的获取和处理图像由像素构成，像素是组成图像最基本的元素，每个图像点用若干个二进制位进行描述。图像通常用于表现自然景观、人物、动物、