大学计算机基础第七章多媒体技术.

计算机科学与工程系教学进度大学计算机基础（第七章）多媒体技术华南农业大学信息学院主讲教师朱梅阶计算机科学与工程系教学进度第七章多媒体技术多媒体技术使得计算机具有综合处理声音、文字、图形、图像、动画和视频信息的能力，它所涉及的有关多媒体信息数字化及数据压缩编码是问题求解的一个典型的计算思维活动。本章主要介绍多媒体计算机硬件与软件方面的基础知识，以及计算机中音频、图像等信息的获取与处理、动画与视频的概念、多媒体数据压缩原理等方面的相关内容。计算机科学与工程系教学进度7.1.1多媒体计算机的概念7.1多媒体计算机技术概述在计算机或通讯领域，媒体是指信息的载体或者信息的存储实体，信息载体包括数字、文字、声音、图形、图像、视频；信息的存储实体包括磁盘、光盘、U盘等。而就多媒体计算机而言，媒体则是指信息载体。根据国际电信联盟的定义，媒体可分为5种：①感觉媒体②表示媒体③显示媒体④存储媒体⑤传输媒体计算机科学与工程系教学进度7.1多媒体计算机技术概述2.为传送和表达感觉媒体而人为研究出来的媒体(如ASCII、汉字、图像、声音、视频编码等)1.人类通过感观直接感知的信息(文字、声音、图像等)3.输入和输出信息的媒体(如键盘、鼠标、显示器、打印机等)4.存储表示媒体的介质(软盘、硬盘、光盘等)5.传输信息的媒体。(如光纤、电缆等)感觉媒体存储媒体传输媒体显示媒体显示媒体表示媒体计算机科学与工程系教学进度7.1多媒体计算机技术概述多媒体：通常是指文字、声音、图像、图形、动画、视频等各种媒体的组合。多媒体计算机技术：计算机综合处理多种媒体信息——文本、图形、图像、音频、视频和动画，使多种信息建立逻辑连接，集成为一个系统且具有交互性。多媒体计算机可用公式简单描述为：MPC=高性能PC＋CD-ROM驱动器＋声卡计算机科学与工程系教学进度1．文本：包含字母、数字、汉字等基本元素。2．图形：又称矢量图。通过计算而描述的矢量图形多媒体多媒体多媒体各类文字和符号1234ABCD☆※＃№§→◇！？；φβ7.1多媒体计算机技术概述多媒体计算机的主要元素:计算机科学与工程系教学进度3.图像：又称位图或像素图。4.动画：采用编程或动画软件创作的连续画面。用像素点描述的自然影像编程或动画制作软件生成的画面多画面帧动画单画面矢量动画7.1多媒体计算机技术概述计算机科学与工程系教学进度5.音频：指人耳能听到的连续变化的音波。6.视频：动态的影视图像。数字音频信号、压缩音频信号●midi音频●wav音频●mp3压缩音频用电视摄像设备捕捉的实物场景音频+视频END7.1多媒体计算机技术概述计算机科学与工程系教学进度1984年，Apple公司推出Machintosh图形操作系统。1985年，世界上第一台多媒体计算机问世。1986年，推出光盘系统。1990年，多媒体个人计算机协会制定MPC1标准。1995年，Windows95操作系统问世。Apple计算机(1984)CommodoreAmiga系统(1984)7.1多媒体计算机技术概述7.1.2多媒体技术的发展历史计算机科学与工程系教学进度7.1多媒体计算机技术概述多媒体特点是：(1)多样性：多媒体不只处理一种媒体，而是综合处理多种媒体，包括图文声像信息。(2)集成性：多媒体的集成性一方面表现在信息载体的集成，另一方面是多媒体设备的集成。(3)交互性：多种媒体系统可以实现人机互动，用户可以根据需要来使用系统。7.1.3多媒体技术的特点和关键技术计算机科学与工程系教学进度7.1多媒体计算机技术概述多媒体技术涉及的领域众多，其关键技术主要表现在以下几个方面：关键技术涉及范围数据的输入输出技术如何将声音、图像、视频、动画等信息方便、快速、准确地输入计算机，这些信息又如何准确地还原，是多媒体技术研究的首要任务。数据的压缩编码和解码技术多媒体信息的最大问题是数据量太大，要解决在有限空间中的存储和在有限带宽上的传输，数据压缩编码是最有效的方法，而与之对应的解码则实现对压缩数据进行还原。数据存储技术音频、视频、图像等信息需要相当大的存储空间，因此发展大容量存储器的是解决多媒体信息存储的一个关键问题。虚拟现实技术利用计算机技术生成的一个逼真的具有视、听、触及嗅觉的感觉世界，可以用人的自然手法对这个虚拟实体进行交互动作。计算机科学与工程系教学进度7.1多媒体计算机技术概述7.1.5未来多媒体技术的发展7.1.4多媒体技术的发展和应用未来发展趋势说明多媒体技术智能化把人工智能领域某些研究课题和多媒体计算机技术很好地结合。例如，文字的识别和输入，汉语语音的识别和输入，自然语言理解和机器翻译，图形的识别和理解，机器人视觉和计算机视觉，知识工程以及人工智能的一些课题。多媒体信息实时处理和压缩编码算法芯片化随着技术的进步，如果压缩算法采用国际标准设计原则，多媒体功能采用集中解决、体系结构设计和算法相结合的方案，就能够把多媒体信息实时处理和压缩编码算法直接放置到CPU芯片中，从而大大改善多媒体计算机的性能指标。虚拟现实技术虚拟现实技术是指运用多种技术综合形成一种模拟现实环境的人造环境，用户在该环境中通过五官和大脑的亲自体验和活动参与到该人造的、虚拟的环境中，可以与之交互。让你感觉到如同置身于真实世界一样。它是多媒体技术的最高境界。计算机科学与工程系教学进度7.2.1多媒体计算机硬件系统7.2多媒体计算机系统计算机科学与工程系教学进度7.2多媒体计算机系统(1)基本硬件设备①光盘存储器(见第三章)②声卡用于处理声音，是多媒体计算机的基本配置。声卡的基本工作原理计算机科学与工程系教学进度7.2多媒体计算机系统声卡中最为关键的三个部件分别是:①数字信号处理器(DSP)主要用于实现对声音的模/数(A/D)转换和数/模(D/A)转换。②混合信号处理器(简称混音器)是用于实现对各种音频源进行混音。③音乐合成器声卡可以通过内部合成器或外接到计算机MIDI端口的外部合成器播放MIDI文件。计算机科学与工程系教学进度7.2多媒体计算机系统声卡的作用主要有：①A/D(模/数)转换——将模拟量的自然声音转化成数字化的声音，然后以文件形式保存在计算机中。②D/A(数/模)转换——把数字化的声音转换成模拟量的自然声音并输出到声音还原设备中。③输入、输出功能——可以将模拟信号引入声卡并转换成数字信号；也可以将数字信号转换成模拟信号送到输出端口驱动音响设备发出声音。音频卡的基本原理计算机科学与工程系教学进度7.2多媒体计算机系统(2)扩展设备具有代表性的扩展设备有：触摸屏、视频卡、扫描仪、数码相机、数字摄像机、摄像头等等。数码照相机彩色扫描仪数码摄像机触摸屏摄像头视频卡计算机科学与工程系教学进度①触摸屏：属于输入设备，可通过手指直接触及屏幕上的菜单、光标、接钮等。系统主要由传感器、控制部件、驱动程序组成。当用手指或其它设备触摸显示器前面的触摸屏时，所摸到的位置以坐标形式被触摸屏控制器检测到，并通过接口送到CPU，从而确定用户所输入的信息。触摸检测装置触摸屏控制卡驱动程序电缆7.2多媒体计算机系统计算机科学与工程系教学进度扫描仪工作原理：把原件朝下放在扫描仪的玻璃台上，扫描仪内发出光照射原件，反射光线经光学镜面导向后，照射到CCD的光敏器件上。CCD将不同颜色光的强度转换成等价的电信号，再送到模数转换器中转换成代表每个像素的数字值。步进电机驱动扫描头沿平台作微增量运动,每移动一步，即获得一行像素值。7.2多媒体计算机系统②扫描仪：是一种图形输入设备。配合适当的应用软件后，扫描仪还可以进行中、英文智能识别。扫描样张光电转换器导轨光源数字信号输出识别反射光线计算机科学与工程系教学进度③数码相机采用CCD作为记录图像的介质，CCD实际上是一块布满光敏元件的感光板，它通过光照的不同引起的电荷分布的不同来记录被摄入的物体，CCD上的感光元件越多则像素就越多，图像越清晰。7.2多媒体计算机系统1.光信号转换成电信号2.电信号再转换成数字信号3.编码、压缩等处理4.保存压缩数字图像计算机科学与工程系教学进度④数码摄像机数码摄像机是将图像信号和音频信号进行模数转换压缩处理后再将这两路信号送给磁头完成记录的存储。存储介质主要有四种：DV带；DVD可擦写光盘；微型硬盘；大容量存储卡。目前，数码摄像机普遍趋于采用大容量存储卡做存储介质。7.2多媒体计算机系统⑤电子白板目前，比较流行的交互式电子白板，可利用特定的定位笔代替鼠标在白板上进行操作。计算机科学与工程系教学进度7.2多媒体计算机系统7.2.2多媒体计算机软件系统计算机科学与工程系教学进度7.2多媒体计算机系统多媒体产品的创作主要依靠媒体创作软件。常见的媒体创作软件分4大类。类别说明图形处理软件主要进行矢量图的加工与处理。图像处理软件主要进行图像的加工与处理。音频处理软件主要对音乐进行模数转换、数字音频的处理、合成、声音还原等。视频处理软件主要对视频影像、动画进行加工、合成等。媒体平台软件用于多媒体素材的组合与处理、交互功能的实现、输入输出控制、界面生成等。计算机科学与工程系教学进度7.3.1声音的特性7.3音频信息的获取和处理人耳感觉到空气分子的振动就是声音。由振动产生的声音有两个基本参数，它们是频率和幅度。声音的频率是指每秒钟振动的次数，用Hz表示，幅度则表示声音大小和强弱程度。人说话时的信号频率范围一般在300~3000Hz，称为话音信号。20Hz20～20,000Hz20,000Hz次声波人耳可听范围超声波振幅周期频率计算机科学与工程系教学进度7.3音频信息的获取和处理按照带宽可将声音质量分为4级：①数字激光唱盘CD-DA。属于音质的最高等级。②调频无线电广播，简称FM质量。音质其次。③调幅无线电广播，简称AM质量。音质较差。④电话质量。音质最低等级。计算机科学与工程系教学进度7.3音频信息的获取和处理早期记录声音的技术，是利用设备的物理参数随着声波的连续变化而变化的特性，来模拟和记录声音，如通过话筒进行录音。当人对着话筒讲话时，话筒能根据它周围空气压力的变化而输出相应连续变化的电压值，以电压的大小表示声音的强弱。这种变化的电压值便是一种对人的讲话声音的模拟，是一种模拟量，它不仅在时间上连续，在幅值上也是连续的。声音的录制是将代表声音波形的电信号转换成对应的电磁信号记录在录音磁带上。我们把在时间和幅值上都连续的信号称为模拟信号。计算机只能处理时间和幅度上都离散的数字信号。因此，对连续的模拟声音信号必须先进行数字化处理。计算机科学与工程系教学进度7.3.2音频信息的数字化7.3音频信息的获取和处理数字音频信号是由模拟声音经采样、量化和编码得来的。其信号在时间和幅度上都用离散的数字序列表示。音频信号的数字化过程采样就是每间隔一段时间就读一次声音信号的幅度，量化就是把采样得到的声音信号幅度转换为数字值。计算机科学与工程系教学进度7.3音频信息的获取和处理采样频率是指计算机每秒钟采集多少个声音样本。(1)采样频率采样频率越高，单位时间所得到的振幅值就会越多，因而对于原声音曲线的模拟也就越精确。采样频率≥声音信号最高频率×2奈奎斯特(Nyquist)采样定理：主流声卡的采样频率一般可分为22.05KHz、44.1KHz、48KHz三个等级，22.05只能达到FM广播的声质，44.1KHz则是理论上的CD音质界限，48KHz则更加精确一些。计算机科学与工程系教学进度7.3音频信息的获取和处理量化的过程是将采样后的信号按整个声波的幅度划分成有限个区段，然后把落入某个区段内的值归为一类，并赋予相同的量化值。通常，声卡可按8位、16位、32位、64位分类，这些数字指的是声卡的量化精度。(2)量化精度000001002003004005006007123456789101112时间幅度采样值000001010011100101110111样本号音频信号的采样与量化计算机科学与工程系教学进度7.3音频信息的获取和处理高的采样频率、量化精度，就可以减少失真。但由此得到的数字音频信号数据量也就越大。由于经采样和量化后的音频信号数据量很大，所以一般要先对数字