硬件结构华东师范计算机科学技术系

一、多媒体基本概念1.多媒体：将多种媒体综合集成、交互式处理而生成的一种传播和表现信息的全新载体。（主要是视觉媒体和听觉媒体，触觉媒体、嗅觉媒体等较少涉及。）2.多媒体的特性：多样性：多种单媒体，如文本（Text）、图形（Graphic）、图像（Image）、视频（Video）、声音（Sound）、动画（Animation）等的复合。第六章多媒体辅助教学系统集成性：将多种媒体信息统一进行数字化处理，建立它们相互间的逻辑关系，集成为一个整体。包括信息的多通道统一获取、信息的统一组织与存储、信息的统一加工处理以及信息的表现合成等。数字化是集成的基础。此外，多媒体的硬件和软件也相应集成为一体。交互性：用户可以干预、控制信息处理和表现。——信息的检索（用户可以随意挑选感兴趣的信息）、参与或控制信息的组织或表现过程（改变模拟的参数以改变模拟的结果，控制某些角色的行为从而改变事情的结局）、用户进入到与信息环境一体化的虚拟现实中，通过视觉、听觉、触觉甚至嗅觉和味觉与机器交流信息，达到与真实环境相同的境界。3.多媒体技术指利用计算机将文字、声音、图形、图像（静态或动态）等多种媒体综合集成，实现多媒体的人机交互的手段和方法，也就是所谓多媒体计算（MultimediaComputing）技术。多媒体技术包括：多媒体的数字化技术、多媒体的编码与数据压缩技术、多媒体通讯技术、多媒体网络技术、多媒体信息的组织、管理和表现技术、多媒体软硬件平台、超媒体技术、虚拟现实（VirtualReality）技术等。多媒体素材的种类：主要有文本（Text）、图形(Graphic)、图像(Image)、视频(Video)、声音(Sound)、动画(Animation)等。二、听觉媒体凡是通过声音以听觉传递信息的媒体，都属于听觉媒体声音的三个要素：音调、音强和音色波形的频率决定了音调的高低，波形的振幅决定了音强泛音决定了音色泛音越丰富则音色越优美。声音到达左右两耳的相对时差和不同的方向感、不同的强度，就产生立体声的效果根据声音不同的特点和处理方法，听觉媒体分为波形声音、音乐和语音三类频率范围越宽，声音的质量越好。保真度、空间感、音响效果是重要的指标。对于语音，其质量则以可懂度、清晰度、自然度来衡量表6-1不同种类声音的频率范围声音种类频率范围电话语音200Hz-3.4kHz调幅广播50Hz-7kHz调频广播20Hz-15kHz宽带音响20Hz-20kHz振幅周期1.波形声音采样与数字化每秒钟的采样数称为采样频率。采样频率越高，则将声波等份得越细，经过离散化的声波越接近于原始的波形。这意味着声音的保真度越高。人的耳朵能感觉到的声波的频率在20赫兹(Hz)到20000赫兹之间。不同声道的声音到达左右两耳的相对时差和方向感、强度不同，就产生立体声的效果。时间振幅采样频率:每秒钟的采样数；采样频率越高，则将声波等分得越细，经过离散化的声波越接近于原始的波形。声音的保真度越高。亨利·奈奎斯特(HarryNyquist)采样定律：只要采样频率高于输入的声音信号中最高频率的两倍，就可以从采样中恢复原始波形。标准采样频率：44.10kHz，22.05kHz，11.025kHz。采样点精度：记录振幅的值有不同的测量精度。8位采样可以表现256级差异（语音），16位采样可以表现65536级差异（高保真度），其表现的细腻程度已经超过人耳所能识辨的限度。声道数：声音通道的个数。单声道只记录和产生一个波形声音，双声道产生两个波形声音也称为立体声。采样频率样本精度每分钟声音（kHz）（bit）所需存储量（MB）11.02580.6611.025161.3222.0581.3222.05162.6444.1082.6444.10165.292.FM音乐合成乐音与噪音的区别：乐音有周期性的基频谱和基频的倍频谐波谱，而噪音没有周期性也没有固定的基频。乐音除了具备声音的三个要素音调、音强和音色之外，还有一个要素，即乐音振动持续的时间—时值。合成音乐的基本原理：利用波形发生器产生一定基频的正弦波，通过频率的高低控制音高，通过波形的幅度控制音强，通过信号的持续时间控制时值。因为不同的音色所包含丰富的谐波成分很多，音色的控制和模拟比较困难。FM（调频）合成：使作为载波的高频振荡波的频率按调制信号变化的一种调制方式。改变不同的调制波频率，就可以合成具有不同频谱的波形，再现某些乐器的音色。FM可以得到具有独特效果的电子模拟声，产生富有幻觉的、自然界不具备的非自然音色。不过，FM的声音单调，缺乏乐器声的力度变化，与实际乐器的声效仍有差别。声音卡可以合成多达20种FM立体声音乐。3.波形表技术对真实乐器发出的声音采样，将数字音频信号存储在ROM芯片或硬盘中，称为波形表。进行合成时再将相应乐器的波形记录播放出来。波形表技术可以产生比FM更为丰富逼真的乐音，所需要的存储空间也要大得多。波形表合成芯片一般能完成FM合成的所有功能。许多声音卡（如声霸卡）都配备了音乐创作的和演奏软件，提供FM音乐驱动程序，并可利用文字编辑器写类似于简谱格式的文件，然后生成FM音乐文件。4.MIDI音乐（MusicalInstrumentDigitalInterface）MIDI是一套将乐谱数字化的方法和存储的标准文件格式，以及将音乐设备连接到计算机所需电缆和端口定义的标准，和控制PC机和MIDI设备之间信息交换的规则。乐谱的MIDI数字化描述称为MIDI消息（Message）。MIDI消息经过特定的微处理器（音乐合成芯片）处理，就会解释MIDI消息并产生特定乐器、特定音高和时值的音乐，达到演奏的效果。三、视觉媒体⒈视觉媒体的种类(1)位图图像(Bit-mappedImage)位图图像是对视觉信号直接量化。它将原始的视觉信号离散化为空间的点，称为像素。对像素的颜色、亮度（或灰度）加以数据描述，得到图像数据。将这些数据作为文件存储，即为图像文件。在显示时，像素与显示器的显示点一一对应，故称为位图影射图像，简称位图图像，也称为点阵图像。(2)矢量图形(Vector-basedGraphics)图形是对图像的一种抽象，它不直接描述图像的每一个点，而是依据某个标准对图像进行分析，抽取实体特征，形成产生图形的算法，并以一组指令的形式存储。显示时执行指令，即可产生屏幕图形。图形上的点的位置通常用矢量来描述，故称为矢量图形。对于复杂的彩图，算法描述和计算的困难很大，效果不理想。CorelDraw、AutoCAD等图像处理软件使用矢量图形。(3)动态图像(MovingPicture)动态图像是连续渐变的静态图像或图形序列，随着时间的变化而产生的运动视觉的一种视觉媒体。如果序列中的单帧图像是摄取实景得到的真实图像，则称其为影像视频，简称视频。如果序列中的单帧图像是人工或计算机产生的图形，则称其为动画。动态图像具有实时运动感和自然真实感。(4)符号表示数值，也可以表示语言、文字。特定的符号可以表示物体或事件。(5)体图(VolumeGraphics)运用科学计算可视化技术，将三维空间数据转换为可视图像。2．位图图像参数（1）分辨率分辨率是影响位图质量的重要指标。通常使用的分辨率有三种，即屏幕分辨率、图像分辨率、像素分辨率。屏幕分辨率是指在某种显示模式下，计算机显示屏幕的最大区域内的水平方向和垂直方向的像素个数。图像分辨率是指图像数字化时，在水平方向和垂直方向表示图像的像素个数。图像分辨率越高，数字化后得到的图像的质量越好。图像分辨率与屏幕分辨率是不同的概念，前者反映了捕获图像时解析图像的精确度，后者反映了显示图像时解析图像的精确度。（2）颜色数颜色数是指图像能使用的颜色的数目，即所谓色调的丰富与否。颜色数取决于每个像素用多少存储位数（bit）来存储颜色信息。每个像素所占用的存储位数称为图像深度或像素深度。目前使用的图像深度有1，4，8，24四种。假如红、绿、蓝三基色分别各用8位表示，则每个像素的颜色用24位表示，即图像深度为24，那么可以表示224=16,777,216种不同的颜色。这时图像已经很接近自然界真实的颜色，故称为真彩色（TrueColor）图像。（3）数据量位图图像的数据量是所需存储空间的度量。它取决于图像幅面的大小、所使用的分辨率以及颜色深度等情况的综合。位图图像的数据量是很大的。位图图像的存储和显示一般都要用数据压缩编码和解码技术。若屏幕分辨率为640×480，颜色数为8位，则满屏图像的数据量为：640×480×8/8=307200（字节）3．位图图像文件的格式位图图像仍以文件方式存储。位图图像文件一般由两部分组成：图像说明部分和图像数据部分。针对不同的应用目标，各类公司先后开发了多达数十种位图图像文件格式。其中在多媒体PC中较常用的格式有PCX、BMP、GIF、TIFF、TGA、DIB等。BMP（BitMap）是一种位映射存储方式、与设备无关的图像文件格式，有压缩和非压缩之分。作为图像资源使用的文件一般都是不压缩的BMP文件。Windows的图像资源多以该格式存储。GIF（GraphicsInterchangeFormat）格式由美国联机服务商CompuSever开发，是Internet上的重要文件格式之一。GIF格式是无损压缩，压缩比比较高，文件长度比BMP格式约小1/3-1/2。TIFF（TaggedImageFileFormat）格式也称为TIF格式，由Aldus公司（后与Adobe公司合并）和Microsoft公司合作开发。最早用于扫描仪和桌面排版。其文件有压缩和非压缩两类。非压缩的文件独立于软、硬件，有良好的兼容性。许多主流软件如CorelDRAW、PhotoShop、PageMaker、PhotoStyler等均支持这种格式。4．矢量图形的特点和文件格式通过对复杂的自然图像分析、抽象，提取特征，以算法描述，并以绘图指令表示各个有独立意义的基本信息单位，运行这些指令构成的程序，就可以生成矢量图形。特点：（1）矢量图形不是自然图像的逐点描述，而是视觉重点的抽象表达，因此是图像的信息子集。（2）矢量图形可以用数学方法描述和变换，能够对图形元素分别控制，实施规则化的灵活变换。（3）矢量图形占用的存储空间比位图图像小得多，易于保存和传输。利用图形学技术，可以由矢量图形构造实体造型、三维物体显示、真实感场景生成等，成为计算机辅助工程的研究热点。常见的矢量图形文件的格式有：DXF/DXB：AutoDiskAutoCAD图形交换格式DRW：LotusFreelance/Micrografx软件GEM：面向对象的GEM文件格式GL：HP绘图仪图形语言PIF：IBMPictureInterchangeFormatPICT：MacDraw，Apple软件CGM：ComputerGraphicsMetafile其中CGM是一套与设备无关的图形文件ISO标准，它为图形设备接口标准化创造了条件，提供了不同图形系统的图形集成的手段。国际标准化组织提出了窗口管理系统（GUI），计算机图形设备接口（CGI）、图形核心系统（GKS）等基本图形软件的标准。5．数字视频图像的特点与处理从物理意义上看，动态图像是由多幅单帧图像序列连续显示构成的。电视、电影、计算机动画及其混合形式，是以不同技术处理和实现的动态图像，其概念的实质是相同的。动态图像有三个基本的特点：具有时间连续性，因而适合表现对象的运动过程；帧与帧之间具有相关性，邻帧之间只有10%以下的像素有亮度变化，1%以下的像素有色度变化，因而数据压缩余地大；具有实时性，播放时必须在0.05秒至0.1秒内完成画面更换，因而数据量大，要求通讯频带宽。数字视频图像是在彩色电视的集成上发展起来的。它将彩色电视的视频图像数字化，按照特定的标准编码存储、传输。目前电视有三种不同的制式（不包括高清晰度电视HDTV）：PAL制（我国及东南亚国家采用）、NTSC制（美国等国家采用）、SECAM制。视频图像数字化除了要经过采样、A/D转换、解码之