第2章-音频信号处理技术..

2020/4/15第二章:音频信号处理技术教学建议以介绍多媒体计算机中声音的特性、类型与处理等音频信号处理技术的基本原理为主，并讲述常用软件的使用以及应用前景。本章需6~8学时。2020/4/15第二章:音频信号处理技术•教学提示声音是携带信息的极其重要的媒体,音频信号处理技术是多媒体信息处理中的核心技术之一，它是多媒体技术和多媒体产品开发中的重要内容。本章主要介绍多媒体计算机中音频信号处理技术的基本原理、硬件、软件以及应用前景。•教学目标通过学习本章内容，要求大家掌握计算机声音处理的常用技术与原理，了解声音处理硬件的基本构成、常用的声音合成方法、声音的编码与压缩技术、数字音频的合成以及数字声音的应用知识。32020/4/15MultimediaTechnology&Application教学内容1声音的特性、类型与处理2声卡的构成与功能3声音信号的数字化4声音文件的存储格式5电子乐器数字接口(MIDI)系统42020/4/15MultimediaTechnology&Application教学内容6音频信息的压缩技术7数字语音的应用语音识别语音合成8声音媒体编辑软件的应用Windows的录音机软件声音编辑软件CoolEdit9本章小结52020/4/15MultimediaTechnology&Application2.１声音的特性、类型与处理2.1.1声音的特性自然界中声音是靠空气传播的声音在空气中能引起非常小的压力变化声源所引起的空气压力变化，被耳朵的耳膜所检测，然后产生电信号刺激大脑的听觉神经，从而使人们能感觉到声音的存在。自然界的各种声音大都具有周期性的强弱变化的特性，因而也使得输出的压力信号周期变化62020/4/15MultimediaTechnology&Application声音的正弦波特性72020/4/15MultimediaTechnology&Application2.1.1声音的特性有关的名词术语将曲线上的任一点再次出现所需时间间隔称为周期。而一秒钟内声音由高(压力强)到低(压力低)再到高(压力强)，这样一个循环出现的次数称为频率。频率越高，声音越高，以赫兹(Hz)为其度量单位。一个系统能够接收的频率是有限的，人们把系统能够接受的最低的听觉和最高频率之间的范围称为系统的带宽(Bandwidth）。人类能够接受的听觉带宽是从20Hz到20KHz。82020/4/15MultimediaTechnology&Application2.1.1声音的特性声音的三要素即为音调、音强、音色。音调与声音的频率有关，频率快则声音高，频率慢则声音低。音强又称响度，取决于声音的幅度，即振幅的大小和强弱。而音色则由混入基音的泛音所决定的，每个基音又都有其固有的频率和不同音强的泛音，从而使得每个声音具有特殊的音色效果。92020/4/15MultimediaTechnology&Application2.1.1声音的特性声音的连续谱特性声音是一种弹性波，声音信号可以分成周期信号与非周期信号两类。周期信号即为单一频率音调的信号，其频谱是线性谱；而非周期信号包含一定频带的所有频率分量，其频谱是连续谱。真正的线性谱仅可从计算机或类似的声音设备中才能听到，这种声音听起来十分单调。102020/4/15MultimediaTechnology&Application2.1.1声音的特性声音的方向感特性声音的传播是以声波形式进行的。由于人类的耳朵能够判别出声音到达左右耳的相对时差、声音强度，所有能够判别出声音的方向以及由于空间使声音来回反射而造成声音的特殊空间效果。现在的音响设备都在竭力模拟这种立体声效果和空间感效果。112020/4/15MultimediaTechnology&Application2.1.1声音的特性声音的时效性声音具有很强的时效性，没有时间也就没有声音，声音适合在一个时间段中表现。声音常常处于一种伴随状态，如伴音、伴奏等，起一种气氛渲染的作用。由于时间性，声音数据具有很强的前后相关性，因而，数据量要大得多，实时性要求也比较高。122020/4/15MultimediaTechnology&Application2.1.1声音的特性声音的质量声音的质量与声音的频率范围有关。一般说来，频率范围越宽声音的质量就越高。对语音而言，常用可懂度、清晰度、自然度来衡量；而对音乐来说，保真度、空间感、音响效果都是重要的指标。132020/4/15MultimediaTechnology&Application2.1.2声音的类型与处理不同种类声音频宽次声（Infra-sound）0-20Hz电话语音200Hz—3.4KHz调幅广播50Hz—7KHz调频广播20Hz—15KHz音响20Hz—20KHz超声（Ultrasound）20kHZ-1GHz特（强）超声（Hypersound)1GHz-10THz142020/4/15MultimediaTechnology&Application2.1.2声音的类型与处理声音质量评价标准级别评价失真级别1优（Excellent）感觉不到声音失2良（Good）刚察觉但不讨厌3中（Fair）声音有些失真，有点讨厌4差（Poor）声音失真，不令人反感5劣（Bad）严重失真，令人反感152020/4/15MultimediaTechnology&Application2.1.2声音的类型与处理自然界中的声音可分为四种类型：次声、可听声、超声与特超声（1GHz—10THz）人类的听觉能范围是20Hz—20KHz,次声、超声与特超声均非可听声。多媒体计算机主要处理的是人类听觉范围内的可听声。声音的处理主要有：声音的录制、回放、压缩、传输和编辑等162020/4/15MultimediaTechnology&Application2.1.2声音的类型与处理模拟音频和数字音频（1）模拟音频(Analogaudio)模拟音频是一种连续的模拟量，以电的、磁的等形式表示。例如当我们对着麦克风讲话时，麦克风能根据它周围空气压力的不同变化而输出相应连续变化的电压值，这种变化的电压值便是一种对我们讲话声音的模拟，是一种模拟量，称为模拟音频。计算机不能直接处理模拟音频172020/4/15MultimediaTechnology&Application2.1.2声音的类型与处理模拟音频和数字音频（2）数字音频(Digitalaudio)数字化音频的获得是通过每隔一定的时间间隔测一次模拟音频的值(如电压)并将其数字化。这一过程称为采样，每秒钟采样的次数称为采样率一般地，采样率越高，记录的声音就越自然，反之，若采样率太低将失去原有声音的自然特性，这一现象称为失真。由模拟量变为数字量的过程称为模—数转换。由上述可知：数字音频是离散的，而模拟音频是连续的，数字音频质量的好坏与采样率密切相关。数字音频信息可以被计算机存储、处理和播放。182020/4/15MultimediaTechnology&Application2.1.2声音的类型与处理多媒体计算机中录音/放音的处理过程192020/4/15MultimediaTechnology&Application2.2声卡的构成与功能声卡可分为三类：第一类为低档声卡，此类卡仅提供比较单一的声音，音质较差，无录音功能第二类为中档声卡，这类声卡具有立体声音质，ＭＩＤＩ音乐、录音、播放等功能，能满足一般的多媒体应用需求。第三类为高档声卡，此类声卡除具有中档声卡的所有特点外，一般都带有专用的数字信号处理器DSP，可用于高级音乐编辑、创作，实时语言识别等功能。202020/4/15MultimediaTechnology&Application2.2声卡的构成与功能2.2.1声卡的组成声卡的结构声卡主要有四个组成：AD/DA转换器AD/DA转换器负责录音及播放*.WAV格式的波形文件。电子合成器（Synthesizer）电子合成器负责MIDI乐曲的合成可以及时创造各种音乐。混音器（Mixer）混音器（Mixer）它是一个处理音效控制的芯片，负责调节各声音来源的音量、混音与调整录放音的音量大小。CD音频连接器(CD-Audioconnector)CD音频连接器可以接收光盘机中的音乐信号。212020/4/15MultimediaTechnology&Application2.2声卡的构成与功能声卡的基本结构222020/4/15MultimediaTechnology&Application2.2声卡的构成与功能声卡的基本结构232020/4/15MultimediaTechnology&Application2.2声卡的构成与功能2.2.2声卡的主要功能（1）录制与播放声音通过接在声卡上的话筒录制声音，并以文件形式保存在计算机中，随时可打开声音文件进行播放。声音文件的格式可因使用不同的软件而不同。（2）音乐合成利用声卡上的合成器将存储在计算机内存中的MIDI文件合成为音乐乐曲。通过混合器混合和处理多个不同音频源的声音，控制和调节音量大小，最后送至音箱或耳机播放。242020/4/15MultimediaTechnology&Application2.2声卡的构成与功能2.2.2声卡的主要功能（3）压缩和解压缩音频文件目前，大多数声卡上都固化了不同标准的音频压缩和解压缩软件，常用的压缩编码方法有ADPCM(自适应差分脉冲编码调制)和ACM(微软音频压缩管理器)等，压缩比大约为2:1~5:l。（4）与MIDI设备和CD驱动器的连接通过声卡上的MIDI接口，计算机可以同外界的MIDI设备相连接，如连接电子琴、电吉他等，使MPC具有创作电脑乐曲和播放MIDI文件的功能。游戏杆也可通过MIDI接口与计算机相连接，使游戏玩起来得心应手。252020/4/15MultimediaTechnology&Application2.2声卡的构成与功能声卡与其它设备连接（图2.3）262020/4/15MultimediaTechnology&Application2.2声卡的构成与功能声卡中的插孔连接方法声卡中的linein插孔可连接录音机、袖珍CD播放机和合成器等，将其播放的音信息输入计算机；Microphone插孔与麦克风相连，用于录音；Lineout可与喇叭、耳机或功放相连Joystick/MIDIAdapter可与游戏操纵竿,MIDI设备相连。272020/4/15MultimediaTechnology&Application2.2.3声卡的性能指标声卡的性能指标决定了声卡声音采集、合成与播放的质量，主要取决于以下几个方面：(l)采样分辨率(2)采样速率(3)声道数(4)兼容性(5)功能接口282020/4/15MultimediaTechnology&Application声卡的技术标准具有常用多媒体功能的声卡，一般应具备下列技术标准：ＰＣＭ播放和录音数字音频格式乐器数字接口MIDI其他标准292020/4/15MultimediaTechnology&ApplicationPCM播放和录音PCM(PulseCodemodulation:脉冲编码调制)是一种数字化音频的处理技术,该技术被目前大多数声卡所采用。提供播放和录制PCM音频文件的功能对任何一个实用的声音装置都是必须的。因为有大量的数字语音的应用需要用到PCM播放和录音功能,在这些应用中,包括语音注释、语言识别、语音合成、语音邮件、语音剪辑、娱乐软件的声音效果等。302020/4/15MultimediaTechnology&Application数字音频格式对大多数应用而言,声卡应能支持下列每一种播放和录音格式。11.025KHz,22.05KHz和44.1KHz的8位/16位单声道/立体声采样。自适应增量脉冲编码调制(ADPCM)4:1压缩/u律/a律2:1压缩/解压缩上述第一条软件所构成的格式直