数字语音处理

《数字语音处理》期末大作业姓名：关志恒专业：电子信息科学与技术（2）班学号：121006116年级：2012级辽宁大学信息学院一、经典的数字语音信号时域处理算法有哪些，分别简述其原理？答：1.语音信号的预处理在对语音信号进行数字处理之前，首先要将模拟语音信号s(t)离散化为s(n).实际中获得数字语音的途径一般有两种，正式的和非正式的。正式的是指大公司或语音研究机构发布的被大家认可的语音数据库，非正式的则是研究者个人用录音软件或硬件电路加麦克风随时随地录制的一些发音或语句。语音信号的频率范围通常是300~3400Hz，一般情况下取采样率为8kHz即可。本书的数字语音处理对象为语音数据文件，是已经数字化了的语音。有了语音数据文件后，对语音的预处理包括：预加重、加窗分帧等。a.语音信号的预加重处理：预加重目的：为了对语音的高频部分进行加重，去除口唇辐射的影响，增加语音的高频分辨率。可通过一阶FIR高通数字滤波器来实现：设n时刻的语音采样值为x(n)，经过预加重处理后的结果为：b.语音信号的加窗处理:加窗常用的两种方法：（1）矩形窗，窗函数如右式：(2)汉明(Hamming)窗，窗函数如下:2.短时平均能量定义n时刻某语音信号的短时平均能量En为：当窗函数为矩形窗时，有若令x(n)x2(n)Enh(n)(.)2图3.7语音信号的短时平均能量实现方框图1()1Hzz()()(1)ynxnxn其它0101)(Nnnw0.540.46cos2π/10()0nNnNwn其它，)]()([)]()([)1(22nNnmmnmnwmxmnwmxE)()1(2nNnmnmxE)()(2nwnh)()()()(22nhnxmnhmxEmnEn特点：En反映语音信号的幅度或能量随时间缓慢变化的规律.窗的长短对于能否由短时能量反映语音信号的幅度变化，起着决定性影响。如果窗选得很长，En不能反映语音信号幅度变化窗选得太窄，En将不够平滑。通常，当取样频率为10kHz时，选择窗宽度N=100~200是比较合适的。3.短时平均幅度函数为了克服短时能量函数计算x2(m)的缺点，定义了短时平均幅度函数:x(n)Mnw(n)图3.9短时平均幅度|x(n)||.|Mn与En的比较：1.Mn能较好地反映清音范围内的幅度变化；2.Mn所能反映幅度变化的动态范围比En好；3.Mn反映清音和浊音之间的电平差次于En。4.短时平均过零率在离散时间语音信号情况下，如果相邻的采样具有不同的代数符号就称为发生了过零。单位时间内过零的次数就称为过零率。短时平均过零率的定义为:在上式中，用1/2N作为幅值，是考虑了对该窗口范围内的过零数取平均的意思。实现短时平均过零率:Nnx(n)Sgn[x(n)]1一阶差分sgn[xn]-sgn[xn-1]低通滤波h(n)=w(n)-1+1图3.11语音信号的短时平均跨零数Sgn[.]取绝对值│.│5.短时自相关分析语音信号的短时自相关函数：因为所以定义那么短时自相关函数可以写成：定义mnmnwmxM)(|)(|sgnsgn1sgnsgn1*nmZxmxmwnmxnxnwn10120nNwnN其它1()0sgn()1()0xnxn-xn及mnmknwkmxmnwmxkRnnRkRknnmRkRkxmxmkwnmwnmkknwnwnhkmnhkmxmxkRmkn6.基于能量和过零率的语音端点检测语音端点检测就是指从包含语音的一段信号中确定出语音的起始点和结束点。可用基于MATLAB程序实现能量与过零率的端点检测算法和两级判决法及程序实现：第一级判决：（1）先根据语音短时能量的轮廓选取一个较高的门限T1，进行一次粗判：语音起止点位于该门限与短时能量包络交点所对应的时间间隔之外(即AB段之外)。（2）根据背景噪声的平均能量确定一个较低的门限T2，并从A点往左、从B点往右搜索，分别找到短时能量包络与门限T2相交的两个点C和D，于是CD段就是用双门限方法根据短时能量所判定的语音段。第二级判决：以短时平均过零率为标准，从C点往左和从D点往右搜索，找到短时平均过零率低于某个门限T3的两点E和F，这便是语音段的起止点。门限T3是由背景噪声的平均过零率所确定的。注意：门限T2，T3都是由背景噪声特性确定的，因此，在进行起止点判决前，T1，T2，T3，三个门限值的确定还应当通过多次实验。基于MATLAB程序实现能量与过零率的端点检测算法步骤如下：（1）语音信号x(n)进行分帧处理。（2）得到语音的短时帧能量。计算每一帧语音的过零率，得到短时帧过零率。考察语音的平均能量设置一个较高的门限T1，用以确定语音开始，然后根据背景噪声的平均能量确定一个稍低的门限T2，用以确定第一级语音结束点。第二级判决同样根据背景噪声平均过零率ZN，设置一个门限T3，判断语音前端清音和后端尾音。7.基音周期估值基于短时平均幅度差函数AMDF法的基音周期估值：对于浊音语音，在基音周期的整数倍上的幅度差值不是零，但总是很小，因此，可以通过计算短时平均幅度差函数中两相邻谷值间的距离来进行基音周期估值。这里使用修正的短时平均幅度差函数并加矩形窗，得到：AMDF函数与短时自相关函数的不同是：自相关函数进行基音周期估计时寻找的是最大峰值点的位置，而AMDF寻找的是它的最小谷值点的位置。由于清音没有周期性，所以它的自相关函数和平均幅度差函数均不具有准周期性的峰值或谷值。基音周期估值的后处理：a.中值平滑处理b.线性平滑处理c.组合平滑处理101-,0,1,|,)()(|)(NnnNkknxnxkr二、经典的数字语音信号频域处理算法有哪些，分别简述其原理？答：傅里叶变换、滤波器。1.傅里叶变换的解释语音信号可被看作是短时平稳信号，其某一帧的短时傅里叶变换定义式如下：(4.1)式中w(n-m)是窗函数。在式中，短时傅里叶变换有两个变量，它们是离散时间n及连续频率ω将式（4.1）写作:时变傅里叶变换是时间标号n的函数，当n变化时，窗w(n-m)沿着x(m)滑动。图4.1x(m)及w(n-m)的示意图w(50–m)w(100–m)w(200–m)x(m)0n=50n=100n=200m此外，由功率谱定义，可以写出短时功率谱与短时傅里叶变换的关系：功率谱)(ejnS是自相关函数:的傅里叶变换。2.滤波器的解释（1）短时傅里叶变换的滤波器实现形式:)(]e)([)e(jjmnwmxXmmn如果把w(n)看作为一个滤波器的单位取样响应，则短时傅里叶变换)e(jnX就)e()()(ejjmmnmnwmxX)]e()([)(ejjmmnmnwmxX|)(e|)(e)(e)(e2jjjjnnnnXXXS∑∞∞)()()()()(mnmknwkmxmnwmxkR是该滤波器的输出，mmxje)(为滤波器的输入。用实数来运算的方法：)(j)(e|)e(|)e()(jjjnnnnbaXX还可以画出短时傅里叶变换的滤波器解释的另一种形式如图2所示，也分为复数运算和实数运算两种。同样要求线性滤波器近似为一个中心频率为ω的窄带带通滤波器。)e(jnX∑∑∞∞∞∞)-()sin()()()()cos()()(mnmnmnwmmxbmnwmmxa()()()jjXeWe结论：)(nx经调制后，其付里叶变换为)()(jeX，这说明调制使)(nx的频谱在频率轴上向左移动了，线性滤波器输出端的频谱等于乘积)()(jeX)(ejW，故为了使输出频谱准确等于)()(jeX)(ejW，应当是一个冲激。即要求线性滤波器近似为一个窄带低通滤波器。（2）短时频谱的时域及频域采样率短时傅里叶变换)e(jnX同时是时间n以及角频率ω的函数。由)e(jnX来恢复x(n)，首先遇到的就是时域取样率和频域取样率的问题。时域取样率（ω为固定值）若将w(n)的傅里叶变换记为)e(jW对于大多数窗函数来说，)e(jW具有低通滤波器的特性，若它的带宽为BHz，)e(jnX则具有与窗相同的带宽。低通滤波器的带宽是由)e(jW第一个零点位置决定的。因为是Nnnw0),(的傅里叶变换，因而B的取值决定于窗口序列的长度N和形状。频率取样率(n为固定值（3）总取样率的总抽样率（SR）等于秒抽样/2NBSRSRSRft在大多数实际窗中，B可以表示为FS/N的倍数(Hz)CNFBs其中，C是比例常数，x(n)的抽样频率即为秒采样/C2SFSRSR/FS即为与一般取样频率相比而得到的“过速率采样比”。三、结合你自身情况，谈谈你对数字语音信号处理理论及应用的相关专业知识的认识？答：语音在人类社会中起了非常重要的作用。在现代信息社会中，小至人们的日常生活，大到国家大事、世界新闻、社会舆论和各种重要会议，都离不开语言和文字。近年来，普通电话、移动电话和互联网已经普及到家庭。在这些先进的工具中，语音信号处理中的语音编码和语音合成就有很大贡献。1.在语音识别与合成中的应用语音识别的研究是从20世纪50年代开始的,但直到60年代中期才取得了实质性进展,其重要标志就是日本学者Itakura将动态规划算法用于解决语音识别语速多变的难题,提出了动态时间收缩算法(DTW:Dy2namicTimeWarping)。其基本思想是:在训练阶段,从词汇表中通过语音信号处理技术提出每个词的特征向量(时域特征、频域特征、尺度特征及联合分布特征),作为标准模板存入模板库中。在识别阶段,将输入语音的特征向量依次与模板库中的各个标准模板进行比较,计算类似度,将类似度最高的标准模板所对应的词汇输出。在这里和一般的模式识别不一样,存在几个问题:说话者语速不一致的问题;大词汇表的问题导致计算量大的问题;协同发音的问题(即同一音素的发音随上下文不同而变化);对于非特定人语音识别,还有一个语音多变性的困难。2.语音信号处理的关键技术语音信号处理的理论基础就是一般的数字信号处理理论,它的主要研究内容是语音编码和语音压缩技术。考虑到人对听觉媒体的感应特点,研究语音信号处理必须与声音心理学联系起来。因此这里我们把声音心理学也列为语音信号处理的关键技术之一。(1)声音心理学)e(jnX声音的物理属性和心理属性既有联系也有区别。声音有两个最明显的量纲,即响度和音调,其它还有音色、谐和、不谐和和乐音等等。物理属性主要有强度和频率。声音的正弦波的强度增加,声的响度也增加;频率增加,音调则增高。但这些关系不是线性的,且是耦合的,如频率的变化既影响响度也影响音调。其数量上的关系可以用等响曲线等来描述。但更精确。关系复杂,难以建立量化模型。如即使想从客观上给出声音失真度的度量都很困难。人的大脑处理听觉信息还有一些特性,产生了一些客观存在的效应,如屏蔽效应。声的响度不仅取决于自身的强度和频率,而且也依同时出现的其它声音而定。各种声音可以互相掩蔽,一种声音的出现可能使得另一种声音难于听清。它分为听觉屏蔽、频谱屏蔽和瞬态屏蔽。频谱屏蔽是高电平音调使附近频率的低电平声音不能被人耳听到。声音的屏蔽特性可以用于声音特别是语音信号的压缩。(2)语音编码语音编码分为三类:波形编码、参量编码和混合编码。波形编码是将时域信号直接变换为数字代码,其目的是尽可能精确地再现原来的话音波形。自适应量化、自适应比特分配和矢量量化等等应用数字语音信号处理理论及应用的相关专业知识，我们可以设计制造一个能够储存足够信