3第四章短时傅里叶变换

14.1概述2语音的生成模型由线性系统组成，系统输出的傅里叶频谱反映了激励与声道频率响应特性。语音信号的频谱具有非常明显的语音声学意义，可以获得某些重要的语音特征，如共振峰频率和带宽等。话音波是一个非平稳过程，标准傅里叶变换不能用来直接表示语音信号。由于语音信号的特性是随时间缓慢变化的，因而可以假设它在一短段时间内保持不变。短时分析应用于频域分析就是短时傅里叶变换，即有限长度的傅里叶变换。短时傅里叶变换可以精确地恢复语音波形。短时傅里叶变换最重要的应用是语音分析-合成系统。3短时幅度谱的计算过程4.2.1短时(加窗)傅立叶变换的定义44.2.1短时傅立叶变换--定义定义：短时傅立叶变换也叫短时谱（加窗的方式）短时谱的特点：1)时变性：既是角频率ω的函数又是时间n的函数2)周期性：是关于ω的周期函数，周期为2πmmjjnemnwmxeX)()()(5短时傅里叶变换是窗选语音信号的标准傅里叶变换。下标n区别于标准的傅里叶变换。w(n-m)是窗口函数序列。不同的窗口函数序列，将得到不同的傅里叶变换的结果。短时傅里叶变换有两个自变量：n和ω，所以它既是关于时间n的离散函数，又是关于角频率ω的连续函数。与离散时间序列傅里叶变换和连续傅里叶变换的关系一样，若令ω＝2πk/N，则得离散频率的短时傅里叶变换,它实际上是在频域的取样。10)()()()(22NkemnwmxkXeXNmkjmnNkjn4.2.1短时傅立叶变换--定义6这两个公式都有两种解释：①当n固定不变时，它们是序列w(n-m)x(m)(-∞＜m＜∞)的标准傅里叶变换或标准的离散时间序列的傅里叶变换。此时与标准傅里叶变换具有相同的性质，而Xn(k)与标准的离散傅里叶变换具有相同的特性。②当ω或k固定时，和Xn(k)看做是时间n的函数。它们是信号序列和窗口函数序列的卷积，此时窗口的作用4.2.1短时傅立叶变换--定义74.2.1短时傅立叶变换--定义频率分辨率Δf、取样周期T、加窗宽度N三者关系：窗形状对短时傅立叶变换的影响－矩形窗——主瓣窄，衰减慢；－汉明窗——主瓣宽，衰减快；窗宽对短时频谱的影响－窗宽长——频率分辨率高，能看到频谱快变化；－窗宽短——频率分辨率低，看不到频谱的快变化；11WfNTT84.2.2短时傅立叶变换--标准傅里叶变换的解释（n固定，ω的函数）当n取不同值时窗w(n-m)沿着x(m)序列滑动，所以w(n-m)是一个“滑动的”窗口。由于窗口是有限长度的，满足绝对可和条件，所以这个变换是存在的。与序列的傅里叶变换相同，短时傅里叶变换随着ω作周期变化，周期为2π。mjmjnemnwmxeX)]()([)(94.2.2短时傅立叶变换--标准傅里叶变换的解释10根据功率谱定义，可以写出短时功率谱与短时傅里叶变式中*的傅里叶变换。下面将短时傅里叶变换写为另一种形式。设信号序列和均存在。当n取固定值时，w(n-m)2*|)(|)()()(jnjnjnjneXeXeXeS)()()()()(kmxmknwmxmnwkRmnmjmjemxeX)()(mjmjemweW)()()()(jnjmjmeWeemnw4.2.2短时傅立叶变换--标准傅里叶变换的解释11如果被看成是w(n-m)x(m)序列的标准傅里叶变换，同时假设x(m)及w(m)的标准傅里叶变换存在，为：当n固定时，序列w(n-m)的傅里叶变换为：)(ejnnX)e()(e)e()(ejjjjmmmmmwWmxXe)e(e)(jjjnmmWmnw4.2.2短时傅立叶变换--标准傅里叶变换的解释12)]([*)()(jnjjjneWeeXeX4.2.2短时傅立叶变换--标准傅里叶变换的解释语音信号x(n)的标准傅里叶变换移动窗口的标准傅里叶变换短时傅里叶变换13写成卷积积分形式：将θ改换为-θ后，可以写成：)de(e)e(π21)e()(jjππjjXWXnn)de(e)e(π21)e()(jjππjjXWXnn可见，为了使能够充分地表现的特性，要求对于来说，必须是一个冲激脉冲。)e(jnX)e(jX)e(jW)e(jX14用波形乘以窗函数，不仅为了在窗口边缘两端不引起急剧变化，使波形缓慢降为零，而且还相当于对信号谱与窗函数的傅里叶变换进行卷积，采样。为此窗函数应具有如下特性：①频率分辨率高，即主瓣狭窄、尖锐；（矩形窗）②通过卷积，在其他频率成分产生的频谱泄漏少，即旁瓣（海明窗）窗口宽度N、取样周期T和频率分辨率ΔfΔf＝1/NT窗口宽度↑→频率分辨率↑时间分辨率↓窗口宽度↓→频率分辨率↓时间分辨率↑4.2.2短时傅立叶变换--标准傅里叶变换的解释15第一个零点位置为2πk/N，显然它与窗口宽度成反比。矩形窗，虽然频率分辨率很高，但由于第一旁瓣的衰减只有13.2dB，所以不适合用于频谱成分动态范围很宽的语音分析中。海明窗在频率范围中的分辨率较高，而且由于旁瓣的衰减大于42dB，具有频谱泄漏少的优点，频谱中高频分量弱、波动小，因而得到较平滑的谱。汉宁窗是高次旁瓣低，第一旁瓣衰减只有30dB。对语音波形乘以海明窗，压缩了接近窗两端的部分波形，等效于用作分析的区间缩短40%左右，因此，频率分辨率下降40%左右。所以，即使在基音周期性明显的浊音频谱分析中，乘以合适的窗函数，也能抑制基音周期与分析区间的相对相位关系的变动影响，从而得到稳定的频谱。因为乘以窗函数将导致分帧区间缩短，所以为跟踪随时间变化的频谱，要求相邻帧之间一部分区域重叠。4.2.2短时傅立叶变换--标准傅里叶变换的解释164.2.2短时傅立叶变换--标准傅里叶变换的解释总结：以上分析可知，窗傅立叶变换W(ej)很重要。为使Xn(ej)忠实再现X(ej)的特性，W(ej)相对于X(ej)来说必须是一个冲激函数。N越大，W(ej)的主瓣越窄，则Xn(ej)越接近于X(ej)。当N时，Xn(ej)X(ej)。但是N值太大时，信号的分帧已失去了意义。尤其是N值大于语音的音素长度时，Xn(ej)已不能反映该语音音素的频谱了。因此，应折衷选择窗宽N。17其中图(a)是海明窗的窗选信号，图(b)是其对数功率谱；图(c)是矩形窗下的窗选信号，图(d)是其对数功率谱。从图(a)可以明显看出时间波形的周期性，此周期性同样在图(b)中表现出来。图中基频及其谐波在频谱中表现为等频率间隔的窄峰。图(b)中的频谱大约在300～400Hz附近有较强的第一共振峰，而约在2000Hz附近有一个对应于第二、三共振峰的宽峰。此外，还能在3800Hz附近看到第四个共振峰。最后，由于声门脉冲谱的高频衰减特性，频谱在高频部分表现出下降的趋势。给出了N＝500时(取样率10kHz，窗持续时间50ms)时直角窗及海明窗下浊音语音的频谱。4.2.2短时傅立叶变换--标准傅里叶变换的解释18图4-3给出了N＝50的比较结果(窗口持续时间为5ms)。由于窗口很短，因而时间序列(图(a)和(c))及信号频谱(图(b)和(d))均不能反映信号的周期性。与图4-2相反，图4-3只大约在400、1400及2200Hz频率上有少量较宽的峰值。它们与窗内语音段的前三个共振峰相对应。比较图4-3(b)及(d)的频谱后，再次表明矩形窗可以得到较高的频率分辨4.2.2短时傅立叶变换--标准傅里叶变换的解释19结论:窗口宽度与短时傅里叶变换特性之间的关系用窄窗可得到好的时间分辨率用宽窗可以得到好的频率分辨率。但由于采用窗的目的是要限制分析的时间以使其中波形的特性相对稳定没有显著变化，因而要折衷考虑。4.2.2短时傅立叶变换--标准傅里叶变换的解释20w(n)----------一个滤波器的单位函数响应-----该滤波器的输出x(n)------滤波器的输入过程:调制+滤波4.2.3短时傅立叶变换--滤波器的解释一（ω固定，n变化）mmjjnmnwemxeX)(])([)()(jneX图4-4短时傅里叶变换滤波器解释的第一种形式(a)复数运算21w(n)()jnXekjne()()kjXe()jXe()kjnxne()xn()xn()()()()kkjjjnXeXeWew(n)是窄带低通滤波器k将x(n)的频谱向左搬移了，或等效将频率上的频谱搬移到了零频率处。因此为使输出端有：k()()kkjjnXeXew(n)是窄带低通滤波器k22k()jXe()jWe()()kjXe()()kkjjnXeXe234.2.3短时傅立叶变换--滤波器的解释二（分解为实虚部）)()(|)(|)()(nnjjnjnjbaeeXeXn图4-4短时傅里叶变换滤波器解释的第一种形式(b)只有实数运算24令m=n-m′4.2.3短时傅立叶变换--滤波器的解释三'''')()()()()('')(''mjmnjmnjmjnemnxmweemnxmweX'')()()(:''~mjmjnemnxmweX令)(~)(:jnnjjneXeeX所以25为窄带低通滤波器。第一种形式为低通滤波器；由于第二种形式中的滤波器单位函数响应为，所以它为带通滤波器。4.2.3短时傅立叶变换--滤波器的解释)(jeW))((njenw26如果将w(n)的滤波运算除外，短时傅里叶变换实际上是信号对复数频率的幅度调制。第一种形式是在输入端进行调制，x(n)乘以相当于将x(n)的频谱从ω移到零频处；而w(n)(直角窗或海明窗等)为窄带低通滤波器。后一种形式是在输出端进行调制，此时先对信号进行带通滤波，滤波器的单位函数响应为w(n),而调制后输出的是短时谱中心频率为ω4.2.3短时傅立叶变换--滤波器的解释2/1222/122)](~)(~[|)(~||||)(~|)]()([|)(|nnjnnjjnnnjnbaeXeeXbaeXnjenje27恢复出x(n)的过程称为短时傅里叶反变换，是由短时谱合成语音信号的问题由于是n和ω的二维函数，因而必须对在所涉及的两个变量，即时域及频域内进行取样，取样率的选取应保证不产生混叠失真，从而能够恢复原始语音信号x(n)。4.3短时傅立叶变换的取样率)(jneX)(jneX)(jneX)(jneX28当ω为固定值时，是一个单位函数响应为w(n)的低通滤波器的输出。设低通滤波器的带宽为BHz，则具有与窗相同的带宽。根据取样定理，的取样率至少为2B才不致混叠。低通滤波器的带宽由w(n)的傅里叶变换的第一个零点位置ω01决定，因而B值取决于窗的形状与长度。4.3短时傅立叶变换的取样率---时间取样率)(jneX)(jneX)(jneX)(jeW294.3短时傅立叶变换的取样率---时间取样率正弦序列的表达式为幅值A、初相φ的含义与模拟正弦信号相同正弦序列的数字角频率Ω0的含义与一般模拟信号模拟角频率ω0的概念不同。离散信号定义的时间为kTs，显然有Ω0=ω0Ts，模拟角频率ω0的单位是rad/s，数字角频Ω0的单位为rad/s·s=rad。Ω0表示相邻两个样值间弧度的变化量。书上的Ω0用ω直接表示)sin()(0kAkfsssT002,230以直角窗和海明窗为例，其第一个零点位置分别为2π/N和4π/N数字角频率与模拟频率F之间的关系为(其中T是信号取样周期，fs是取样率)，因而用模拟频率表示的的带宽为4.3短时傅