电子耳蜗语音处理技术研究

测试信号处理作业题目：电子耳蜗语音处理技术研究年级：班级：学号：姓名：日期：电子耳蜗语音处理技术研究摘要：人工电子耳蜗植入的研究是当今感音性耳聋康复医学工程中的重要课题之一，随着现代科技的发展耳蜗植入技术得到了长足的发展。本文首先介绍了人工电子耳蜗的设计原理,然后综述了其语音信号处理方案及其进展,最后展望了其未来的研究方向。关键字：人工电子耳蜗语音信号处理电刺激短时傅立叶变换(STFT)小波变换1.引言人工电子耳蜗系统主要由体外和体内两部分组成，体外部分包括麦克风、语音处理器、编码/发射器，主要从事语音信号的采集、处理和编码、发送，植入体内部分包括接收/解码器、刺激器和电极距阵。语音信号处理器将麦克风检测到的声音信号进行特征提取或者滤波等处理，产生不同电极的电刺激信号，碥码/发射器将这些信号编码、调制为高频信号，通过发射线圈将信号以无线方式发送到体内。体内的接收线圈接受到信号后，接收解码器进行解调、解码后还原出刺激信号，然后控制一个刺激电流生成器，产生相应电极的电刺激信号，并通过鼓阶内的电极距阵兴奋听神经[1,2]。图1人工电子耳蜗的系统结构图语音信号处理部分的功能就是将语音信号转换为与耳蜗中电极相对应的电刺激信号，音频处理的范围一般为100Hz～400Hz,大致可以划分为两大类，一类是基于特征提取，即提取语音信号的基频和共振峰等特征信息，然后产生相应的刺激信号；另一类是基于滤波器组的分频方法，即对语音信号进行分频段滤波处理，直接得到电极的刺激信号分频方案，根据耳蜗频率分布，将不同的频率信息送至耳蜗相应的频率区，它类似于基底膜的初步滤波作用。1.基于特征提取的信号处理方案。言语声包括两类：元音+辅音。所有元音都是嗓音性或周期性的。周期指声带振动或从声门发出的周期性气流脉冲。声带振动的速率形成基频(F0)。音调由基频变化传送，汉语为音调语言，其四声就是音调决定的[7]。不同元音在频谱图上某一特定频率处有一声能量加强带，称为共振峰(Formant)。一切元音都有一个基频和至少两个声音加强的频带。共振峰是发声通路的共鸣和消极发声器官（唇、舌)的调节产生的。其顺序是由低频向高频排列，如第一共振峰为F1，如第二共振峰为F2。在言语识别中，第一、二共振峰代表该元音的最基本特征，即仅靠第一、二共振峰即可识别该元音。语音处理方案有F0/F2、F0/F1/F2、F0/F1/F2/F3等方法。即从第一代WSP（F0F1F2），到第二代MSP（MPEAK=F0/F1/F2+固定高频滤波器)方案。F0决定电极电流脉冲的频率，F1F2和F3的频率位置与电极位置相对应，其幅度大小决定刺激脉冲的幅度。提取F0、F1、F2、F3等特征的方法主要有滤波法、自相关法、倒谱法和线性预测编码法（LPC）等，其中线性预测编码法应用较多。F0的提取可采用简化逆滤波法(SIFT)等。2.基于滤波器组的分频方案。包括有最大谱峰声音处理法(spectralmaximasoundprocess,SMSP),谱峰法(spectralpeak,SPEAK),压缩模拟(compressedanalog,CA)方案，连续间隔采样(continuousinterleavedsampling,CIS)方案等[1,2,3]。表1各种现代语音信号处理方案2．采用短时傅立叶变换方法的电子耳蜗语音处理技术2.1短时傅立叶变换语音波是一个非平稳过程，因此适用于周期、瞬变或平稳随机信号的标准傅立叶变换不能用来直接表示语音信号。但是，对语音处理来说，短时分析的方法是有效的解决途径。由于语音信号的特性是随时间缓慢变化的，因而可以假设它在一段短时间内保持不变。短时分析应用于频域分析就是短时傅立叶变换，即有限长度的傅立叶变换[4]。语音信号是局部平稳的，所以可对某一帧语音进行傅立叶变换，即短时傅立叶变换。其定义如下:由定义知,短时傅立叶变换是窗选语音信号的标准傅立叶变换。这里用下标n区别于标准的傅立叶变换。式(1)中，w(n-m)是窗口函数序列,不同的窗口函数序列,将得到不同的傅立叶变换的结果。短时傅立叶变换有两个自变量:n和w,所以它既是关于时间n的离散函数,又是关于角频率w的连续函数。如令w=2∏k/N,则得离散的短时傅立叶变换:由于时-频不确定原理,窗函数长度的选择是十分关键的。对于每一个不同的时间,都可以得到一个不同的频谱,这些频谱的总体就是语音信号的时频分布,或者称为语谱图。语音信号的谱线是分裂的,依次可以分为F0、F1、F2和F3等等,于是语音的特征参数就可以从中求出。2.2短时傅立叶变换在电子耳蜗语音处理技术中的应用用FFT对每帧15ms～30ms的短时语音信号进行频谱分析,就可得到短时傅立叶变换。得到的频谱按时问排列,就构成了语音信号的实时语谱图。然后根据通道频率划分,通过简单的乘加法运算计算出每个通道的平均能量,就是决定刺激脉冲的幅度。子带的划分方法见文献[5,6]，从试验得知幅度最大的通道对应着此次测试频率对应的通道。所以可证明系统可以很好分辨出语音信号的频率。其具体实现步骤如下图2。主要原理为：语音信号数字化后,经自动增益控制和噪声抑制等前期处理后,在DSP芯片内用FFT运算进行频域分析,然后根据以上的通道频率划分,通过简单的乘加法运算计算出每个通道的平均能量。图2基于FFT的语音处理器程序原理框图根据帕塞伐尔定理:一个序列在时域计算的能量与在频域计算的能量是相等的。即每个通道的能量为下面可观察其运算高效性。在以往的语音信号处理方案中,通道的带通划分采用IIR或者FIR带通滤波器和整流低通滤波提取包络来实现,其原理流程图见下图3所示。图3基于滤波器组的语音处理器原理框图表2为采用上述两种不同方法的运算量的比较结果。从表中可看出：基于STFT方法运算量仅为基于滤波器组方法的1/10，基于FFT变换方法的运算量仅为基于滤波器组方法的1/13,大大节省了时间,更加适合于实时处理。表2两种方法运算量的比较3.利用小波变换实现电子耳蜗CIS语音信号的处理。在频域中,在不同尺度a下,小波变换相当于一组恒定Q的带通滤波器对信号进行分析。正是由于小波多分辨率分析特性与耳蜗的频率分析特性极为相似,因此可以用小波变换可以代替带通滤波在CIS号处理方案中应用.里使用Morlet函数作为小波基函数，Morlet函数定义为：Morlet小波函数可以进行连续变换，滤波器长度为[-4,4]，有对称性，撑程度有限。Morlet小波函数图见图4。用小波变换代替带通滤波进行CIS语音信号处理,再经过全波整流和低通滤波等检测出其包络，其原理图见图5。图4Morlet小波函数图图5小波变换用于CIS语音信号处理原理图对于连续小波变换,尺度a的确定可以由各通道的中心频率计算求得。对于Morlet，Daubechies小波,尺度a=2时对应的中心频率为3/4*Fs/2(Fs为语音信号的抽样频率)。根据小波变换的恒Q特性,对于给定的中心频率w0,其对应的尺度为:通过声卡对语音信号进行采样，给出了每一组带通滤波器的中心频率后,由此计算各通道进行小波变换的尺度a。文献[8,9]实验结果表明用小波变换代替CIS语音信号处理方案中的滤波器组是可行的,通过小波母函数的伸缩和平移，给定不同的尺度因子a，即可实现恒定品质因数Q，便于参数调整。通过计算机仿真对用小波变换取代带通滤波器组的CIS语方案进行了研究。结果表明,该方法能够获取一定的语言识辨能力，但是丢失了大量的高频信号。因此,需要进一步改进预加重处理，以改善语音信号的高频成分。文献[10]提出了一种听觉感知的小波变换的电子耳蜗语音处理的方法。在CIS语音信号处理方案的基础上,利用人耳听觉的临界频率与听觉感知的小波变换域的相似性,进行了电子耳蜗输出信号的重构,采用短时傅立叶变换的语谱图分析。实验结果表明：本方法获得的合成语音与原始语音在频谱包络特征上非常相似,频域特征更接近人耳的实际生理特性。4.讨论电子耳蜗的语音信号处理是正常人听觉生理功能的模拟,电诱发听觉必然与生理上的听觉存在区别,已有的信号处理方法主要利用了听觉系统的部位编码原理,但实际上听觉对语音信号的编码比较复杂,还有时间编码机制,即听神经纤维的发放率(FiringRate)是随时间变化的。深入研究语音信号的处理方法应当与听觉生理学紧密结合，建立一种完备的听觉生理模型，这将是今后研究中值得关注的问题之一。如何进一步降低成本、提高性能，研究针对汉语语音特点的信号处理方法，这些也是值得研究的问题。5.结束语人工耳蜗的深人研究，将会使耳蜗植片更加成熟，有望能使所有的耳蜗植人者获得很好的语言理解能力。参考文献[1]聂开宝,蓝宁,高上凯,杨福生审校(清华大学电机系生物医学工程及仪器组,北京).人工电子耳蜗语音信号处理方法的研究进展[J],生物医学工程学杂志JBiomedEng,1999:16(3):365～370.[2]刘爱国,王正敏(复旦大学医学院附属眼耳鼻喉科医院上海200031).人工电子耳蜗语音信号处理方案研究及其进展[J].国外医学耳鼻咽喉科学分册:326.[3]聂开宝，韩先花(山东大学信息科学与工程学院济南250100).电子耳蜗实现方案及其语音处理方法综述[J].[4]胡航.语音信号处理[M].哈尔滨:哈尔滨工业大学出版社.2000.[5]陈红芳,冯海泓,徐海东(中国科学院声学研究所东海研究站上海200032).采用短时傅立叶变换方法的电子耳蜗语音处理技术[J].声学技术:2007年6月第26卷第3期.[6]张利军，岳宏达，雷正林.基于短时傅立叶变换的人工电子耳蜗言语处理器设计[J].Proceedingsofthe27thChineseControlConference,July16-18,2008,Kunming,Yunnan,China.[7]聂开宝,刘琚.一种基于汉语音调信息的电子耳蜗语音信号处理新方案[J].中国生物医学工程学报,2001年6月第20卷第3期.[8]聂开宝,蓝宁,高上凯.用小波变换实现电子耳蜗CIS语音信号的处理[J].清华大学学报(自然科学版)1999年第39卷第9期：37～40.[9]蒋明峰,小林.小波变换在电子耳蜗CIS处理中的应用及其仿真和合成[J].浙江理工大学学报,2005年12月第22卷，第4期.[10]施晓敏，顾济华，陶智，赵鹤鸣，张晓俊.基于听觉感知小波变换的电子耳蜗CIS语音信号处理[J].微电子学与计算机,2006年第23卷第12期:41～43.