42数字语音信号处理

数字语音信号处理实验指导书编著王让定熊益群徐国娟宁波大学信息科学与工程学院2008年6月前言语音信号处理是研究用数字信号处理技术和语音学知识对语音信号进行处理的新兴的学科，是目前发展最为迅速的信息科学研究领域的核心技术之一。通过语音传递信息是人类最重要、最有效、最常用和最方便的交换信息形式。同时，语言也是人与机器之间进行通信的重要工具，它是一种理想的人机通信方式，因而可为信息处理系统建立良好的人机交互环境，进一步推动计算机和其他智能机器的应用，提高社会的信息化程度。语音信号处理是一门新兴的学科，同时又是综合性的多学科领域和涉及面很广的交叉学科。虽然从事这一领域研究的人员主要来自信号与信息处理及计算机应用等学科，但是它与语音学、语言学、声学、认知科学、生理学、心理学等许多学科也有非常密切的联系。20世纪60年代中期形成的一系列数字信号处理的理论和算法，如数字滤波器、快速傅立叶变换（FFT）等是语音信号数字处理的理论和技术基础。随着信息科学技术的飞速发展，语音信号处理取得了重大的进展：进入70年代之后，提出了用于语音信号的信息压缩和特征提取的线性预测技术（LPC），并已成为语音信号处理最强有力的工具，广泛应用于语音信号的分析、合成及各个应用领域，以及用于输入语音与参考样本之间时间匹配的动态规划方法；80年代初一种新的基于聚类分析的高效数据压缩技术—矢量量化（VQ）应用于语音信号处理中；而用隐马尔可夫模型（HMM）描述语音信号过程的产生是80年代语音信号处理技术的重大发展，目前HMM已构成了现代语音识别研究的重要基石。近年来人工神经网络(ANN)的研究取得了迅速发展，语音信号处理的各项课题是促进其发展的重要动力之一，同时，它的许多成果也体现在有关语音信号处理的各项技术之中。为了深入理解语音信号数字处理的基础理论、算法原理、研究方法和难点，根据数字语音信号处理教学大纲，结合课程建设的需求，我们编写了本实验参考书。本本参考书针对教学大纲规定的四个研究设计型实验，每个实验给出了参考程序，目的是起一个抛砖引玉的作用，学生在学习过程中，可以针对某一个实验进行延伸的创新学习，比如说，语音端点的检测、语音共振峰提取、基于HMM或DTW的有限词汇或大词汇的特定人、非特定人的语音识别、识别率的提高（如何提高有噪环境下的识别率）、以及编码问题等，同时在学习中还可深入思考如何将有关的方法在嵌入式系统或DSP下的实现问题等。第一章数字语音信号处理教学大纲一、课程说明学分数：3总学时：59学时分配：讲课25学时，自主学习17学时，实验17学时适用专业：电子信息科学与技术，通信工程先修课程：信号与系统，数字信号处理二、课程教学的目的与任务本课程的学习目的是掌握语音信号处理的基本理论、基本分析方法，了解在语音信号处理领域中相关研究热点，激发学习者对语音处理相关研究方向中的有关兴趣，为以后的开展语音处理相关领域的研究、开发打下一个良好的基础。本课程是电子信息科学与技术，通信工程专业的方向模块课。本门课程的教学分理论和实验教学两部分，理论教学注重培养学生基本问题的分析方法，从而掌握基本的语音信号处理的理论与概念，理论教学还包括多种形式的自主学习，如网上学习、课外阅读、大型作业、主题调查、读书报告、分组讨论等。实验教学注重培养学生的动手能力、分析和解决问题的能力。三、课程教学的基本内容及学时分配1.语音信号处理概述（理论教学：2学时）语音信号处理的发展概况，语音信号处理的应用。2.语音信号的特性及模型（理论教学：2学时）语音信号的产生，语音信号的特性，语音信号产生的数字模型，语音感知。3.语音信号的时域分析（理论教学：2学时，自主学习：2学时）语音信号的数字化和预处理，短时能量分析，短时过零分析，短时相关分析。4.语音信号的频域分析（理论教学：2学时，自主学习：1学时）短时傅里叶变换，短时傅里叶变换的取样率，语音信号的短时综合，语谱图。5.语音信号的同态滤波及倒谱分析（理论教学：2学时，自主学习：1学时）同态信号处理的基本原理，复倒谱和倒谱，语音信号两个卷积分量复倒谱的性质，避免相位卷绕的算法，语音信号复倒谱分析实例。6.语音信号的LP分析（理论教学：2学时，自主学习：2学时）线性预测分析的基本原理，线性预测方程组的建立，线性预测分析的解法，线性预测分析应用，线谱对(LSP)分析，极零模型。7.语音信号的矢量量化（理论教学：2学时，自主学习：1学时）矢量量化的基本原理，失真测度，最佳矢量量化器和码本的设计，降低复杂度的矢量量化系统，语音参数的矢量量化。8.语音编码-波形编码法（理论教学：2学时，自主学习：1学时）语音信号的压缩编码原理，脉冲编码调制(PCM)及其自适应，预测编码及其自适应APC，自适应差分脉冲编码调制(ADPCM)及自适应增量调制(ADM)，子带编码(SBC)，自适应变换编码(ATC)。9.语音编码-参数编码法（理论教学：2学时，自主学习：1学时）声码器的基本结构，相位声码器和通道声码器，同态声码器，线性预测声码器，混合编码，各种语音编码方法的比较，语音编码的性能指标和质量评价。10.隐马尔可夫模型（HMM）（理论教学：2学时，自主学习：2学时）隐马尔可夫模型的引入，隐马尔可夫模型的定义，隐马尔可夫模型三项问题的求解，HMM的一些实际问题。11.语音识别技术（理论教学：3学时，自主学习：4学时）语音识别概述，动态时间规整（DTW）识别技术，隐马尔可夫模型（HMM）识别技术，语音识别的应用技术。12.语音合成、语音增强技术（理论教学：2学时，自主学习：2学时）语音合成原理，共振峰合成，线性预测合成，专用语音合成硬件及语音合成器芯片，语音增强。四、教学方法本课程总学时59（总学分：3）；其中课堂讲授：25学时；自主学习：17学时；实验：17学时。理论课采用课堂教学方式，使用多媒体辅助教学手段，进行基本内容的讲授。适当安排一定的习题课时间，并布置适当的设计题以培养学生的设计、分析问题的能力。自主学习内容由学生自主学习参考教材的内容，并采用多种渠道，如查阅最新语音信号处理方面的科技文献、资料，作出学习报告。目的是培养学生的自学能力和科技文献的检索和查阅能力，同时可以有助于学生了解和掌握语音信号处理领域的最新技术进展和应用情况，将理论知识和实际应用结合起来，促进学生学习的积极性和主动性。本课程讲授自主学习的内容依每部分的教学进度交替安排。实验为研究型（设计型）实验，共安排4个实验，为了真正达到研究设计型实验的目的，将自主学习和研究设计型实验结合起来，统一安排。五、考核及成绩评定方式本课程的考核内容由下面四部分组成：1、期末考试M1（100分）考核内容：教学计划全部内容；考核形式：闭卷考试。占总评成绩的50％2、实验考核（含自主学习）M2（100分）四个设计型实验各占25%（分别为M1、M2、M3、M4），评分标准是按试验分析方法、所设计的实验程序、实验结果等，由任课教师评定成绩3、论文及主题报告M3（100分）按一般科学论文的写作规范的要求，写作4篇专题论文（含自主学习），每一学生选择至少一个写作规范的专题论文进行课堂交流报告，根据论文写作水平、报告的内容、思路、对问题的理解、以及报告方式等评定成绩。4、平时考核M4（100分）由任课主讲教师按课堂表现、平时实验、自主学习情况及作业评定成绩。期末总评成绩M＝M1×50%＋M2（M2=M1×25%+M2×25%+M3×25%+M4×25%）×10%＋M3×30%＋M4×10%。六、教材及参考书目推荐教材：张雄伟等编著，《现代语音处理技术及应用》，机械工业出版社，2003年。参考教材：1、L.R.Rabiner,B.H.Juang.FundamentalsofSpeechRecognition.PrenticeHall,EnglewoodCliffs,1993.清华大学出版社（影印），2002年.2、胡航.语音信号处理（修订版），哈尔滨工业大学出版社，2002年.3、易克初，田斌等.语音信号处理，国防工业出版社，2000年.4、赵力.语音信号处理，机械工业出版社，2003年.5、吴家安等.语音编码技术及应用，机械工业出版社，2006年.6、韩继庆，张磊，郑铁然.语音信号处理，清华大学出版社，2004年.7、D.G.Childers.Matlab之语音处理与合成工具箱（影印版），清华大学出版社，2004年.8、ThomasF.Quatieri著，赵胜辉等译，《离散时间语音信号处理—原理与应用》，电子工业出版社，2004.七、实践环节实验学时数：17实验学分：0.5实验项目数：41、目的与基本要求实验为研究型（设计型）实验，共安排4个，为了真正达到研究设计型实验的目的，采用开放实验的办法，将自主学习和研究设计型实验结合起来，统一安排。通过开放实验，目的使学生进一步理解数字语音信息处理的基本方法，提高学生自主分析、发现及解决问题的能力，锻炼学生论文写作能力，为实际的应用打下扎实的基础。2、研究设计型实验的内容1）研究设计型实验1：基于MATLAB的语音信号时域特征分析要求：按所学相关语音处理得的知识，通过网上学习、资料查阅，自己设计程序，给出某一语音信号的短时过零率、短时能量、短时自相关特征的分析结果，并借助时域分析方法检测所分析语音信号的基音周期，写出报告（按一般科学论文的写作规范）。2）研究设计型实验2：基于MATLAB分析语音信号频域特征要求：按所学相关语音处理的得知识，通过网上学习、资料查阅，自己设计程序，给出某一语音信号的短时谱、倒谱、语谱图的分析结果，并借助频域分析方法检测所分析语音信号的基音周期或共振峰，写出报告（按一般科学论文的写作规范）。3）研究设计型实验3：基于MATLAB进行语音信号的LPC分析要求：按所学相关语音处理的知识，通过网上学习、资料查阅，自己设计程序，给出某一语音信号的LPC分析结果，包括LPC谱、LPCC谱的分析结果，并借助LPC分析方法检测所分析语音信号的基音周期和共振峰，写出报告（按一般科学论文的写作规范）。4）研究设计型实验4：基于VQ的特定人孤立词语音识别研究要求：按所学相关语音处理的知识，通过网上学习、资料查阅，借助MATLAB工具，自己设计基于VQ的码本训练程序和识别程序（尽量选用所学HMM或DTW方法设计识别程序），能识别特定人的语音，分析所设计系统的特性，写出报告（按一般科学论文的写作规范）。第二章实验实验一基于MATLAB的语音信号时域特征分析一、实验目的语音信号是一种非平稳的时变信号，它携带着各种信息。在语音编码、语音合成、语音识别和语音增强等语音处理中无一例外需要提取语音中包含的各种信息。语音信号分析的目的就在与方便有效的提取并表示语音信号所携带的信息。语音信号分析可以分为时域和变换域等处理方法，其中时域分析是最简单的方法，直接对语音信号的时域波形进行分析，提取的特征参数主要有语音的短时能量，短时平均过零率，短时自相关函数等。本实验要求掌握时域特征分析原理，并利用已学知识，编写程序求解语音信号的短时过零率、短时能量、短时自相关特征，分析实验结果，并能掌握借助时域分析方法所求得的参数分析语音信号的基音周期及共振峰。二、实验原理及实验结果1.窗口的选择通过对发声机理的认识，语音信号可以认为是短时平稳的。在5~50ms的范围内，语音频谱特性和一些物理特性参数基本保持不变。我们将每个短时的语音称为一个分析帧。一般帧长取10~30ms。我们采用一个长度有限的窗函数来截取语音信号形成分析帧。通常会采用矩形窗和汉明窗。图1.1给出了这两种窗函数在帧长N=50时的时域波形。020406000.20.40.60.811.21.41.61.82矩形窗samplew（n）020406000.10.20.30.40.50.60.70.80.91hanming窗samplew（n）图1.1矩形窗和Hamming窗的时域波形矩形窗的定义：一个N点的矩形窗函数定义为如下1,00,()nNwn其他hamming窗的定义：一个N点的hamming窗函数定义为如下0.540.