苗振徽_1105110226_基于HMM的歌曲音频信号处理研究

毕业论文（设计）基于HMM的歌曲音频信号处理研究学生姓名：苗振徽指导教师：姜凤娇副教授合作指导教师：专业名称：电子信息工程所在学院：信息工程学院2015年6月目录摘要....................................................IAbstract................................................II第一章前言..............................................11.1研究目的及意义..............................................11.2国内外研究现状..............................................11.3研究内容简介................................................11.4本文结构....................................................1第二章音乐的基本特征及预处理............................32.1音乐的基本特征..............................................32.2预处理......................................................32.3特征提取....................................................52.4小结........................................................6第三章音符端点检测和算法................................73.1音符端点的定义..............................................73.2几种常用端点检测法及正确率..................................83.3峰值提取...................................................10第四章HMM原理和算法...................................124.1隐马尔可夫模型的基本概念...................................124.2HMM基本算法................................................16第五章基于HMM的歌曲音符识别...........................205.1单音符的识别...............................................205.2多音符识别训练与测试.......................................225.3HMM模型参数................................................255.4多音符HMM模型训练.........................................265.5多音符系统识别.............................................295.6多音符识别结果与分析.......................................31第六章总结.............................................34致谢....................................................35参考文献................................................36大连海洋大学本科毕业论文（设计）摘要I摘要目前，广泛的来说利用音乐的音频信号得到音乐所包含的内容是音乐识别的主要任务，简单地说就是从音乐音频文件到数字音乐文件（midi文件)的转换系统。由于这种系统能够方便快捷地实现乐谱的计算机录入工程，在电脑收集合成音乐、计算机作曲及音乐作品的数字化处理等领域有非常广阔的应用前景。本课题主要应用隐马尔可夫模型来对单音符和多音符来进行识别处理。对于单音符的识别，主要侧重于实时性以及稳健性两个方面，为了提高这两个方面的性能，这里采用了局部端点检测、多样本字典、以及多样本字典后期处理这三个方法。而对于要求更高的多音符识别，这里采用了模式识别的方式，初步建立了基于隐马尔可夫模型这种过程的多音符处理系统。本课题的主要内容大体包含了以下面几个方向：1）提取单音符和多音符文件的特征2）确定样本音频中音符端点的位置3）研究基于HMM模型的语音识别原理，建立音符的HMM声学模型4）根据得到的数字音乐文件（midi文件）及对应的音频原文件进行测试和记录，分析结果关键词：单音符,多音符,隐马尔可夫模型,端点检测,特征提取大连海洋大学本科毕业论文（设计）AbstractIIAbstractAtpresent,themaintaskofmusicrecognitionistouseoftheaudiosignalofmusictogetcontainedinthemusiccontent,Simplyput,itistheaudiofilefrommusictodigitalmusicfiles(midifile)conversionsystem.Becausethissystemcanquicklyandeasilyachievethescoreofcomputerinputengineering,synthesizedmusiccollectiononyourcomputer,composerandmusicalworksincomputerdigitizationprocess,whichareverybroadapplicationprospects.ThetopicisuseHiddenMarkovModelstorecognitionprocesssinglenotesandmorenotes.Fortheidentificationofasinglenote,focusingprimarilyonreal-timeandrobustnessaretwoaspectstoimproveperformanceinthesetwoareas,wheretheuseofthelocalendpointdetection,diversedictionary,aswellasvariouspost-processingofthesethreemethodsdictionary.Fordemandingmorenoterecognition,wheretheuseofpatternrecognitionapproach,initiallyestablishedasystembasedonmulti-noteprocessingHiddenMarkovmodelofthisprocess.Themaincontentsofthistopicinseveraldirectionsgenerallycontainsthefollowing:1)Extractingfeaturesinglenotesandmorenotesfile2)Determinethepositionofthesampleaudionotesendpoint3)TheHMMacousticmodelbasedontheprincipleofHMMspeechrecognitionmodel,theestablishmentofnote4)Togivethedigitalmusicfiles(midifile)andthecorrespondingoriginalaudiofilefortestingandrecording,analysisKeyWords:Single-note,More-note,HMM,EndpointDetection,FeatureExtraction大连海洋大学本科毕业论文（设计）第一章前言1第一章前言1.1研究目的及意义利用计算机和语音音频处理技术对音乐进行识别，音乐识别的基本任务是通过特定算法，充分利用音乐录制的音频文件得到音乐的内容，分析出某时段内声音的音符信息并利用这个单音符信息或者多音符信息进行识别和处理，最终将其转化成数字音乐文件。简单地说就是从音乐音频文件到数字音乐文件（midi文件)的转换系统。由于这种系统能够方便、而且快捷的实现音乐的计算机录入和收集工作，并在电脑音乐处理、计算机辅助作曲以及音乐作品数字化处理研究等领域有非常广阔的应用前景。1.2国内外研究现状有关语音音符识别最早的识别系统是由Moorer所提出的识别系统，此系统奠定了音符识别的基础。80年代的后期，将最大同时发音的音符的数目增加到了5个。在90年代的时候，将最大同时发音的音符数目提高到了8个。1995年该系统已经被应用于贝叶斯概率网络，并且在贝叶斯网络的应用中起到了一定的作用，从而使得这个系统能够更好更充分的采用和收集新的先验知识，经验证该系统能够支持的最大的发音的数目为3的音符识别。在最近些年里，我们国内多数学者对此方面的研究主要都集中在如何识别和弦的信息以及单音符的信息识别上，对于多音符的识别的研究项目比较少。1.3研究内容简介本课题的研究的内容主要是来源于对单音符和多音符的识别。目前，世界上对音乐识别的领域主要集中于和弦的识别，而在音符的识别方向上关注度明显很低，研究的人员少，研究出的成果少，就连国内外研究成果及文献都寥寥无几。而本课题主要将研究方向放在了歌曲音符识别上，而研究的内容主要有以下几个方面:（1）音符的音频特征的提取。本文中介绍了语音识别中常用的几种音频特征提取方法：例如梅尔倒谱系数MFCC、Delta、以及PCP等。（2）音符端点检测。（3）歌曲音符识别。（4）多音符隐马尔可夫模型建模。1.4本文结构第一章首先阐述了音乐识别的发展背景和国内外的语音识别发展概况以及该研究的目的和意义，从而引出了本文的研究内容。第二章这一章介绍了音乐中有关系的音高、音色、多音符以及单音符等声音方面的概大连海洋大学本科毕业论文（设计）第一章前言2念，在此物理基础上，较为详细地介绍了音乐识别中几种常用的音频特征。第三章这一章简要的给出几种端点检测算法。第四章简要的介绍了HMM模型的原理，并且认真的介绍了HMM的几种检测算法。第五章本章节是全文的中心和重点，着重分析歌曲音符识别中的单音符识别和多音符识别，构建了HMM的模型对多音符进行识别和测试比较。第六章对这次的毕业设计和学习过程进行总结大连海洋大学本科毕业论文（设计）第二章音乐的基本特征及预处理3第二章音乐的基本特征及预处理2.1音乐的基本特征我们都知道，所有的声音都是由物体的振动而产生的，而且自然界中的能够被人的听觉系统所感知到的声音是很多的，但是并不是所有的声音都能够用来作为音乐。在音乐中所使用的声音，必须能够清晰的表达人的情感和生活中的各种方面。这些音放在一起被逐渐组合而形成了一个固定的体系，用来表达人们的音乐思想和塑造音乐在心中的形象。这些乐音基本上都是由单音遵循时间的先后顺序组合而成的，所以，一段完整的乐音总是包含着很多的单音。这些单音包含三个中心要素：基频、振幅以及倍频。由人的心理层面上的主观感受所形成的心理上的三个要素包括：音调、响度、音色。这些音乐的特性能够用物理的方法进行测量，一般来说，音调（也就是音高）是由音符的基频决定的，单音的响度（振幅）是震动到人耳的能量流，音色由材质以及单音音符频谱等构成。音有音高、音长、音色以及强弱这4种特征。这4种特征分别与振动的频率