20.李伟《基于内容的音乐信息检索(MIR)技术综述》

届全国声音与音乐技术会议（CSMT 2016）2016年11月12日基于内容的音乐信息基于内容的音乐信息术综述术综述李伟复旦大学计算机科学技术学院息检索（MIR）技息检索（MIR）技内容MIR领域概述MIR领域概述MIR研究课题介绍MIR研究课题介绍总结与展望总结与展望2016/11/122音乐科技/计算机音乐音乐科技/计算机音乐（Music Technology悠久的历史◦20世纪50年代…20世纪50年代…◦70年代初，美国斯坦福大学CCRMA◦70年代末，法国巴黎IRCAM◦1994年，西班牙巴塞罗那UPF大学M◦2001年，英国伦敦女王大学C4DM◦德国、日本、新加坡、台湾….◦欧洲由于其浓厚的人文和艺术气息成◦90年代中期，中国大陆（科技部分2016/11/12y/Computer Music）MTG成为该领域的世界中心）3音乐科技/计算机音乐音乐科技/计算机音乐（Music Technology音乐科技的应用◦数字乐器、算法作曲、计算音乐学、数字乐器、算法作曲、计算音乐学、数字音频/音乐图书馆、音频/音乐编音频监控系统、音频交通检测…声音与音乐计算SMC（Sound and◦90年代中期，ACM标准术语◦多学科交叉的研究领域◦声学、音频信号处理、机器学习、人机交作曲音乐编辑制作音响工程音效设◦作曲、音乐编辑制作、音响工程、音效设2016/11/12y/Computer Music）、音乐信息检索、交互式多媒体系统、、音乐信息检索、交互式多媒体系统、编辑制作、音频/音乐辅助医学治疗、d Music Computing）交互、软硬件设计…设计设计…4音乐科技/计算机音乐音乐科技/计算机音乐（Music Technology相关国际会议和期刊◦IEEE TASLP（IEEE Transactions on Audio，SpEURASIPJASMP（EURASIPJornalonAdio◦EURASIP JASMP（EURASIP Journal on Audio，◦CMJ（Computer Music Journal）◦JNMR （Journal of New Music Research）JASA（JlfthAtilSitfA◦JASA（Journal of the Acoustical Society of Am◦ISMIR（International Society for Music Inform◦ICASSP（IEEE International Conference on AcWASPAA（IEEEWkhAlitif◦WASPAA（IEEE Workshop on Applications of ◦DAFx（International Conference on Digital A◦ICMC（International Computer Music ConferIilAESCi◦International AES Convention◦IEEE TMM（IEEE Transactions on Multimedia◦ACM MM（ACM Multimedia International Co（lfl◦ICME（IEEE International Conference on Mul2016/11/12y/Computer Music）peech and Language Processing）SpeechandMsicProcessing），Speech and Music Processing）i）merica）mation Retrieval Conference）coustics，Speech and Signal Processing）SilPitAdidAti）Signal Processing to Audio and Acoustics）udio Effects）rence）a）onference）ldd）ltimedia and Expo）5ICASSP  （音频、语言信号言、信号处理会议）ICM（计算乐国际声音与音乐技术会议声音与音乐计算研讨会C2016/11/12ISMIRISMIR    （国际音乐信息检索会议）议）MC     算机音际会议）议CSMT （2016‐）CSMCW （2013‐2015）6音乐（计算机音乐（计算机音乐艺术部分艺术部分（科技的音乐）算音计算机音效设录音艺后期处算音学音乐制作音效设计录音艺术后期处理…2016/11/12科技电脑音乐）、电脑音乐）科技部分科技部分（声音与音乐计算SMC）声音与音乐的声音与音乐的内容理解与分析声音与音乐的计算辅助音乐的信号处理容理解与分析（计算机听觉CA）音乐的计算机接口辅助音乐作谱分析、回声变音频内容回声、变调、时间伸缩、去噪、压缩…音频内容理解与分析音乐信息检索（MIR）算法噪压缩72016/11/12声音与音乐计算•音频信号处理音乐艺术创音乐•机器学习声学音乐声学◦研究音乐声音震动中物理问题的科学◦音乐学与物理学的交叉学科主要研究领域乐音与噪声的区别◦乐音与噪声的区别◦音高、音强和音色的物理本质◦基于电磁振荡的电声学听觉器官的声波感受机制◦听觉器官的声波感受机制◦乐器声学◦人类发声机制◦音律学◦与音乐有关的室内声学◦虚拟现实音频8核心层研究领域核心层研究领域应用层研究领域2016/11/12音乐乐信息息检索索MIR研研究领领域9音高与旋律（Pitch an音高/音调◦由声音波形的频率决定，音乐中每个由声音波形的频率决定，音乐中每个音高/音调检测（Pitch Detection）◦时域检测◦时域检测◦过零率法、自相关法（如YIN算法）、昀大◦频域检测频域检测◦基于音频帧的短时傅里叶变换（STFT），◦基于听觉模型检测◦模拟人类感知音高的生理过程◦使用耳蜗模型对每一个通道进行独立的自综合所有通道信息得到相对应的音高◦综合所有通道信息得到相对应的音高2016/11/12nd Melody）个音符都具有一定的音高个音符都具有定的音高大似然法、自适应滤波器法、超分辨率法周期性信号在基频的整数倍处得到峰值自相关运算10音高与旋律（Pitch an旋律◦经过艺术构思按照节奏及和声形成的经过艺术构思按照节奏及和声形成的旋律提取（Melody Extraction）◦从多声部音乐（PolyphonicMusic）◦从多声部音乐（Polyphonic Music）◦应用◦音乐搜索、抄袭检测、歌唱评价、作曲家音乐搜索、抄袭检测、歌唱评价、作曲家◦典型方法◦音高重要性法（Pitch‐Salience based Melo◦歌声分离法（Singing Separation based Me◦数据驱动的音符分类法（Data‐driven Not2016/11/12nd Melody）的反映音乐主旨的音符序列的反映音乐主旨的音符序列信号提取单声部（Monophonic）旋律信号提取单声部（Monophonic）旋律家风格分析家风格分析…ody Extraction）elody Extraction）te Classification）11音高与旋律（Pitch an音乐识谱（Music Transcription）◦识别音乐中每个时刻发声的各个音符识别音乐中每个时刻发声的各个音符典型方法◦音源分离◦音源分离◦通常基于矩阵分解技术进行歌声和各种伴◦音符分割音符分割◦在各个音源上进行，寻找每一个音符起始◦音高提取◦提取每个音符的基频，根据MIDI音符表转◦利用音乐领域知识或规则进行后处理2016/11/12nd Melody）符并形成乐谱符并形成乐谱伴奏乐器声音的分离始点并分割转换为音符的音名理纠错12音乐节奏（Music Rhy音符起始点检测（Note Onset Det◦检测音乐中某一音符开始的时间检测音乐中某音符开始的时间◦各种音乐节奏分析的预处理步骤◦典型方法◦Hard Onset◦子带分解检测各子带能量峰值◦检测各子带能量峰值◦合并后挑选结果◦SoftOnsetSoft Onset◦检测和弦突变点2016/11/12ythm）tection）13音乐节奏（Music Rhy节拍◦某种具有固定时长的音符，通常以四某种具有固定时长的音符，通常以四节拍跟踪（Beat Tracking）◦用计算机模拟人们在听音乐时无意识◦用计算机模拟人们在听音乐时无意识◦理解音乐节奏的基础，很多MIR任务◦典型方法◦典型方法◦通常依赖于音符起始点检测、打击乐或其◦如果音乐偏重抒情，没有打击乐器或不明2016/11/12ythm）四分音符或八分音符为一拍四分音符或八分音符为拍识地踮脚或拍手的现象识地踮脚或拍手的现象务的重要步骤其它时间局域化事件检测明显，可采用和弦改变点作为候选节拍点14音乐节奏（Music Rhy速度检测（Tempo Detection）◦音乐进行的快慢，每分钟多少拍BM音乐进行的快慢，每分钟多少拍BM◦通常与节拍跟踪同时进行◦应用◦音乐情感分析中的一个重要因素◦给帕金森病人播放与其走路速度一致的音典型方法◦典型方法◦带通滤波，对每个子带计算其幅度包络线◦与一组事先定义好的梳状滤波器卷积◦与组事先定义好的梳状滤波器卷积◦对所有子带上的能量求和，昀高峰值对应2016/11/12ythm）MP（BeatsperMinute）MP（Beats per Minute）音乐，辅助其恢复线应于速度15音乐节奏（Music Rhy拍子◦在小节线划分的相同时间间隔内，按在小节线划分的相同时间间隔内，按弱变化。如4/4、3/4、2/4等小节小节◦划分乐句、乐段、整首乐曲的基本单拍子检测（MeterDetection）及小拍子检测（Meter Detection）及小Detection）◦典型方法◦典型方法◦节拍相似性矩阵◦节拍跟踪+基于音乐知识的启发式规则2016/11/12ythm）按照一定次序重复出现的有规律的强按照定次序重复出现的有规律的强单位，在乐谱中用小节线划分小节线检测（Barline/Measre小节线检测（Bar line/Measure 16音乐节奏（Music Rhy节奏型检测（Rhythmic Pattern De◦节奏型节奏型◦在歌曲中反复出现的有一定特征的节奏◦应用◦音乐流派分析、音乐教学…◦典型方法基于模板匹配◦基于模板匹配2016/11/12ythm）etection）17音乐和声（Music Har多声部音乐◦复调音乐（Polyphony）复调音乐（Polyphony）◦公元9世纪到18世纪前半叶，流行于欧洲◦两条或以上的独立旋律，和谐地结合◦主调音乐（Homophony）◦18世纪后半叶开始到现在，逐渐取代了复◦某一个声部作为主旋律其它声部以和声◦某一个声部作为主旋律，其它声部以和声◦和声◦主调音乐昀重要的要素之一◦两个或以上不同的音符按照一定规则同2016/11/12rmony）复调音乐声或节奏等手法进行陪衬和伴奏声或节奏等手法进行陪衬和伴奏同时发声而构成的声音组合18音乐和声（Music Har和弦◦和声的基本素材，由三个或以上不同◦和弦的连接表示和声的横向运动和弦识别（Chord Detection）和弦识别◦音频特征◦PCP（Chroma）：在C、#C、D、#D、E、F度无关的谱能量聚集度无关的谱能量聚集◦识别模型◦模板匹配、隐形马尔可夫模型HMM（Hid（CditilRdFild）支持向量（Conditional Random Fields）、支持向量经网络RNN（Recurrent Neural Network）2016/11/12rmony）同的音按照一定音程在纵向结合构成F、#F、G、#G、A、#A、B等12个半音类上与八dden Markov Model）、条件随机场CRF量机SVM（StVtMhi）递归神量机SVM（Support Vector Machine）、递归神…19音乐和声（Music Har调检测（Key Detection）◦音名对应于钢琴上真实的键音名对应于钢琴上真实的键◦唱名随着音乐的