核机器学习及其应用研究

博士学位论文核机器学习及其应用研究KERNELMACHINELEARNINGANDITSAPPLICATIONS作者：程健导师：钱建生教授焦李成教授中国矿业大学二○○八年十月学位论文使用授权声明Certificateofthesisauthority本人完全了解中国矿业大学有关保留、使用学位论文的规定，同意本人所撰写的学位论文的使用授权按照学校的管理规定处理：作为申请学位的条件之一，学位论文著作权拥有者须授权所在学校拥有学位论文的部分使用权，即：①学校档案馆和图书馆有权保留学位论文的纸质版和电子版，可以使用影印、缩印或扫描等复制手段保存和汇编学位论文；②为教学和科研目的，学校档案馆和图书馆可以将公开的学位论文作为资料在档案馆、图书馆等场所或在校园网上供校内师生阅读、浏览。另外，根据有关法规，同意中国国家图书馆保存研究生学位论文。（保密的学位论文在解密后适用本授权书）。作者签名：导师签名：年月日年月日中图分类号TP181学校代码10290UDC621.3密级公开中国矿业大学博士学位论文核机器学习及其应用研究KERNELMACHINELEARNINGANDITSAPPLICATIONS作者程健导师钱建生、焦李成申请学位工学博士培养单位信电学院学科专业通信与信息系统研究方向智能信息处理答辩委员会主席张长水评阅人刘芳、刘中、田玉平费树岷、刘富强二○○八年十月论文审阅认定书Thesisapprovalidentification研究生程健在规定的学习年限内，按照研究生培养方案的要求，完成了研究生课程的学习，成绩合格；在我的指导下完成本学位论文,经审阅，论文中的观点、数据、表述和结构为我所认同，论文撰写格式符合学校的相关规定，同意将本论文作为学位申请论文送专家评审。导师签字：年月日致谢Acknowledgments本文对我攻读博士学位期间所做的研究工作进行了总结。衷心感谢我的导师钱建生教授和焦李成教授，本文的大部分研究工作正是在他们的悉心指导下完成的。从论文的选题、查阅资料、追踪学科前沿、开题直至论文定稿审阅，两位教授都付出了大量的心血和劳动。在攻读博士学位的这些年里，钱老师始终为我提供最好的学习、研究环境和机会，在生活中也给予了我很多帮助和支持，钱老师在科研工作中敏锐的洞察力、严谨的治学作风和忘我的工作热情以及对科学、事业的不懈追求对我将是永远的鞭策；无论是在西安的一年学习生活，还是在其它时间，焦老师对我的研究工作自始至终都给予了无私的指导和关注，焦老师深厚的理论基础、渊博的专业知识、在科学上的远见卓识以及勤勉的工作作风和谦逊宽厚的为人永远值得我敬仰和学习。钱老师和焦老师对我的教导将使我一生受用不尽，能做他们的弟子，也是我莫大的荣幸。在此，再次向两位恩师致以崇高的敬意和衷心的感谢！衷心感谢信电学院老前辈许世范教授、谭得健教授、曹国清教授、黄章教授、陈宣平副教授多年来对我的关心和厚爱，前辈们的为人、为学、为师之道是我学习的榜样，将使我受益终身！感谢信电学院马小平教授、王崇林教授、李明教授、伍小杰教授、谭国俊教授、巩敦卫教授、孙伟教授、张剑英教授、任子晖教授、丁恩杰教授、王香婷教授、郭西进教授、刘晓文教授、童敏明教授、王艳芬教授、陈颖副教授、汪宁高级实验师多年来在工作、学习、生活中给予我的巨大帮助和支持！感谢宋学锋教授、程远平教授、林柏泉教授、曹庆仁副教授、翟成博士、王海锋博士、吴祥博士在煤矿瓦斯安全机理、制因机制分析方面给予的大力帮助！特别感谢清华大学张长水教授给予的无私帮助和悉心指导，张老师对论文初稿进行了仔细审阅，提出了许多宝贵的建议，张老师渊博的学识、严谨的治学态度和平易近人给我留下了深刻的印象，在此表示最诚挚的谢意！感谢华中科技大学岳东教授、东南大学费树岷教授、清华大学徐文立教授、燕山大学关新平教授、卢志刚教授、北京交通大学董春研究员对我学业给予的关注和帮助！感谢英国伯明翰（Birmingham）大学的姚新教授、陈欢欢研究员和WattonDave，特别是在英国访问进修期间，多次得到姚老师的指导，与国际一流学者的交谈也使我受益匪浅。感谢美国芝加哥（Chicago）大学的薄列峰博士后，给予我诸多的建设性意见，每次的畅谈交流，都开阔了我的研究视野，使我得以更好地完成本文的研究工作！感谢西安电子科技大学智能信息处理研究所的刘静副教授、钟伟才博士后、公茂果博士、王林博士，是他们陪伴我在西安渡过了一年的美好时光，我很怀念那些无所不谈的日子！感谢淮北矿业集团公司安全生产监控中心李克淮主任、张明华科长、计算机与通信处张毅处长以及芦岭煤矿史宝芳副总工程师、余根海区长为我的现场调研、数据获取和试验提供了许多方便和帮助！感谢我的师兄弟、师姐妹给予我各方面的支持与帮助，他们是：李世银、程德强、孙彦景、尹洪胜、冯小龙、江海峰、郭星歌、赵培培、蔡丽梅、王利娟、厉丹、赵志凯、罗驱波、白静宜、候玉华、裴小斐、芦楠楠、张丽勤、陆瑾、王辉等！感谢培育我十余年的中国矿业大学，感谢信电学院、研究生院的领导和全体老师的辛勤培养和教诲！衷心感谢养育我的父亲、母亲、大哥、二哥、慧姐、萍姐，正是他们在精神、生活上全力支持和关爱，才使我能如期完成博士论文的研究工作，本论文也凝结了他们的心血和汗水！感谢岳父、岳母，特别是岳父多年来一直忍着病痛的折磨，默默的支持着我，给予了我无私的帮助！感谢我的爱人郭一楠。她在完成自己繁重的研究任务的同时，还不辞辛劳地照顾我，没有她的陪伴，无法想像我的生活将会怎样；她耐心地阅读我的论文，提出许多修改意见，帮我纠正了很多错误，没有她的无私付出，就没有这篇博士论文。我感谢她的付出、理解、包容……，感谢她与我携手走过的每一天。最后，谨以此文献给我深切怀念的外祖母！2008年10月31日I摘要近年来，核机器学习及其应用已经渗透到多个学科，并在数据挖掘、信息检索、计算机视觉、信号处理、智能控制等领域取得了丰硕的成果。由于核函数及其超参数的好坏直接影响核机器学习模型的性能，因此，有关核函数构造及超参数选择的研究已经成为大家关注的焦点；另外，随着数据规模的增长，核机器学习算法的计算复杂度也越来越高，因此大规模样本空间的核机器建模也成为一个亟待解决的问题。基于此，本文在核机器的研究方面主要做了如下工作：（1）提出了一种支持向量回归超参数选择的自适应混沌文化算法。该算法在文化算法的进化引导函数中引入自适应混沌变异策略，使知识引导个体能跳出局部较优解，在保证种群多样性的同时，实现进化后期的精细搜索。基于此，构建了一种二阶段学习算法实现支持向量回归的超参数选择。首先，根据各参数对支持向量回归模型性能的影响，确定超参数的求解空间；然后，应用自适应混沌文化算法实现支持向量回归的超参数选择，并以Mackey-Glass时间序列的预测作为研究实例，结果表明该算法能够实现最优超参数的求解。（2）通过研究核函数性质及其常见构造方法，利用核函数的局部特性和全局特性，给出了一种满足Mercer容许条件的集成核函数方法。在分析RBF核函数和多项式核函数性质的基础上，构建了一种兼具局部特性和全局特性的集成核函数，并通过引入调节参数，实现RBF核函数和多项式核函数对集成核函数的性能影响，从而将过程的先验知识融入到核函数的确定中，以适合不同的应用场合。分别对人工数据集、标准数据集和基准函数进行了集成核函数分类和回归性能测试，实验结果表明了该方法的有效性。（3）应用多模型的思想，建立了一种分布式多支持向量机的大规模样本核机器模型，即：将输入样本空间按照一定的原则划分为若干个子空间；然后分别在各子空间上建立核机器子模型；各子模型的输出再通过综合算法得到整个模型的输出。提出了分布式多支持向量机的空间划分算法和模型综合算法。通过对生产现场数据的处理，表明该模型可以很好地解决大规模样本空间的建模问题。在应用研究方面，充分利用上述核机器的研究结果，针对煤矿瓦斯安全问题，主要对煤与瓦斯突出预测、瓦斯浓度特性及预测、瓦斯关联分布等开展如下研究工作：（1）分析了煤与瓦斯突出机理及其影响因素，分别对实验室试验数据和生产现场的实际数据，建立了Fisher判别分析模型，实现了煤与瓦斯突出的危险性预报。并对线性Fisher判别分析、核Fisher判别分析以及特征标度-核Fisher判别分析进行了对比，应用留一误差和光滑留一误差分别实现核Fisher判别分析和II特征标度-核Fisher判别分析的模型选择。结果表明两个模型的识别率均为100%，说明煤与瓦斯突出数据具有非线性特征，也验证了核Fisher判别分析的强大非线性建模能力。（2）应用功率谱法、相图吸引子法和Wolf最大Lyapunov指数法从不同角度对煤矿瓦斯浓度信号进行了定性和定量分析，证明了煤矿瓦斯浓度信号的混沌特性。采用互信息法、最小伪近邻法确定相空间重构参数（时间延迟和嵌入维数），在重构相空间中分别建立了最大Lyapunov指数法预测模型和最小二乘支持向量机（LS-SVM）预测模型，实现了煤矿瓦斯浓度在时域上的短期预测，并进行了实验对比分析。（3）提出了基于灰色关联分析和核主元分析的煤矿瓦斯浓度关联分布模型，应用灰色关联分析方法，研究了同一工作面关键测点瓦斯浓度的影响因素关联分布模型；建立了多个瓦斯浓度信号的基于灰色关联分析和核主元分析的的空间关联模型，确定了瓦斯浓度信号的主要关联因素。基于此，在煤矿瓦斯浓度的关联空间上建立的LS-SVM预测模型，取得了较好的预测效果，能够实现煤矿瓦斯浓度的中、长期预测，为煤矿安全生产提供有力保障。关键词：核方法；支持向量机；文化算法；集成核函数；核Fisher判别分析；灰色关联分析；核主元分析；混沌时间序列；煤与瓦斯突出；瓦斯浓度IIIAbstractInrecentyears,kernelmachinelearninganditsapplicationshavebeeninvolvedinmanyfields,suchasdatamining,informationretrieval,computervision,signalprocessing,intelligentcontrolandsoon.Becausekernelfunctionsandtheirhyperparametersdirectlyinfluencetheperformanceofkernelmachinelearningmodels,theybecomethehotresearchproblem.Otherwise,alongwiththeincreasingscaleofdata,thecomputationalcomplexityofkernelmachinelearningmethodbecomeshigher.Sokernelmachinemodelingwithlargescalesamplespaceisanopenproblem.Basedonaboveall,followingresearchesaboutkernelmachinehavebeendoneinthepaper.(1)Aselectionstrategyforhyperparametersofsupportvectorregressionadoptingadaptivechaoticculturalalgorithmisproposed.Adaptivechaoticculturalalgorithmadoptsadaptivechaoticmutationinevolution-inducingfunctions,whichmakesindividualsescapingfromlocalbestsolutions.Thisalgorithmcanensurethediversityofpopulationandexploitationinthelatterevolution.Basedonthis,alearningalgorithmwithtwo-stageisconstructedtorealizetheselectionforparamet