华工机器学习-导论

1机器学习概论AnIntroductiontoMachineLearning金连文张鑫[e-mail],[e-mail]机器学习及应用MachineLearning&ItsApplication2Outline什么是机器学习机器学习的研究内容及研究价值几个典型的机器学习示例课程安排（教材，参考书等）相关国际著名学术会议及期刊、学术资源机器学习的发展简史3一、什么是机器学习4学习的概念什么是学习？通过观察、阅读、听讲、研究、实践等获得知识或技能的过程。----《汉语词典》“学”和“习”“学”就是闻、见，是获得知识、技能。“习”是巩固知识、技能，一般有三种含义：温习、实习、练习，有时还包括行的含义在内。“学”偏重于思想意识的理论领域，“习”偏重于行动实习的实践方面。学习就是获得知识，形成技能，培养聪明才智的过程。实质上就是学、思、习、行的总称。----百度知道5学习的概念学习是一种既古老而又永恒的现象。不同的学习观：“学习是指人和动物在生活过程中获得个体行为经验的过程。”“学习是学习者吸取信息并输出信息，通过反馈与评价得知正确与否的整体过程。”“人的学习是个体掌握人类社会经验的过程”“学习是通过由经验产生的个体行为的适应性变化而表现出来的过程。”子曰：“学而时习之,不亦说(yuè)乎?”6学习与智能学习现象语言、文字的认知识别图像、场景、自然物体的认知识别规则（eg下雨天要带雨伞）复杂的推理、判断能力（智能）好人与坏人？好猫与坏猫？数据知识•认知•推理•决策•识别学习7什么是机器学习？使得计算机具备和人类一样的学习能力决策推理认知识别……等智能给定数据（样本、实例）和一定的学习规则，从数据中获取知识的能力8机器学习与人工智能自然智慧的伟大与奥妙举例：婴儿的认知能力（声音、人脸、汽车…）重要的二个特点：容错性，推广能力（举一反三）机器智能：希望用机器实现部分智能基于数据的机器学习问题（引自清华张学工教授讲义）根据已知样本估计数据之间的依赖关系，从而对未知或无法测量的数据进行预测和判断关键：推广能力“Oneyear’sresearchinartificialintelligenesenoughforonetobelieveinGod”----citedfrom?9什么是机器学习中科院王珏（jué）研究员给出的定义：令W是给定世界的有限或无限所有观测对象的集合，由于我们的观测能力有限，我们只能获得这个世界的一个子集，称为样本集。机器学习就是根据这个样本集，推算这个世界W的模型，使它对这个世界（尽可能地）为真。三个重要的理论问题：一致：W与Q有相同的性质。eg.i.i.d划分：设样本定义于d维空间，要寻找在这个空间上的决策分界面泛化：（推广能力）：对未知样本的判断能力WQ10What’sistheLearningProblem?Learning=ImprovingwithexperienceatsometaskImproveovertaskTWithrespecttoperformancemeasurementPBasedonexperienceEExample:中国象棋任务T：下中国象棋性能目标P：比赛中击败对手（的百分比）训练经验E：和自己进行对弈，或者看棋谱Ref：《机器学习》（曾华军等译）11AAAI给的定义Machinelearningreferstoasystemcapableoftheautonomousacquisitionandintegrationofknowledge.Thiscapacitytolearnfromexperience,analyticalobservation,andothermeans,resultsinasystemthatcancontinuouslyself-improveandtherebyofferincreasedefficiencyandeffectiveness.摘自：引用自CMUDr.EricXing的LectureNotes13机器学习（ML）与模式识别（PR）MLhasoriginsinComputerSciencePRhasoriginsinEngineering某种意义上看：Theyaredifferentfacetsofthesamefield14机器学习（ML）与人工智能（AI）任何一个没有学习能力的系统都很难被认为是一个真正的智能系统15二、机器学习的研究意义及主要研究内容16机器学习的重要性！《Science》2001年论文：…每个科学领域的科学过程都有它自己的特点，但是，观察、创立假设、根据决定性实验或观察的检验、可理解检验的模型或理论，是各个学科所共有的。对这个抽象的科学过程的每一个环节，机器学习都有相应的发展，我们相信它将导致科学方法中从假设生成、模型构造到决定性实验这些所有环节的合适的、部分的自动化。当前机器学习研究在一些基本论题上取得令人印象深刻的进展，我们预期机器学习研究在今后若干年中将有稳定的进展！”在稍早前，2000年《Science》还发表了另外3篇ML方面的论文“TheManifoldWayofPerceptron”,“Aglobalgeometricframeworkfornonlineardimensionalityreduction”,”Nonlineardimensionalityreductionbylocally…”Mjolsness,DDeCoste,MachineLearningforScience:StateoftheArtandFutureProspects-Science,2001:2051-2055.受到令人惊讶的重视！17机器学习的重要性摘自南京大学周志华教授PPT18研究意义如果我们能发现有效的机器学习方法，利用它可以将观察数据（现象）转换为模型，这将一劳永逸的解决信息有效利用的难题！网络数据金融数据生物数据气象数据地震观察数据自然物体分类识别数据…从而实现真正意义上的机器智能（电脑）19机器学习（ML）的目的Principledwayofbuildinghighperformanceinformationprocessingsystemssearchengines,adaptiveuserinterfaces,personalizedassistants,webbots,andscientificapplicationsfrommedicalrecords:treatmentsmosteffectiveHowtoconstructcomputerprogramsthatautomaticallyimprovewithexperience–houseslearntooptimizeenergycosts–computergamesProgrammingtasksthathumansperformwellbutdifficulttospecifyalgorithmically–LanguageRelatedTechnologies•IR,NLP,DAR,ASRChrisBishop,PatternRecognitionandMachineLearning,2007,Springer22相关学科对ML的影响人工智能：学习的概念符号表示Bayes方法统计学：统计学习理论(SLT)计算复杂性理论控制论信息论：最小描述长度哲学：“Occam’sRazor原则”，“没有免费午餐”心理学和神经生物学：NeuralNetworks（神经网络）23机器学习所要解决的一些典型问题存在什么样的算法能从特定的训练数据学习出一般的目标函数（决策规则）？那种训练数据是充足的？如何保证学习的泛化（推广）能力？如何引入先验知识？怎样把学习任务简化为一个或多个函数逼近问题？学习过程能自动化吗？学习机能自动改变来提高表示和学习目标函数的能力？24机器学习目前主要的一些研究领域符号机器学习Eg.决策树，ID3，…计算学习理论（统计学习理论）PAC，SVM监督学习，非监督学习，半监督学习集群机器学习EnsembleLearning，Boosting流行（Manifold）学习强化学习Ranking学习聚类学习…26三、一些典型的机器学习问题举例27例子(1)：网络安全摘自南京大学周志华教授PPT28例子(2)：生物信息学（BioInformatics）摘自南京大学周志华教授PPT29例子(3)：搜索引擎摘自南京大学周志华教授PPT30例子（4）、机器人自动驾驶学习31Ref：《机器学习》（曾华军等译）32例子（5）：手写字符识别手写数字样本示例3334More例子引用自CMUDr.EricXing的LectureNotes35上述问题的ML解决方案36ML小结37课程安排四、课程安排38教学队伍主讲：金连文博士,教授Email:[e-mail]Web:张鑫博士，讲师Email:[e-mail]39课程考核方式小组课堂演讲：40%平时课堂讨论：10%期末报告：50%课程目标及安排课程目标对机器学习的基本概念有较好的了解和理解培养针对特定问题的学习、归纳和总结的能力锻炼团队合作精神和口头表达能力课程安排教师主讲3次机器学习的基本概念及典型方法学生分组介绍8-9个机器学习的基本模型及其应用期末提交大作业（含文档、程序、论文）40建议分组题目1.LinearModelforRegressionandClassification（基于线性模型的拟合及分类）2.NeuralNetwork（神经网络）3.DecisionTree（决策树）4.SupportVectorMachine（支持向量机）5.Expectation-Maximization(EM)Algorithm（最大期望算法（EM）算法）6.HiddenMarkovModel（隐马尔科夫模型）7.ClusteringAlgorithms(k-means,Fuzzy-c,GaussianMixturemodel)（聚类算法）8.AdaBoostAlgorithm（提升算法）9.ConditionalRandomField(CRM)（条件随机场）10.Kernel-basedModel（核函数）11.ProbabilityGraphicModel（概率图模型）41建议演讲提纲基本概念以及数学定义基本性质及其物理意义具体算法应用（详细举例讲解）该算法与其他类似算法的分析比较可能的发展方向参考文献4243五、学术资源44教材及主要参考书教材：ChrisBishop,《PatternRecognitionandMachineLearning》,Springer2006.美汤姆.米歇尔著，曾华军等译《机器学习》，机械工业出版社，2003.主要参考书：R.O.Duda,P.E.Hart,D.G.Stork,《模式分类》（第2版），机械工业出版社，2007.I.H.Witten,E.Frank,《数据挖掘—实用机器学习技术》，机械工业出版社，2006李航，《统计学习方法》，清华大学出版社，201245学术期刊及国际会议摘自南京大学周志华教授PPT46一些网络资源(1)AAAIMachineLearningTo