机器学习-2015

机器学习华北电力大学计算机系华北电力大学2主要内容概述基于符号的机器学习神经网络学习华北电力大学3主要内容概述为什么研究机器学习学习的定义机器学习的定义、类型、任务、应用和发展史机器学习系统的定义、基本要求基于符号的机器学习神经网络学习华北电力大学4机器学习—概述机器学习（MachineLearning）是一门研究计算机如何模拟人类学习活动、自动获取知识的一门学科，是知识工程的三个分支之一，也是人工智能的个重要研究领域知识工程的三个分支获取知识表示知识使用知识华北电力大学5机器学习—概述为什么研究及其学习？必要性•当前AI研究的主要障碍和发展方向之一就是机器学习，现在的人工智能系统还完全没有或仅有很有限的学习能力–系统中的知识人工编程送入系统，有错误也不能自动改正–现有大多数人工智能是演绎的、没有归纳推理，不能自动获取和生成知识可行性•人工智能发展了很多年，也有一些成果，为机器学习研究提供了基础华北电力大学6机器学习—概述争论：机器的能力是否能超过人的能力？否定意见：机器是人造的，其性能和动作完全是由设计者来规定的，因此无论如何其能力也不会超过设计者本人肯定意见：对具备学习能力的机器而言，它的能力在应用中不断地提高，过一段时间以后，设计者本人也不知他的能力到了何种水平——这就是机器学习的不可预测问题华北电力大学7机器学习—概述机器学习的不可预测问题•如果用这种系统解决重要问题，可能产生意外困难或危险必须设计新的有自适应能力的系统：•用于安排测试过程来审查学习系统产生的知识•须具有与被监测系统相当的学习能力，才能跟随系统知识的变化，完成实时的检测•监测系统本身的变化如何了解、控制？华北电力大学8ThreelawsofRobotics(1)机器人行为准则•科幻小说家阿西莫夫在其机器人相关作品中提出第一法则：机器人不得伤害人类，或袖手旁观坐视人类受到伤害第二法则：除非违背第一法则，机器人必须服从人类的命令第三法则：在不违背第一及第二法则下，机器人必须保护自己华北电力大学9ThreelawsofRobotics(2)三大法则扩张为四大法则•1985年，《机器人与帝国》，阿西莫夫第零法则：机器人不得伤害人类整体，或袖手旁观坐视人类整体受到伤害第一法则：除非违背第零法则，机器人不得伤害人类，或袖手旁观坐视人类受到伤害第二法则：除非违背第零或第一法则，机器人必须服从人类的命令第三法则：在不违背第零至第二法则下，机器人必须保护自己华北电力大学10ThreelawsofRobotics(3)罗杰·克拉克添加了以下的定律：元定律：机器人可以什么也不做，除非它的行动符合机器人学定律。此定律置于第零、第一、第二、第三定律之前第四定律：机器人必须履行内置程序所赋予的责任，除非这与其他高阶的定律冲突繁殖定律：机器人不得参与机器人的设计和制造，除非新的机器人的行动服从机器人学定律华北电力大学11ThreelawsofRobotics(4)三定律具有一定的现实意义在三定律基础上建立新兴学科“机械伦理学”旨在研究人类和机械之间的关系三定律在现实机器人工业中没有应用，但目前很多人工智能和机器人领域的技术专家也认同这个准则华北电力大学12机器学习—概述机器学习一直是AI研究的瓶颈之一，表现在：预测难：学习后知识库发生了什么变化，系统功能变化的预测困难归纳推理：•现有的归纳推理只保证假，不保证真。演绎推理保真•归纳的结论是无限多的，其中相当多是假的，给生成的知识带来不可靠性机器目前很难观察什么重要、什么有意义华北电力大学13机器学习—概述—学习的定义什么是学习？Simon（1983）：学习就是系统在不断重复的工作中对本身能力的增强或者改进，使得系统在下一次执行同样任务或相类似的任务时，会比现在做得更好或效率更高Minsky(1985)：学习是在我们头脑中（心里内部）进行有用的变化Michalski(1986)：学习是对经历描述的建立和修改。这些观点不尽相同，但都包含了两个方面•知识获取：指获得知识、积累经验、发现规律等•能力改善：改进性能、适应环境、实现自我完善等--骑车•知识获取是学习的核心，能力改善是学习的结果学习的一般性解释：•学习是一个有特定目的的知识获取和能力增长过程，其内在行为是获得知识、积累经验、发现规律等，其外部表现是改进性能、适应环境、实现自我完善等华北电力大学14机器学习—概述—机器学习的定义什么是机器学习？一般性解释•机器学习就是让机器（计算机）来模拟和实现人类的学习功能学科性解释•是一门研究如何利用机器模拟或实现人类学习功能的学科主要研究内容•认知模拟:通过对人类学习机理的研究和模拟，从根本上解决机器学习方面存在的种种问题•理论性分析:从理论上探索各种可能的学习方法，并建立起独立于具体应用领域的学习算法•面向任务的研究:根据特定任务的要求，建立相应的学习系统华北电力大学15机器学习—概述—机器学习的任务机器学习的任务主要包括以下两个方面：获得对于输入的数据进行分类能力•如医疗诊断，信用卡业务或交易，投资，DNA序列，口语，手写字，天文图象等等获得解决问题，行为计划和行为控制等的能力•如解决微分问题，下跳棋，象棋，平衡杠杆，驾车等等华北电力大学16机器学习—概述对系统学习性能进行评价的指标：分类精度：是否能够对输入的数据进行正确、精确的分类解答的正确性和质量：•对用于分类和解决问题的系统都有解答正确性问题；同时正确性不一定保证有好的质量•好的质量包括：可读性、稳定性等多方面的因素学习的速度：•它不仅仅影响系统的设计，还影响系统的实现华北电力大学17按机器学习的研究途径和研究目标，机器学习划分为以下4个阶段：(1)神经元模型研究20世纪50年代中期到60年代初期，也被称为机器学习的热烈时期，最具有代表性的工作是罗森勃拉特1957年提出的感知器模型(2)符号概念获取20世纪60年代中期到70年代初期。其主要研究目标是模拟人类的概念学习过程。这一阶段神经学习落入低谷，称为机器学习的冷静时期(3)知识强化学习20世纪70年代中期到80年代初期。人们开始把机器学习与各种实际应用相结合，尤其是专家系统在知识获取方面的需求，也有人称这一阶段为机器学习的复兴时期(4)联结学习和混合型学习20世纪80年代中期至今。把符号学习和连接学习结合起来的混合型学习系统研究已成为机器学习研究的一个新的热点机器学习—概述—发展史华北电力大学18机器学习—概述—应用天气预报搜索引擎机器学习技术支撑各类搜索引擎技术汽车的自动驾驶•汽车在复杂道路行驶时，自动行驶可大大减少交通事故的发生天文数据的分析生物技术蛋白质片段预测，基因表达分析计算机系统特性预测银行信用卡欺诈行为识别华北电力大学19机器学习—概述—应用字符识别手写字识别、车牌号码识别Web应用网络安全-----入侵检测利用这些数据建立一个把正常访问模式和入侵模式分开的模型通过检查服务器日志等手段收集大量的网络访问数据，这些数据包含正常访问模式和入侵模式接收到新访问模式时，利用这个模型判断这个模式是正常还是入侵模式，甚至判断是何种类型的入侵华北电力大学20机器学习—概述—应用美国航空航天局JPL实验室的科学家在《Science》(2001年9月)上撰文指出：机器学习对科学研究的整个过程正起到越来越大的支持作用，……，该领域在今后的若干年内将取得稳定而快速的发展。NASA-JPL实验室的全名是美国航空航天局喷气推进实验室，位于加州理工学院，是美国尖端技术的一个重要基地，著名的“勇气”号和“机遇”号火星机器人正是在这个实验室完成的。从目前公开的信息来看，机器学习和数据挖掘技术在这两个火星机器人上有大量的应用。华北电力大学21机器学习—概述—应用DARPA（国防部先进研究计划局），2003年开始启动以机器学习为核心的计划PAL(PerceptiveAssistantthatLearns)。5年期，首期(1-1.5年)投资2900万美元。包含2个子计划：其中，CALO子计划是整个PAL计划的核心(2200万)，将机器学习技术放到了国家安全的角度来考虑。美国主要大学与公司参加这个子计划。2004年3月，美国DARPA组织自动驾驶车辆竞赛，斯坦福大学的参赛车在完全无人控制的情况下，成功地在6小时53分钟内走完了132英里（约212公里）的路程，获得了冠军。比赛路段是在内华达州西南部的山区和沙漠中，路况相当复杂，即使有丰富驾驶经验的司机，在这样的路段上行车也是一个巨大的挑战。斯坦福大学参赛队正是由一位机器学习专家所领导的，获胜车辆也大量使用了机器学习和数据挖掘技术。华北电力大学22机器学习—概述—机器学习系统萨利斯(Saris)1973年的解释：如果一个系统能够从某个过程和环境的未知特征中学到有关信息，并且能把学到的信息用于未来的估计、分类、决策和控制，以便改进系统的性能，那么它就是学习系统史密斯(Smith)1977年给出的解释：如果一个系统在与环境相互作用时，能利用过去与环境作用时得到的信息，并提高其性能，那么这样的系统就是学习系统按机器学习系统的含义是指能够在一定程度上实现机器学习系统。机器学习系统的典型定义华北电力大学23机器学习—概述—机器学习系统机器学习系统的基本要求(1)具有适当的学习环境所谓学习系统的环境，是指学习系统进行学习时的信息来源。(2)具有一定的学习能力环境仅是为学习系统提供了相应的信息和条件，要从中学到知识，还必须有适当的学习方法和一定的学习能力。(3)够运用所学知识求解问题学以致用，对人这样，对学习系统也是如此。(4)通过学习提高自身性能提高自身性能，是学习系统应该达到的最终目标。华北电力大学24机器学习—概述—机器学习的类型按学习策略分类（按学习中使用的推理方法分类）记忆学习传授学习演绎学习归纳学习……按应用领域分类专家系统学习机器人学习自然语言理解学习……按对人类学习的模拟方式符号主义学习•典型方法有记忆学习、示例学习、演绎学习、类比学习、解释学习等连接主义学习……华北电力大学25主要内容概述基于符号的机器学习神经网络学习华北电力大学26主要内容概述基于符号的机器学习符号学习系统的基本模型记忆学习示例学习决策树学习神经网络学习华北电力大学27主要内容概述基于符号的机器学习符号学习系统的基本模型记忆学习示例学习决策树学习神经网络学习华北电力大学28基于符号的机器学习符号学习模拟人脑的宏观心理级学习过程,以认知心理学原理为基础,以符号数据为输入,以符号运算为方法,用推理过程在图或状态空间中搜索,学习的目标为概念或规则等典型方法有记忆学习、示例学习、演绎学习、类比学习、解释学习等华北电力大学29符号学习系统的基本模型环境学习环节知识库执行环节环境是学习系统所感知到的外界信息集合，也是学习系统的外界来源。信息的水平（一般化程度）和质量（正确性）对学习系统影响较大学习环节对环境提供的信息进行整理、分析归纳或类比，形成知识，并将其放入知识库知识库存储经过加工后的信息（即知识）。其表示形式是否合适非常重要执行环节根据知识库去执行一系列任务，并将执行结果或执行过程中获得的信息反馈给学习环节。学习环节再利用反馈信息对知识进行评价，进一步改善执行环节的行为华北电力大学30主要内容概述基于符号的机器学习符号学习系统的基本模型记忆学习示例学习决策树学习神经网络学习华北电力大学31记忆学习也叫死记硬背学习，其基本过程是每当系统解决一个问题时，系统就记住这个问题和它的解，当以后再遇到此类问题时，不必重新计算，直接找出原来的解即可。记忆学习的基本模型如下：(x1,x2,…,xn)(y1,y2,…,yn)[(x1,x2,…,xn),(y1,y2,…,yn)]f存储输入模式执行函数输出模式输入输出模式对执行函数f是记忆学习系统的核心，若将由环境得到的输入模式记为(x1,x2,…,xn)，f