人工智能 第5章 机器学习

第5章机器学习2020/3/3《人工智能》2学习能力是人类智能的根本特征。人类通过学习来提高和改进自己的能力。学习的基本机制是把一种情况下成功的表现行为转移到另一种类似的新情况中。人的认识能力和智慧才能就是在毕生的学习中逐步形成、发展和完善。任何自然的智能系统都具备学习的能力。机器学习是继专家系统之后人工智能应用的又一重要研究领域。本章主要介绍机器学习的有关知识及其主要的几种学习方法。2020/3/3《人工智能》35.1机器学习概述5.2机械学习5.3归纳学习5.4类比学习5.5解释学习5.6强化学习5.7知识发现本章主要内容：2020/3/3《人工智能》45.1机器学习概述什么是学习？学习是人类具有的一种重要智能行为，但究竟什么是学习，长期以来却众说纷纭。关于“学习”这一概念的主要观点：学习是系统改进其性能的过程。这是西蒙的观点。西蒙的观点：学习就是系统在不断重复的工作中对本身能力的增强或者改进，使得系统在下一次执行同样任务或类似任务时，会比现在做得更好或效率更高。学习是获取知识的过程。这是从事专家系统研究的人们的观点。学习是技能的获取。这是心理学家的观点。学习是事物规律的发现过程。2020/3/3《人工智能》5基本的学习形式有2种：（1）知识获取和技能求精。例如，我们说某人学过物理。我们的意思是，此人已经掌握了有关物理学的基本概念，并且理解其含义，同时还懂得这些概念之间以及它们与物理世界之间的关系。一般地，知识获取可看作学习新的符号信息，而这些符号信息是以有效方式与应用这种信息的能力相适应的。（2）第二类学习形式是通过实践逐步改进机制和认知技能。学习的很多过程都是由改进所学的技能组成。这些技能包括意识的或者机制的协调，而这种改进又是通过反复实践和从失败的行为中纠正偏差来进行的。例如骑自行车或弹钢琴等等。知识获取的本质可能是一个自觉的过程，其结果产生新的符号知识结构和智力模型。而技能求精则是下意识地借助于反复实践来实现的。人类的学习一般表现为这两种活动的结合。2020/3/3《人工智能》65.1.1机器学习的定义至今，还没有统一的“机器学习”定义，而且也很难给出一个公认的和准确的定义。一般认为机器学习是研究如何使用机器来模拟人类学习活动的一门学科。更为严格的提法是：机器学习是一门研究机器获取新知识和新技能，并识别现有知识的学问。最早的具有学习能力的程序：1959年美国的塞缪尔(Samuel)设计了一个下棋程序，这个程序具有学习能力，它可以在不断的对奕中改善自己的棋艺。4年后，这个程序战胜了设计者本人。又过了3年，这个程序战胜了美国一个保持8年之久的常胜不败的冠军。2020/3/3《人工智能》75.1.2机器学习的发展史机器学习的发展过程大体上可分为4个时期：1、第一阶段是在50年代中叶到60年代中叶，属于热烈时期。在这个时期，所研究的是“没有知识”的学习，即“无知”学习；其研究目标是各类自组织系统和自适应系统；指导本阶段研究的理论基础是早在40年代就开始研究的神经网络模型。在这个时期，我国研制了数字识别学习机。2、第二阶段在60年代中叶至70年代中叶，被称为机器学习的冷静时期。本阶段的研究目标是模拟人类的概念学习过程，并采用逻辑结构或图结构作为机器内部描述。这个时期正是我国“史无前例”的十年，对机器学习的研究不可能取得实质进展。2020/3/3《人工智能》85.1.2机器学习的发展史（2）3、第三阶段从70年代中叶至80年代中叶，称为复兴时期。在这个时期，人们从学习单个概念扩展到学习多个概念，探索不同的学习策略和各种学习方法。1980年,在美国召开了第一届国际机器学习研讨会;1984年,《机器学习》杂志问世。我国于1987年召开了第一届全国机器学习研讨会;1989年成立了以中国科技大学蔡庆生教授为理事长的理事会。4、机器学习的最新阶段始于1986年。一方面，由于神经网络研究的重新兴起，另一方面，对实验研究和应用研究得到前所未有的重视。我国的机器学习研究开始进入稳步发展和逐渐繁荣的新时期。2020/3/3《人工智能》9机器学习、知识发现与数据挖掘知识发现(KnowledgeDiscoveringinDatabase)与数据挖掘(DataMining)是人工智能、机器学习(MachineLearning)与数据库技术相结合的产物。KDD一词是在1989年于美国底特律市召开的第一届KDD国际学术会议上正式形成的。1995年，在加拿大召开了第一届知识发现和数据挖掘国际学术会议。由于数据库中的数据被形象地喻为矿床，因此数据挖掘一词很快流传开来。数据挖掘和知识发现的研究已形成热潮，并在生物医学、金融管理、商业销售等领域得到成功应用，给机器学习注入新的活力。2020/3/3《人工智能》105.1.3机器学习系统的基本结构环境是指系统外部信息的来源，它可以是系统的工作对象，也可以包括工作对象和外界条件。学习单元处理环境提供的信息，相当于各种学习算法。学习单元利用环境提供的信息，并与执行单元的反馈信息进行比较，获取相关知识，对知识库进行修改。知识库用于存放由学习环节所得到的知识。知识库中知识的表示方法可以是：谓词、产生式、特征向量、神经网络等。执行单元处理系统所面临的现实问题，即应用知识库中的知识求解问题。机器学习系统的基本结构如图2020/3/3《人工智能》11影响学习系统设计的重要因素(1)影响学习系统设计的最重要的因素是环境向系统提供的信息。更具体地说是信息的质量。(2)知识库是影响学习系统设计的第二个因素。知识的表示有多种形式，在选择时要兼顾以下4个方面：表达能力强。所选择的表示方式能很容易地表达有关的知识。易于推理。为了使学习系统的计算代价比较低，希望知识表示方式能使推理较为容易。容易修改知识库。学习系统的本质要求它不断地修改自己的知识库，当推广得出一般执行规则后，要加到知识库中。知识表示易于扩展。每一个学习系统都要求具有某些知识理解环境提供的信息，分析比较，做出假设，检验并修改这些假设。因此，更确切地说，学习系统是对现有知识的扩展和改进。2020/3/3《人工智能》125.1.4机器学习的分类按学习方法分类（温斯顿在1977年提出的分类方法）①机械式学习：机械学习就是记忆。②指导式学习：采用示教式学习策略，也称为示教学习。③示例学习：通过工作例子学习。④类比学习：应用类似任务的知识求解当前问题。⑤解释学习：根据领域知识对当前实例分析和求解。按学习的综合属性分类（综合考虑知识表示、推理方法、应用领域等多种因素）：①归纳学习：从个体的特征归纳出它们的共性②分析学习：从领域理论出发演绎出更有效的规则。③连接学习：人工神经网络学习④遗传学习：模拟自然界遗传与变异机制2020/3/3《人工智能》135.2机械学习机械学习的模式机械学习是最简单的机器学习方法。机械学习就是记忆，即把新的知识存储起来，供需要时检索调用，而不需要计算和推理。机械学习又是最基本的学习过程。任何学习系统都必须记住它们获取的知识。在机械学习系统中，知识的获取是以较为稳定和直接的方式进行的，不需要系统进行过多的加工。(X1,X2,…,Xn)(Y1,Y2,…,Yn)f((X1,X2,…,Xn),(Y1,Y2,…,Yn))存储2020/3/3《人工智能》14数据化简Lenat,HayesRoth，和Klahr等人于1979年关于机械学习提出一种有趣的观点。他们指出，可以把机械学习看成是数据化简分级中的第一级。数据化简与计算机语言编译类似；其目的是把原始信息变成可执行的信息。在机械学习中我们只记忆计算的输入输出，忽略了计算过程，这样就把计算问题化简成存取问题。2020/3/3《人工智能》15机械学习的主要问题对于机械学习，需要注意3个重要的问题：存储组织，稳定性和存储与计算之间的权衡。（1）存储组织信息：采用适当的存储方式，使检索速度尽可能地快，是机械学习中的重要问题。（2）环境的稳定性与存储信息的适用性问题：机械学习系统必须保证所保存的信息适应于外界环境变化的需要，这也就是所谓的信息适用性问题。（3）存储与计算之间的权衡：对于机械学习来说很重要的一点是它不能降低系统的效率。2020/3/3《人工智能》165.3归纳学习归纳学习是目前研究得最多的学习方法，其学习目的是为了获得新的概念、构造新的规则或发现新的理论。这种方法对领域理论没有要求，甚至可以没有领域理论，但其需要大量的训练例子，而且归纳性能受到描述语言、概念类型、信噪比、实例空间分布、归纳模式等的影响。（1）归纳（induction）是人类拓展认识能力的重要方法，是一种从个别到一般的，从部分到整体的推理行为。（2）归纳推理是应用归纳方法，从足够多的具体事例中归纳出一般性知识，提取事物的一般规律；它是一种从个别到一般的推理。（3）归纳学习（inductionlearning）是应用归纳推理进行学习的一种方法。根据归纳学习有无教师指导，可把它分为示例学习和观察与发现学习。前者属于有师学习，后者属于无师学习。2020/3/3《人工智能》175.3.1归纳学习的模式和规则归纳学习的模式给定：(1)观察陈述（事实）F，用以表示有关某些对象、状态、过程等的特定知识；(2)假定的初始归纳断言（可能为空），是关于目标的泛化项或泛化描述。(3)背景知识，用于定义有关观察陈述、候选归纳断言以及任何相关问题领域知识、假设和约束，其中包括能够刻画所求归纳断言的性质的优先准则。求：归纳断言（假设）H，能重言蕴涵或弱蕴涵观察陈述，并满足背景知识。2020/3/3《人工智能》18假设H永真蕴涵事实F，说明F是H的逻辑推理，则有：H|F（读作H特殊化为F）或F|H（读作F一般化或消解为H）这里，从H推导F是演绎推理，因此是保真的；而从事实F推导出假设H是归纳推理，因此不是保真的。归纳学习系统的模型如图所示。2020/3/3《人工智能》19归纳概括规则设CTX表示任一描述，K表示结论，则有下列几条常用的选择性概括规则：(1)取消部分条件：设S是对事例的一种限制，这种限制可能不必要，因此可以去除。即：CTX∧S→K=CTX→K(2)放松条件：一个事例的原因可能不止一条，当出现新的原因时，应该把新的原因包含进去。CTX1→K=(CTX1∨CTX2)→K2020/3/3《人工智能》20(3)沿概念树上溯：设L是一结构性描述项，S代表所有条件中的L值在概念分层树上最近的共同祖先，则：KSLCTXKiLCTXKbLCTXKaLCTX][][][][(4)形成闭合区域：设L是一个具有显性关系的描述项，a,b是它的特殊值，则：KbaLCTXKbLCTXKaLCTX])..[(][][(5)将常量转化成变量：KxIFxBFxAFKZIFZBFZAF),(),(),(),(),(),(2020/3/3《人工智能》215.3.2归纳学习方法1、示例学习示例学习（learningfromexamples）又称为实例学习，它是通过环境中若干与某概念有关的例子，经归纳得出一般性概念的一种学习方法。在这种学习方法中，外部环境提供的是一组例子（正例和反例），示例学习就是要从这些特殊知识中归纳出适用于更大范围的一般性知识，以覆盖所有的正例并排除所有反例。2、观察发现学习观察发现学习又称为描述性概括，其目标是确定一个定律或理论的一般性描述，刻画观察集，指定某类对象的性质。观察发现学习可分为观察学习与机器发现两种。前者用于对事例进行聚类，形成概念描述；后者用于发现规律，产生定律或规则。2020/3/3《人工智能》225.3.3归纳学习示例--决策树学习决策树学习是应用最广的归纳推理算法之一。它是一种逼近离散值函数的方法。在这种方法中学习到的函数被表示为一颗决策树。学习得到的决策树也能再被表示为多个if-then规则，以提高可读性。决策树学习方法对噪声数据有很好的健壮性且能够学习析取表达式。决策树学习算法有很多，比如ID3