人工智能PPT chapter5_1

第五章知识学习内容提要：知识学习概念、原理及分类神经网络学习神经网络模型知识发现与Agent技术人工智能及其应用1知识学习概述知识学习原理知识学习策略人工智能及其应用25.1知识学习概念、原理及分类5.1.1知识学习概述人工智能及其应用3学习是人们习以为常的一个概念，但究竟什么是学习，至今仍无一个统一的定义。香农、奥斯古德、蔡普金、西蒙、维纳、明斯基的定义。第一，学习是一种综合性的心理活动；第二，学习是一种具有多侧面的现象；第三，从事学习研究的学者多来自不同的学科。结论：学习的定义:有明确目的的知识获取过程；内在行为：获取知识、积累经验、发现规律；外在表现：系统性能得到改进、系统实现自我优化、自适应环境。知识学习的形式：机器学习5.1.1知识学习概述•机器学习的定义是一门研究怎样用计算机来模拟或实现人类学习活动的学科。它是人工智能中最具有智能特征的前沿研究领域之一。机器学习(这里指符号学习)是靠学习程序(或称为学习系统)实现的。学习程序的输入是数据、事实等各种各样的信息，输出则是知识，即概念、规则(规律)等。•机器获得知识的途径:人们把有关知识归纳、整理在一起，并以机器可接受的、可处理的方式存储。使机器具有学习能力，可以向书本、教师学习，也可在实践中学习，实现自我完善。人工智能及其应用45.1.1知识学习概述人工智能及其应用5研究知识学习的目标：构建人类学习过程的认知模型设计通用学习算法构造面向任务的专用学习系统不同阶段的研究内容:神经元模型和决策理论符号概念获取知识增强和论域专用学习连接学习1、神经元模型研究：这一阶段开始于20世纪50年代中期，所研究的是“没有知识”的学习。其主要研究目标是各种自组织系统和自适应系统；所基于的基本思想是；如果给系统一组刺激，一个反馈源，以及修改自身的足够自由度，那么系统将能自适应地趋向最优组织；所采用的主要研究方法是不断修改系统的控制参数，以改进系统的执行能力，而不涉及与具体任务有关的知识；所依据的主要理论基础是20世纪40年代开始研究的神经元网络模型。这一阶段最具有代表性的工作是罗森勃拉特(F.Rosenblatt)1957年提出的感知机模型，它由阈值性神经元组成，试图模拟人脑的感知及学习能力。但遗憾的是，大多数想产生某些复杂智能系统的企图都失败了。人工智能及其应用65.1.1知识学习概述不过，这一阶段的研究工作导致了模式识别这个新兴学科的诞生和判别函数法这种重要机器学习方法的产生。塞缪尔的下棋程序就是使用判别法的典型例子。该程序具有一定的自学习、自组织、自适应能力，能够根据下棋时的实际情况决定走步策略。不过，这种脱离知识的感知模型学习系统具有很大的局限性，远不能满足人们对机器学习系统的期望。也有人把这一阶段称为机器学习的热烈时期。人工智能及其应用75.1.1知识学习概述2、符号概念获取：•这一阶段开始于20世纪60年代中期。符号概念获取的主要研究目标是模拟人类的概念学习过程。其学习过程是通过分析一些概念的正例和反例构造出这些概念的符号表示。概念的符号表示一般采用逻辑表达式、决策树、产生式规则或语义网络等形式。•这一阶段的代表性工作有温斯顿的结构学习系统和海斯-罗思(Hayes－Roth)等人的基于逻辑的归纳学习系统。虽然这类学习系统取得了较大的成功，但它们只能学习单一概念，且未能投人实际应用。再加上神经元模型研究的低落，使得不少人对机器学习感到失望，因此也有人把这一阶段称为机器学习的冷静时期。人工智能及其应用85.1.1知识学习概述3、知识强化学习：这一阶段开始于20世纪70年代中期。其主要特点有以下几个方面:•第一，人们开始从学习单个概念的研究扩展到学习多个概念的研究；•第二，各种机器学习过程一般都建立在大规模知识库的基础上，实现知识的强化学习；•第三，开始把机器学习与各种实际应用相结合，尤其是专家系统在知识获取方面的需求，极大地刺激了机器学习的研究和发展，示例归纳学习系统是当时的研究主流，自动知识获取是当时的应用研究目标。人工智能及其应用95.1.1知识学习概述4、连接学习和混合型学习：•这一阶段开始于20世纪80年代中期。在此之前的十多年中，虽然神经元模型研究落入了低潮，但仍有一部分学者在潜心研究。在他们的艰苦努力下，终于克服了神经元模型的局限性，提出了多层网络的学习算法，再加上超导技术、生物技术、光学技术等的发展与支持，神经元网络研究又在一个新的起点上再度兴起，从而使机器学习进人了连接学习的研究阶段。•连接学习是一种以非线性、大规模并行处理为主流的神经网络研究，这一研究目前还方兴未艾，并向传统的符号学习提出了挑战。人工智能及其应用105.1.1知识学习概述人工智能及其应用115.1.2知识学习原理1、什么是学习系统所谓学习系统是指能够在一定程度上实现机器学习的系统。1973年萨利斯(Saris)曾对学习系统给过如下定义:如果一个系统能够从某个过程和环境的未知特征中学到有关信息，并且能把学到的信息用于未来的估计、分类、决策和控制，以便改进系统的性能，那么它就是学习系统。1977年史密斯(Smith)又给出了一个类似的定义:如果一个系统在与环境相互作用时，能利用过去与环境作用时得到的信息，并提高其性能，那么这样的系统就是学习系统。2、学习系统的特征学习系统通常应具备以下4个方面的特征。(1)目的性系统的学习行为应该有高度的目的性，即系统必须知道它要学习什么。(2)结构性系统必须具备适当的结构来记忆已经学到的知识，即能够对知识表示和知识组织形式进行修改和完善。(3)有效性系统学到的新知识必须有益于改善系统的行为。(4)开放性系统的能力应该能够在其实际使用过程或同环境的交互过程中不断进化。人工智能及其应用125.1.2知识学习原理3、学习系统的基本要求•(1)具有适当的学习环境：所谓学习系统的环境，是指学习系统进行学习时的信息来源。•(2)具有一定的学习能力：环境仅是为学习系统提供了相应的信息和条件，要从中学到知识，还必须具有适当的学习方法和一定的学习能力。•(3)能够运用所学知识求解问题：学以致用，对人这样，对学习系统也是如此。•(4)能通过学习提高自身性能：提高自身性能，是学习系统应该达到的最终目标。也就是说，一个学习系统应该能够通过学习增长知识、提高技能、改进性能，使自己能做一些原来不能做的工作，或者可以把原来能做的工作做得更好。人工智能及其应用135.1.2知识学习原理4、知识学习系统模型：•如图所示。其中，环境是以某种形式表达的外界信息集合，它代表外界信息来源；学习环节是将外界信息加工为知识的过程，先从环境获取外部信息，然后对这些信息进行分析、综合、类比、归纳等加工形成知识，并把这些知识放人知识库中；知识库是以某种形式表示的知识集合，用来存放学习环节所得到的知识；执行环节是利用知识库中的知识完成某种任务的过程，并把完成任务过程中所获得的一些信息反馈给学习环节，以指导进一步的学习。人工智能及其应用145.1.2知识学习原理学习环节执行环节知识库环境人工智能及其应用155.1.3知识学习策略1、机械学习：也称死记硬背学习或记忆学习。这种学习方法不要求系统具有对复杂问题求解的能力，也就是没有推理技能，系统的学习方法就是直接记录问题有关的信息，然后检索并利用这些存储的信息来解决问题。例如，对于某个数据x，经过某种计算过程得到的结果是y，那么系统就把(x，y)叫作为联想对存储起来，以后再要对x作同样的计算时，就可通过查询(而不是计算)直接得到y。又如，对于某个事实A，经过某种推理而得到结论B，那么就可把序对(A，B)作为一条规则而记录下来，以后就可以由A直接得到B。人工智能及其应用165.1.3知识学习策略2、讲授学习，又叫指导式学习：即通过对计算机指点教授的学习方法。具体来讲就是通过人机对话，把用户一般性意见或建议具体化，或者协助用户补充和修改原有的知识库。例如TEIRESIAS系统(1976年开发)可通过和领域专家的交谈，学习到新规则，是专家系统获取知识的一种工具。系统的学习过程是这样的:专家提出一个咨询的实例来考验系统的工作，从观察其工作的过程中来发觉是否存在错误。系统则帮助专家追踪整个推理过程，找到错误产生的原因，最后由专家提出修改知识库的方案，或删去不合适的规则，或添加新的规则。该系统除具有追踪推理过程的能力、能发现引起错误的原因外，还能对专家提供的新规则进行解释，检验其是否同已有的知识一致。由于系统能不断向用户解释其工作过程，因而用户不必对系统的结构和工作原理有深入的了解，就能把自己的知识传授给机器。人工智能及其应用175.1.3知识学习策略3、演绎学习：是基于演绎推理的一种学习。演绎推理是一种保真变换，即若前提真则推出的结论也为真。在演绎学习中，学习系统由给定的知识进行演绎的保真推理，并存储有用的结论。例如，当系统能证明A→B且B→C，则可得到规则A→C那么以后再要求证C，就不必再通过规则A→B和B→C去证明，而直接应用规则A→C即可。演绎学习包括知识改造、知识编译、产生宏操作、保持等价的操作和其他保真变换。演绎学习近几年才作为独立的学习策略。人工智能及其应用185.1.3知识学习策略4、归纳学习归纳学习是基于归纳推理的一种学习。归纳推理(InductiveInfrerence)是另一种推理过程。归纳推理能够对输入的信息进行推广(generalization)并且选择其中较理想的结果。与逻辑推理比较，归纳推理不是保真变换，而是“保假”变换，即若推理是假，那么归纳出的结论也是假的。比如命题：鸟会飞，有保假性可知，若A不是鸟，那么A就不会飞。归纳推理是人类最重要的一种思维方式，它也是发现科学定律和定理的思想武器。按其有无教师指导，分为实例学习及观察与发现学习。实例学习--它通过向学习者提供某一概念的一组正例和反例，使学习者从中归纳推理出概念的一般性描述，该描述应能解释所有给定的正例，并排除所有给定的反例。观察与发现学习--它要产生对所有或大多数观察到的规律和规则的解释。这类学习包括概念聚类、构造分类、曲线拟合，发现并解释观察到的定律并形成理论。人工智能及其应用195.1.3知识学习策略5.1.3知识学习策略5、类比学习：这是基于类比推理的一种学习方法。类比学习就是寻找和利用事物间的可类比的关系，从已有的知识推导出未知的知识。类比学习的过程包括以下主要步骤:(1)回忆与联想：即当遇到新情况或新问题时，先通过回忆与联想，找出与之相似的已经解决了的有关问题，以获得有关知识；(2)建立对应关系：即建立相似问题知识和求解问题之间的对应关系，以获得求解问题的知识；(3)验证与归纳：即检验所获知识的有效性，如发现有错，就重复上述步骤进行修正，直到获得正确的知识。人工智能及其应用205.2神经网络的典型模型•生物神经元•人工神经元•人工神经网络•代表性模型人工智能及其应用215.2.1生物神经元人工智能及其应用22生物神经元在结构上由:细胞体、树突、轴突、突触四部分组成。用来完成神经元间信息的接收、传递和处理。人工智能及其应用23一、信息的产生神经元间信息的产生、传递和处理是一种电化学活动。神经元状态：静息兴奋抑制膜电位：极化去极化超极化5.2.1生物神经元5.2.1生物神经元二、信息的传递与接收5.2.1生物神经元三、信息的整合空间整合：同一时刻产生的刺激所引起的膜电位变化，大致等于各单独刺激引起的膜电位变化的代数和。时间整合：各输入脉冲抵达神经元的时间先后不一样。总的突触后膜电位为一段时间内的累积。5.2.1生物神经元由多个生物神经元以确定方式和拓扑结构相互连接即形成生物神经网络。生物神经网络的功能不是单个神经元信息处理功能的简单叠加。神经元之间的突触连接方式和连接强度不同并且具有可塑性，这使神经网络在宏观呈现出千变万化的复杂的信息处理能力。5.2.1生物神经元四、生神经网络