机器学习人工智能原理与应用

2.2机器学习智能信息处理2.2机器学习就是计算机自动获取知识，它是知识工程的三个分支（使用知识、表实知识、获取知识）之一。这一章将介绍机器学习的基本问题，包括：为什么研究机器学习、什么是机器学习、机器学习的发展历史、学习的一个模型、机器学习的分类和机器学习的研究目标。2.2机器学习智能信息处理2.2概述1.学习的概念学习是人类具有的一种重要智能行为，但究竟什么是学习，长期以来却众说纷纭。社会学家、逻辑学家和心理学家都各有其不同的看法。按照人工智能大师西蒙的观点，学习就是系统在不断重复的工作中对本身能力的增强或者改进，使得系统在下一次执行同样任务或类似任务时，会比现在做得更好或效率更高。西蒙对学习给出的定义本身，就说明了学习的重要作用。什么是机器学习2.2机器学习智能信息处理2.22、机器学习什么叫做机器学习(machinelearning)？至今，还没有统一的“机器学习”定义，而且也很难给出一个公认的和准确的定义。为了便于进行讨论和估计学科的进展，有必要对机器学习给出定义，即使这种定义是不完全的和不充分的。顾名思义，机器学习是研究如何使用机器来模拟人类学习活动的一门学科。稍为严格的提法是：机器学习是一门研究机器获取新知识和新技能，并识别现有知识的学问。这里所说的“机器”，指的就是计算机；现在是电子计算机，以后还可能是中子计算机、光子计算机或神经计算机等等。什么是机器学习2.2机器学习智能信息处理2.21、机器学习速度惊人；2、机器学习可以把学习不断地延续下去，避免大量的重复学习，使知识积累达到新的高度；3、机器学习有利于知识的传播。研究机器学习的意义2.2机器学习智能信息处理2.2自从50年代开始研究机器学习以来，在不同时期的研究途径和目标也不同。可以划分三个阶段。其研究内容分别为：神经模型和决策理论；符号概念获取；知识加强和论域专用学习；连接学习的研究。各阶段的区别主要在于学习系统中先验知识的数量和系统中表实与修改知识的方法。机器学习的发展史2.2机器学习智能信息处理2.2机器学习的发展史1、神经模型和决策理论神经模型途径是要发展初始知识很少的通用学习系统。这类系统通常称为神经网或自组织系统。系统包括一个由互连的元件组成的网络。这些元件类似于神经元，它们实现简单的逻辑功能，通常是阈值逻辑功能。这种系统的学习过程是逐步修改元件间的连接强度，一般是连续改变赋给这些连接的权值。系统的初始知识是选定输入元件、网络结构和初始连接强度。选定的输入元件表实对象的选定的属性。网络结构可能是任意的，或是设计者安排的，或是二者的混合。（后续）2.2机器学习智能信息处理2.2机器学习的发展史（承上）这类学习系统包括Perceptron,Pandemonium和使用鉴别功能的学习系统。近期的例子是各种自适应控制系统。这一领域的研究导致了在模式识别中的决策理论方法。这类研究有进化学习和遗传学算法。这一领域的最新成果是连接机。这一类系统的主要特点是初始知识的层次低，且使用连续可变的参数进行学习。这类学习有数值化的特征，这与后两类学习不同。后两类学习更强调产生和处理复杂的符号结构。2.2机器学习智能信息处理2.2机器学习的发展史2、符号概念获取（SCA）这类学习过程是通过分析一些概念的正例和反例构造出这些概念的符号表实。表实的形式一般是逻辑表达式、决策树、产生式规则或语义网络。某些系统已经实用于不同的领域。例如ARCH（Winston,1975）,AQVAL(Michalski,1975)和ID3（Quinlan,1979）。2.2机器学习智能信息处理2.2机器学习的发展史3、知识加强和论域专用学习（KDL）系统包括预先确定的概念、知识结构、论域约束、启发式规则和论域有关的变换。系统在开始并不具有所有的属性或概念，在学习过程中系统应得到一些新的属性或概念。这个过程称为构造性的归纳。KDL和SCA之间的主要区别在于提供给系统的背景知识的数量和种类，也在于系统产生的知识结构的丰度。这类学习系统一般是为专门的领域开发的，不能直接用于其它领域。这类系统的学习策略不仅有实例学习，而且有类比学习、观察和发现学习。这类系统的例子有Meta-DENDRAL和AM。2.2机器学习智能信息处理2.2机器学习的发展史（承上）许多系统体现出上述途径的组合。SCA和KDL途径的一种组合就是基于可交换知识模块的系统。这种系统把通用学习机理和定义与使用论域专用知识的功能组合起来。当要系统解决一个问题时，教师通过系统的知识表实功能给它提供论域专用知识。由于把通用推理功能从论域专用知识中分出来，所以一个学习系统可以用于很多不同论域，同时还可利用论域专用知识。这类系统有INDUCE它由实例学习对象的结构描述。Winston的类比学习程序。LEX获取和改进问题求解的启发式。EURISKO发现新的启发式。2.2机器学习智能信息处理2.2机器学习的发展史4、连接学习的研究这一阶段始于20世纪80年代中期，是一种以非线性大规模并行处理为主流的神经网络研究，该研究目前仍在继续进行之中。2.2机器学习智能信息处理2.2机器学习的主要策略对机器学习的分类可以由下列几方面进行：学习策略、知识表实和应用领域。学习策略是学习中使用的推理方法。下面将按学习策略分类，以便系统介绍不同的方法。学习系统总是把环境提供的信息变换成新的形式，以便存贮和使用。这种变换的性质确定了学习策略的类型。几种基本策略是：机械学习（记忆学习））、传授学习、演绎学习、类比学习和归纳学习。归纳学习又分为实例学习、观察与发现学习。这些策略是按变换复杂性递增的次序排列的。变换越复杂，学习者的工作越多，施教者的工作越少。人类的学习往往同时使用多种策略。这里划分不同的策略，不仅是为了介绍不同的方法，而且是便于设计学习系统。虽然现有的学习系统还只使用单一的策略，多种策略系统也将受到重视。2.2机器学习智能信息处理2.21、机械学习（记忆学习在机械学习（记忆学习)中基本没有变换。由施教者提供的信息或多或少被学习系统记忆和使用。这时环境提供的信息与执行环节使用的信息有相同的水平，同样的形式。实际上每台计算机都可以看作是机械学习（记忆学习),因为它们都存贮用户送入的程序。一个例子是Samuel的西洋象棋程序（1956，1967），它记忆每个棋局以便提高下棋水平。机器学习的主要策略2.2机器学习智能信息处理2.2机器学习的主要策略2、传授学习（指点学习）在传授学习中，学习环节进行的变换只是对施教者提供的信息进行选择和改造，这主要是在语法层的变换。这时环境提供的信息过于抽象，它的水平高于执行环节所用信息的水平。学习环节把较高水平的知识变换为较低水平的知识。这种变换称为实用化。实用化主要有下列步骤：由传授的信息推出结论，作出假设以补充一些细节和确定何时需要进一步传授。实用化过程类似于编译系统把高级语言程序变换成机器码程序。第一个例子是McCarthy(1958)的系统。最近的系统有TEIRESLAS（Davis,1976）和FOO（Mostow,1979和1981）。2.2机器学习智能信息处理2.2机器学习的主要策略3、演绎学习在演绎学习中，学习系统由给定的知识进行演绎的保真推理，并存储有用的结论。这种策略近几年才作为一种独立的学习策略。（Michalski,1983）演绎学习包括知识改造、知识编译、产生宏操作、保持等价的操作和它保真变换。2.2机器学习智能信息处理2.2机器学习的主要策略4、归纳学习在归纳学习中，变换过程是对输入信息的一般化和选择最合理的预期结果，这就是归纳推理。归纳学习可以分为以下实例学习、观察与发现学习。（详细介绍请参阅下页）2.2机器学习智能信息处理2.2机器学习的主要策略（1）实例学习实例学习又称为概念获取，它的任务是确定概念的一般描述，这个描述应解释所有给定的正例并排除所有给定的反例。这些正反例是由信息源提供的，信息源可能是已经知道概念的施教者，也可能是学生做实验而系统从中得到反馈的环境。后者可称为实验学习，包括由做学习和由问题求解学习。刺激反应式学习也是一种实例学习。新对实例学习的研究集中在两个方面：例子一类型的一般化，部分一整体的一般化。在例子一类型的一般化中，提供给系统某一类对象的独立的实例，系统的目标是归纳出这些类的一般描述。实例学习的多数研究集中在这一方面。对象可能是结构化的部件、几何形状、疾病描述、故事、问题的解、控制算子等。在部分一整体的一般化中，任务是假设整个对象（情景，情况，过程）的描述，但只给定了对象的局部。例如，只给定一个房间的几张局部的照片，要重构房间的整个视图。又如，只看到一个序列或过程的一部分，要确定描述该序列或过程的规则。2.2机器学习智能信息处理2.2机器学习的主要策略（2）观察与发现学习观察与发现学习又称为描述的一般化。这类学习没有实教者的学习帮助，它要产生解释所有或大多数观察的规律和规则。这类学习包括概念聚类、构造分类、使方程符合数据、发现解释观察的定律和形成理论；遗传学算法（Holland,1986）和经验预测算法（Zagoruiko,1976）可以看作这种策略的变种。实例学习是由正反例学习，这些正反例是由施教者分类的。因此实例学习是有实教的学习。观察与发现学习是由未经分类的观察学习，或由系统自身的功能去发现。这是无实教的学习。2.2机器学习智能信息处理2.2机器学习的主要策略5、类比学习类比学习是演绎学习与归纳学习的组合。它匹配不同论域的描述，确定公共的子结构，以此作为类比映射的基础。寻找公共子结构是归纳推理，而实现类比映射是演绎推理。由提醒学习可以看作一种类比学习（Schank,1982）。类比学习是由系统已有的某一领域知识得到另一领域中类似的知识。2.2机器学习智能信息处理2.2机器学习系统的基本模型一般把学习看作是建立理论，形成假设和进行归纳推理。理论能从本质上更深刻地描述和解释客观现象，因此要建立理论。为了解释一些特殊现象，往往要发现各种可能的假说。有时要从特殊的实例推导出一般的规律，即进行归纳推理。学习过程总是与环境和知识库有关，因此可以用下图所实的模型描述。2.2机器学习智能信息处理2.2机器学习系统的基本模型模型中包含学习系统的四个基本组成环节。环境和知识库是以某种知识表实形式表达的信息的集合，分别代表外界信息来源和系统具有的知识。学习环节和执行环节代表两个过程。学习环节处理环境提供的信息，以便改善知识库中的显式知识。执行环节利用知识库中的知识来完成某种任务，并把执行中获得的信息回送给学习环节。下面讨论系统中各环节。2.2机器学习智能信息处理2.2机器学习系统的基本模型环境环境可以是系统的工作对象，也可以包括工作对象和外界条件。例如在医疗系统中，环境就是病人新的症状、检验的数据和病历；在模式识别中，环境就是待识别的图形或景物；在控制系统中，环境就是受控的设备或生产流程。就环境提供给系统的信息来说，信息的水平和质量对学习系统有很大影响。信息的水平是指信息的一般性程度，也就是适用范围的广泛性。这里的一般性程度是相对执行环节的要求而言。高水平信息比较抽象，适用于更广泛的问题。低水平信息比较具体，只适用于个别的问题。环境提供的信息水平和执行环节所需的信息水平之间往往有差距，学习环节的任务就是解决水平差距问题。（接下页）2.2机器学习智能信息处理2.2机器学习系统的基本模型环境（接上页）如果环境提供较抽象的高水平信息，学习环节就要补充遗漏的细节，以便执行环节能用于具体情况。如果环境提供较具体的低水平信息，即在特殊情况执行任务的实例，学习环境就要由此归纳出规则，以便用于完成更广的任务。信息的质量是指：正确性、适当的选择和合理的组织。信息质量对学习难度有明显的影响。例如，若施教者向系统提供准确的实教例子，而且提供例子的次序也有利于学习，则容易进行归纳。若实教例子中有干扰，或实例的次序不合理，则难以归纳。2.2机器学习智能信息处理2.2机器学习系统的基本模型知识库影响学习系统设计的第二个因素是知识库的形式和内容。知识库的形式就是知识表实的形式。常用的知识表实方法有：特征向量、