5章-机器学习--人工智能研究生课程

第5章机器学习15.1机器学习概述5.1.1学习学习是对某一个特定目标的知识获取过程，系统的内部表现为新知识结构的建立和改进，外部表现为系统性能的改善，使之更快、更精确、更健全。机器学习是指用计算机模拟人类的学习行为，自动地通过，学习获取知识和技能，不断改善性能，实现系统的自我完善。5.1.2机器学习的意义（1）人类的学习成果不能被克隆(C1one)。（2）人类个体的学习成果不能完整地永久保存。（3）人类的学习的成本1/3。（4）人类学习还存在着个体差异、遗忘等特征。5.1.3机器学习研究的发展21）神经元模型研究阶段（数学生物物理学）2）符号学习研究发展阶段（用符号表示知识，并用其对人类学习过程进行模拟）3）联结学习和符号学习共同发展阶段。4）分析学习、决策树归纳和遗传算法、联结和符号学习的集成学习5.2机器学习的模型、策略和方法35.2.1简单的学习模型（1）环境：环境指系统所处的外在情形。（2）学习环节：学习环节是学习系统的核心，采用合适的知识表示方式，对感知的环境信息进行加上处理，形成有效的知识存人系统知识库。（3）知识库：知识库储存系统经过学习获得的知识，系统运用这些知识指导执行环节的动作.1)良好的知识表示2）基于知识的扩充和修改（4）执行环节：执行环节是设计学习系统的目的，是在运用学到的知识指导下，完成特定的任务或动作.环境学习环节知识库执行环节5.2.3基本的学习方法按学习方法，机器学习可分机械学习、示例学习、类比学习、解释学习等；按推理方式，机器学习可分为基于演绎的学习和基于归纳的学习；演绎推理是从已知前提条件和逻辑推理规则，推出结论的一种推理，若已知C→R及C为真，就可得出R必然为真的结论。归纳的学习从特殊事例大量实例概括、抽象出一般规则或结论的推理。（通常只能以一定的置信度予以接受。）按综合属性分类，连接、遗传算法、归纳、分析学习、分类器系统；按有无指导教师，机器学习可分为有监督的学习与无监督的学习；按学习事物的性质，机器学习可分为概念学习与过程学习；按所学知识的表示方式，机器学习可分为逻辑表示法学习、产生式表表示法学习、框架表示法学习等等；按机器学习的应用领域，机器学习可分为专家系统、机器入学、自然语言处理、图像识别、博弈、数学、音乐等；若按学习方法是否为符号表示来分类，则可分为符号学习与非符号学习。5.2.3.1机械学习5机械学习就是记忆，把新知识储存起来，需要时对储存的知识进行检索，而不再需要计算和推理。机械学习模式：设系统的输人模式为(X1，X2，…，Xm)，对应的输出模式为(Y1，Y2,…Ym)。使用时根据给定的输人数据，直接查找、检索输出。机械学习类似数学用表、数据库采用的技术，用空间换时间的方法，减少计算和推理的时间。机械学习是最简单的学习方法，同时又是其他学习方法的基础。记忆学习，或死记硬背学习(RoteLearning)5.2.3.2传授学习6环境提供给系统抽象的、高水平的建议，系统自动把它们变换成执行环节使用的较具体的、低水平的知识。（1）要求：专家提出建议。判别知识库的缺陷，并提出修正方法。（2)解释：用一定的知识表示方式把专家的建议转换成系统内部表示。(3)实用化：学习的信息变换过程，将专家建议转换成具体的知识。实用化过程往往采用试探性的假设和近似，确保其合理性，并不保证其完全正确。得到的假设还要经过检验和修正。(4)归并：将新知识加入知识库，检查并保证知识的相容性。(5)评价：实用化过程得到的新知识往往只是假设，要经过验证和修改，即需要进行评价。如果评价中发现了问题，就需要进行问题分析和知识库修改。实用化是整个学习过程的核心。指导式学习5.2.3.3示例学习7实例学习能从环境获取一些关于某个概念的实例，实例由老师准备好，并根据需要划分为正例和反例，学习系统根据这些实例进行归纳推理，得出关于这个概念的一般性规则(知识)。提供给系统的实例通常是非常具体的、低级的信息，系统经过学习环节归纳出概括的、高水平的信息，即规则(知识)，并能使用学到的知识指导以后的执行行为。(LearningFromExamples实例学习)例：教给系统扑克游戏中的“同花”概念8“同花”指一手5张牌为同一花色Diamonds，Clubs，Hearts，Spades。例子空间：一副扑克牌中5张牌的所有可能组合的集合。比如：“同花”的一个正例：{2，Hearts}，{K，Hearts}，{6，Hearts}，{10，Hearts}，(J，Hearts)}“同花”的一个反例：{2，Hearts}，{K，Diamonds}，{6，Spades}，{Hearts)，{J，Clubs)}规则空间：描述一手5张牌中各种组合特征的谓词公式的集合。设谓词Suit(x，y)来描述一张牌，其中x描述牌的点数，取值范围为{2，3，…，K，A}，y描述牌的花色，取值范围为{Clubs，Diamonds，Hearts，Spades}。那么描述“同花”的规则可以是：((cl，c2，c3，c4，c5))(y){Suit(c1，y)∧Suit(c2，y)∧Suit(c3，y)∧Suit(c4，y)∧Suit(c5，y)}5.2.3.4类比学习9类比学习是获取新知识、新技巧的过程，把已知的知识(概念、技巧)转换为适用于新情况、新领域的新概念、新技巧。类比学习过程1)从记忆中找到类似的概念和技巧；2)把它们转换为新的形势，以便用于新情况、新领域。(LearningByAnalogy)黄色、热、巨大太阳吸引热于大于被围绕转行星原子核吸引大于被围绕转电子氢原子像太阳系框架的类比学习例10采用知识的框架表示，类比学习可以描述为将一个框架(源框架)的槽值传送到另一框架(目标框架)的槽。传送分为两步：①利用源框架产生推荐的槽，这些槽的值可以传送到目标框架；②由目标框架中已有的信息来筛选第一步推荐的槽。在“肖锋和消防车之间类比”，消防车是源框架、肖锋是目标框架，肖锋：ISA人性别男活动级快音量极高进取心中等通过类比获得肖锋框架“活动级”、“音量”的值。消防车：ISA车辆颜色红活动级快音量极高燃料效率中等梯高XOR(Long，Short)，5.2.3.5基于解释的学习11通过运用相关的领域知识及一个训练实例，对某个目标概念进行学习，最终得到这个目标概念的一般描述式化表示的一般知识。提出基于解释学习的动因：（1）人们经常能从观察或执行的单个实例中得到一个一般性的概念或规则。(2)归纳学习是人类常用的学习方法，但由于归纳方法在学习中，靠领域知识来帮助分析、判断实例的属性，仅仅通过实例间的比较来提取共性，这是无法推理的正确性的原因之一。而基于解释学习在学习过程中运用领域知识对行分析、解释，从而避免类似问题的发生。(3)由于基于解释学习只需要一两个实例，学习的效率高。(Explanation-BasedLearning)5.2.3.6观察与发现学习12观察与发现学习是一种更高级的归纳学习。从观察中发现或学习新的知识，或通过观察对事物进行分类而获得分类概念。示例学习也属于归纳学习，但和观察与发现学习不同，在示例学习中，实例要由施教者提供，正例、反例的分类也要由施教者完成，是一种需要示教者的学习。观察与发现学习，施教者只给系统少量的初始知识，系统通过对环境的观察进行学习，它对环境的观察不需要施教者进行分类，所以观察与发现学习是典型的无指导教师的归纳学习。采用概念聚类技术是把事物按一定方式和准则进行分组(分类、分层等)，使不同的组代表不同的概念，并且对每一个组进行特征概括，然后得到概念的语义符号描述。机器发现是指从观察的事例或经验数据中归纳出规律或规则。(LearningfromObservationandDiscovery)5.3学习方法的比较和展望13若以推理能力来排列各种符号学习方法，则从低至高的顺序是：机械式学习、解释学习、类比学习、示例学习。若从学习方法对领域理论的要求来看，示例学习虽要求环境提供多个实例，但对领域理论要求较少，而解释学习恰好与它相反。若从知识获取角度来看，示例学习通过学习可以产生新概念描述，可用于专家系统的知识获取。解释学习的学习目标主要是改善系统的效率，而不扩充概念描述的范围。5.3.2机器学习今后的研究工作14(1)人类学习机制的研究。(2)发展和完善现有的学习方法，并开展新的学习方法的研究。(3)建立实用的学习系统，特别是多种学习方法协同工作的集成化系统的研究。(4)机器学习有关理论及应用的研究。5.1.---15学习