湘潭大学-人工智能课件-机器学习

ArtificialIntelligence(AI)人工智能第七章：机器学习内容提要第七章：机器学习系统1.机器学习的基本概念2.机器学习策略与基本结构3.归纳学习4.类比学习5.解释学习6.神经网络学习8.其他7.知识发现阿法狗通过神经网络学习所有高水平围棋棋谱，大概是历史上有的20万个左右职业棋谱，从而获得了在盘面上如何落子的直觉。类似的深度学习是在近几年出现的，目前，这项科技也有了一些应用，最简单的例子就是通过深度学习识别猫。通过这项识别验证，已经引申出了更多具有实际意义的应用，比如识别某一个图片中是否有癌细胞，某一个铁路沿线上的轨道是否存在磨损，甚至军事作战中，对方的视线中是否有坦克，都可以通过深度学习实现。谷歌的自动驾驶，其中很重要的就是识别道路、交通信号灯、路标等，这都是通过深度学习获得。阿法狗走的是通用学习的道路。它的估值函数，不是专家攻关捣哧出来的。它的作者只是搭了一个基本的框架（一个多层的神经网络），除了围棋最基本的规则外，没有任何先验知识。你可以把它想象成一个新生儿的大脑，一张白纸。然后，直接用人类高手对局的3000万个局面训练它，自动调节它的神经网络参数，让它的行为和人类高手接近。这样，阿法狗就具有了基本的棋感，看到一个局面大致就能知道好还是不好。阿法狗的核心技术还包括策略网络的训练和蒙特卡洛树搜索。内容提要第七章：机器学习系统1.机器学习的基本概念2.机器学习策略与基本结构3.归纳学习4.类比学习5.解释学习6.神经网络学习8.其他7.知识发现机器学习是人工智能的核心，通过使机器模拟人类学习行为，智能化地从过去的经历中获得经验，从而改善其整体性能，重组内在知识结构，并对未知事件进行准确的推断。机器学习在科学和工程诸多领域都有着非常广泛的应用，例如金融分析、数据挖掘、生物信息学、医学诊断等。生活中常见的一些智能系统也广泛使用机器学习算法，例如电子商务、手写输入、邮件过滤等。人类的未来生活和工作，还将有机器人参与。机器人的自主学习，更离不开人脸识别技术。2015年3月16日，马云在德国参加活动时，为嘉宾演示了一项“SmiletoPay”的扫脸技术。在网购后的支付认证阶段，通过扫脸取代传统的密码，实现“刷脸支付”。机器学习的基本概念机器学习的两大学派机器学习：人工智能的重要分支构造具有学习能力的智能系统知识、推理、学习手段：统计，逻辑，代数……统计机器学习从大量样本出发，运用统计方法，发现统计规律有监督学习、无监督学习、半监督学习问题：分类，聚类，回归机器学习的基本概念机器学习的定义西蒙（Simon,1983）：学习就是系统中的适应性变化，这种变化使系统在重复同样工作或类似工作时，能够做得更好。明斯基（Minsky,1985）：学习是在人们头脑里（心理内部）有用的变化。学习是一个有特定目的知识获取和能力增长过程，其内在行为是获得知识、积累经验、发现规律等，其外部表现是改进性能、适应环境、实现自我完善等。机器学习是研究如何使用机器来模拟人类学习活动的一门学科。机器学习的基本概念机器学习的任务根据有限样本集Q，推算这个世界W的模型，使得其对这个世界为真。机器学习的基本概念机器学习的三要素一致性假设：假设世界W与样本集Q具有某种相同性质机器学习的条件。样本空间划分：将样本集放到一个n维空间，寻找一个决策面(等价关系)，使得问题决定的不同对象被划分在不相交的区域。泛化能力：从有限样本集合中获得的规律是否对学习集以外的数据仍然有效。泛化能力决定模型对世界的有效性。内容提要第七章：机器学习系统1.机器学习的基本概念2.机器学习策略与基本结构3.归纳学习4.类比学习5.解释学习6.神经网络学习8.其他7.知识发现机器学习策略与基本结构机器学习的主要策略：按照学习中使用推理的多少，机器学习所采用的策略大体上可分为4种机械学习：记忆学习方法，即把新的知识存储起来，供需要时检索调用，而不需要计算和推理。示教学习：外界输入知识与内部知识的表达不完全一致，系统在接受外部知识时需要推理、翻译和转化。类比学习：需要发现当前任务与已知知识的相似之处，通过类比给出完成当前任务的方案。示例学习：需要从一组正例和反例中分析和总结出一般性的规律，在新的任务中推广、验证、修改规律。机器学习策略与基本结构学习系统的基本结构影响学习系统设计的要素环境：环境向系统提供信息的水平（一般化程度）和质量（正确性）知识库：表达能力，易于推理，容易修改，知识表示易于扩展。环境学习知识库执行内容提要第七章：机器学习系统1.机器学习的基本概念2.机器学习策略与基本结构3.归纳学习4.类比学习5.解释学习6.神经网络学习8.其他7.知识发现归纳学习归纳学习（InductionLearning）归纳学习是应用归纳推理进行学习的一种方法。归纳学习的模式：解释过程实例空间规则空间规划过程实验规划过程通过对实例空间的搜索完成实例选择，并将这些选中拿到的活跃实例提交给解释过程。解释过程对实例加以适当转换，把活跃实例变换为规则空间中的特定概念，以引导规则空间的搜索。归纳学习归纳学习（InductionLearning）归纳学习是目前研究得最多的学习方法，其学习目的是为了获得新概念、构造新规则或发现新理论。根据归纳学习有无教师指导，可把它分为示例学习：给学习者提供某一概念的一组正例和反例，学习者归纳出一个总的概念描述（规则），并使这个描述适合于所有的正例，排除所有的反例。观察发现学习：概念聚类：按照一定的方式和准则分组，归纳概念机器发现：从数据和事例中发现新知识内容提要第七章：机器学习系统1.机器学习的基本概念2.机器学习策略与基本结构3.归纳学习4.类比学习5.解释学习6.神经网络学习8.其他7.知识发现类比学习类比推理和类比学习方式类比学习（learningbyanalogy）就是通过类比，即通过对相似事物加以比较所进行的一种学习。类比学习是利用二个不同领域（源域、目标域）中的知识相似性，可以通过类比，从源域的知识（包括相似的特征和其它性质）推导出目标域的相应知识，从而实现学习。例如：1.一个从未开过truck的司机，只要他有开car的知识就可完成开truck的任务。2.若把某个人比喻为消防车，则可通过观察消防车的行为，推断出这个人的性格。类比学习类比推理和类比学习方式类比学习系统可以使一个已有的计算机应用系统转变为适应于新的领域，来完成原先没有设计的相类似的功能。类比推理过程：回忆与联想：找出当前情况的相似情况选择：选择最相似的情况及相关知识建立对应关系：建立相似元素之间的映射转换：求解问题或产生新的知识类比学习类比学习研究类型问题求解型的类比学习：求解一个新问题时，先回忆以前是否求解过类似问题，若是，则以此为依据求解新问题。预测推理型的类比学习传统的类比法：用来推断一个不完全确定的事物可能还有的其他属性因果关系型：已知因果关系S1:A-B，如果有A'≌A，则可能有B'满足A'-B'内容提要第七章：机器学习系统1.机器学习的基本概念2.机器学习策略与基本结构3.归纳学习4.类比学习5.解释学习6.神经网络学习8.其他7.知识发现解释学习解释学习(Explanation-basedlearning,EBL)解释学习兴起于20世纪80年代中期，根据任务所在领域知识和正在学习的概念知识，对当前实例进行分析和求解，得出一个表征求解过程的因果解释树，以获取新的知识。例如：学生根据教师提供的目标概念、该概念的一个例子、领域理论及可操作准则，首先构造一个解释来说明为什么该例子满足目标概念，然后将解释推广为目标概念的一个满足可操作准则的充分条件。解释学习解释学习过程和算法米切尔提出了一个解释学习的统一算法EBG，建立了基于解释的概括过程，并用知识的逻辑表示和演绎推理进行问题求解。其一般性描述为：给定：领域知识DT目标概念TC训练实例TE操作性准则OC找出：满足OC的关于TC的充分条件目标概念新规则操作准则训练例子知识库解释学习EBG算法可概括为两步：1.构造解释：运用领域知识进行演绎，证明提供给系统的训练实例为什么是满足目标概念的一个实例。例如：设要学习的目标概念是“一个物体（Obj1）可以安全地放置在另一个物体（Obj2）上”，即：Safe-To-Stack(Obj1,obj2)领域知识是把一个物体放置在另一个物体上面的安全性准则：解释学习EBG算法可概括为两步：领域知识：-¬Fragile(y)→Safe-To-Stack(x,y):如果y不是易碎的，则x可以安全地放到y的上面-Lighter(x,y)→Safe-To-Stack(x,y):如果x比y轻，则x可以安全地放到y的上面-Volume(p,v)∧Density(p,d)∧*(v,d,w)→Weight(p,w):如果p的体积是v、密度是d、v乘以d的积是w，则p的重量是w-Isa(p,table)→Weight(p,15):若p是桌子，则p的重量是15-Weight(p1,w1)∧Weight(p2,w2)∧Smaller(w1,w2)→Lighter(p1,p2):如果p1的重量是w1、p2的重量是w2、w1比w2小，则p1比p2轻解释学习EBG算法可概括为两步：Safe-To-Stack(Obj1,obj2)解释结构：Safe-To-Stack(Obj1,obj2)Lighter(Obj1,obj2)Weight(Obj1,0.1)Weight(Obj2,15)Smaller(0.1,15)Isa(Obj2,table)Voume(Obj1,1)Density(Obj1,0.1)*(1,0.1,0.1)解释学习EBG算法可概括为两步：2.获取一般性的知识：任务：对上一步得到的解释结构进行一般化的处理，从而得到关于目标概念的一般性知识。方法：将常量换成变量，并把某些不重要的信息去掉，只保留求解问题必须的关键信息。例如：Volume(O1,v1)∧Density(O1,d1)∧*(v1,d1,w1)∧Isa(O2,table)∧Smaller(w1,15)→Safe-To-Stack(Obj1,obj2)解释学习EBG算法可概括为两步：Safe-To-Stack(O1,O2)一般化解释结构Safe-To-Stack(O1,O2)Lighter(O1,O2)Weight(O1,w1)Weight(O2,15)Smaller(w1,15)Isa(O2,table)Voume(O1,v1)Density(O1,d1)*(v1,d1,w1)以后求解类似问题时，就可以直接利用这个知识进行求解，提到了系统求解问题的效率。内容提要第七章：机器学习系统1.机器学习的基本概念2.机器学习策略与基本结构3.归纳学习4.类比学习5.解释学习6.神经网络学习8.其他7.知识发现神经网络学习神经生理学研究表明，人脑的神经元既是学习的基本单位，同是也是记忆的基本单位。目前，关于人脑学习和记忆机制的研究有两大学派：化学学派：认为人脑经学习所获得的信息是记录在某些生物大分子之上的。例如，蛋白质、核糖核酸、神经递质，就像遗传信息是记录在DNA（脱氧核糖核酸）上一样。突触修正学派：认为人脑学习所获得的信息是分布在神经元之间的突触连接上的。神经网络学习按照突触修正学派的观点，人脑的学习和记忆过程实际上是一个在训练中完成的突触连接权值的修正和稳定过程。其中，学习表现为突触连接权值的修正，记忆则表现为突触连接权值的稳定。突触修正假说已成为人工神经网络学习和记忆机制研究的心理学基础，与此对应的权值修正学派也一直是人工神经网络研究的主流学派。突触修正学派认为，人工神经网络的学习过程就是一个不断调整网络连接权值的过程。按照学习规则，神经学习可分为：Hebb学习、纠错学习、竞争学习及随机学习等。神经网络学习Hebb学习Hebb学习的基本思想：如果神经网络中某一神经元同另一