讨论课-机器学习

主要内容1基本介绍2机器学习的定义及研究意义3机器学习的发展史4机器学习系统的基本结构5机器学习的分类6机器学习的应用领域1基本介绍学习能力是智能行为的一个非常重要的特征，但至今对学习的机理尚不清楚。人们曾对学习给出各种定义。H.A.Simon认为，学习是系统所作的适应性变化，使得系统在下一次完成同样或类似的任务时更为有效。R.s.Michalski认为，学习是构造或修改对于所经历事物的表示。从事专家系统研制的人们则认为学习是知识的获取。这些观点各有侧重，第一种观点强调学习的外部行为效果，第二种则强调学习的内部过程，而第三种主要是从知识工程的实用性角度出发的。1基本介绍机器学习在人工智能的研究中具有十分重要的地位。一个不具有学习能力的智能系统难以称得上是一个真正的智能系统，但是以往的智能系统都普遍缺少学习的能力。例如：它们遇到错误时不能自我校正；不会通过经验改善自身的性能；不会自动获取和发现所需要的知识。它们的推理仅限于演绎而缺少归纳，因此至多只能够证明已存在事实、定理，而不能发现新的定理、定律和规则等。随着人工智能的深入发展，这些局限性表现得愈加突出。正是在这种情形下，机器学习逐渐成为人工智能研究的核心之一。它的应用已遍及人工智能的各个分支，如专家系统、自动推理、自然语言理解、模式识别、计算机视觉、智能机器人等领域。其中尤其典型的是专家系统中的知识获取瓶颈问题，人们一直在努力试图采用机器学习的方法加以克服。主要内容2机器学习的定义及研究意义学习是人类具有的一种重要智能行为，但究竟什么是学习，长期以来却众说纷纭。社会学家、逻辑学家和心理学家都各有其不同的看法。同样，对于机器学习，至今，还没有统一的定义，而且也很难给出一个公认的和准确的定义。比如，Langley（1996)定义的机器学习是“机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能”。Mitchell（1997）在其著作《MachineLearning》中定义机器学习是提到，“机器学习是对能通过经验自动改进的计算机算法的研究”。Alpaydin（2004）同时提出自己对机器学习的定义，“机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。”2机器学习的定义及研究意义为了便于进行讨论和估计学科的进展，有必要对机器学习给出定义，即使这种定义是不完全的和不充分的。顾名思义，机器学习是研究如何使用机器来模拟人类学习活动的一门学科。更为严格的提法是：机器学习是一门研究机器获取新知识和新技能，并识别现有知识的学问。这里所说的“机器”，指的就是计算机；现在是电子计算机，以后还可能是中子计算机、光子计算机或神经计算机等等。机器能否象人类一样能具有学习能力？1959年美国的塞缪尔(Samuel)设计了一个下棋程序，这个程序具有学习能力，它可以在不断的在对奕中改善自己的棋艺。4年后，这个程序战胜了设计者本人。又过了3年，此程序战胜了美国一个保持8年之久的冠军。这个程序向人们展示了机器学习的能力，提出了许多令人深思的社会问题与哲学问题。2机器学习的定义及研究意义问题：机器的能力是否能超过人？很多持否定意见的人的一个主要论据是：机器是人造的，其性能和动作完全是由设计者规定的，因此无论如何其能力也不会超过设计者本人。这种意见对不具备学习能力的机器来说的确是对的，可是对具备学习能力的机器就值得考虑了，因为这种机器的能力在应用中不断地提高，过一段时间之后，设计者本人也不知它的能力到了何种水平。主要内容3机器学习的发展史第一阶段：50年代中叶到60年代中叶，属于热烈时期第二阶段:60年代中叶至70年代中叶，被称为机器学习的冷静时期第三阶段:70年代中叶至80年代中叶，称为复兴时期机器学习的最新阶段始于1986年机器学习进入新阶段的重要表现：1机器学习已成为新的边缘学科并在高校形成一门课程。2结合各种学习方法，取长补短的多种形式的集成学习系统研究正在兴起。3机器学习与人工智能各种基础问题的统一性观点正在形成。4各种学习方法的应用范围不断扩大，一部分已形成商品。归纳学习的知识获取工具,诊断分类型专家系统连接学习,声图文识别分析学习,设计综合型专家系统遗传算法,强化学习,工程控制中与符号系统耦合的神经网络连接学习,企业的智能管理与智能机器人运动规划5与机器学习有关的学术活动空前活跃。主要内容3机器学习的发展史4机器学习系统的基本结构学习行为的基本结构图环境向系统的学习部分提供某些信息，学习部分利用这些信息修改知识库，以增进系统执行部分完成任务的效能，执行部分根据知识库完成任务，同时把获得的信息反馈给学习部分。在具体的应用中，环境，知识库和执行部分决定了具体的工作内容，学习部分所需要解决的问题完全由上述3部分确定。下面我们分别叙述这3部分对设计学习系统的影响。环境因素影响学习系统设计的最重要的因素是环境向系统提供的信息。或者更具体地说是信息的质量。知识库里存放的是指导执行部分动作的一般原则，但环境向学习系统提供的信息却是各种各样的。如果信息的质量比较高，与一般原则的差别比较小，则学习部分比较容易处理。如果向学习系统提供的是杂乱无章的指导执行具体动作的具体信息，则学习系统需要在获得足够数据之后，删除不必要的细节，进行总结推广，形成指导动作的一般原则，放入知识库，这样学习部分的任务就比较繁重，设计起来也较为困难。因为学习系统获得的信息往往是不完全的，所以学习系统所进行的推理并不完全是可靠的，它总结出来的规则可能正确，也可能不正确。这要通过执行效果加以检验。正确的规则能使系统的效能提高，应予保留；不正确的规则应予修改或从数据库中删除。4机器学习系统的基本结构知识库是影响学习系统设计的第二个因素。知识的表示有多种形式，比如特征向量、一阶逻辑语句、产生式规则、语义网络和框架等等。这些表示方式各有其特点，在选择表示方式时要兼顾以下4个方面：(1)表达能力强。(2)易于推理。(3)容易修改知识库。(4)知识表示易于扩展。对于知识库最后需要说明的一个问题是学习系统不能在全然没有任何知识的情况下凭空获取知识，每一个学习系统都要求具有某些知识理解环境提供的信息，分析比较，做出假设，检验并修改这些假设。因此，更确切地说，学习系统是对现有知识的扩展和改进。执行部分是整个学习系统的核心，因为执行部分的动作就是学习部分力求改进的动作。同执行部分有关的问题有3个：复杂性、反馈和透明性。主要内容4机器学习系统的基本结构5机器学习分类基于学习策略的分类学习策略是指学习过程中系统所采用的推理策略。一个学习系统总是由学习和环境两部分组成。由环境（如书本或教师）提供信息，学习部分则实现信息转换，用能够理解的形式记忆下来，并从中获取有用的信息。在学习过程中，学生（学习部分）使用的推理越少，他对教师（环境）的依赖就越大，教师的负担也就越重。学习策略的分类标准就是根据学生实现信息转换所需的推理多少和难易程度来分类的，依从简单到复杂，从少到多的次序分为以下六种基本类型：a机械学习b示教学习c演绎学习d类比学习e基于解释的学习f归纳学习5机器学习分类•机械学习是最简单的机器学习方法。机械学习就是记忆，即把新的知识存储起来，供需要时检索调用，而不需要计算和推理。•机械学习又是最基本的学习过程。任何学习系统都必须记住它们获取的知识。在机械学习系统中，知识的获取是以较为稳定和直接的方式进行的，不需要系统进行过多的加工。而对于其它学习系统，需要对各种建议和训练例子等信息进行加工处理后，才能存储起来。•当机械学习系统的执行部分解决好问题之后，系统就记住该问题及其解。我们可把学习系统的执行部分抽象地看成某个函数，该函数在得到自变量输入值(X1,X2,…,Xn)之后，计算并输出函数值(Y1,Y2,…,Yp)。机械学习在存储器中简单地记忆存储对((X1,X2,…,Xn),(Y1,Y2,…,Yp))。当需要f(X1,X2,…,Xn)时,执行部分就从存储器中把(Y1,Y2,…,Yp)简单地检索出来而不是重新计算它。这种简单的学习模式如下：•Lenat,HayesRoth，和Klahr等人于1979年关于机械学习提出一种有趣的观点。他们指出，可以把机械学习看成是数据化简分级中的第一级。数据化简与计算机语言编译类似；其目的是把原始信息变成可执行的信息。在机械学习中我们只记忆计算的输入输出，忽略了计算过程，这样就把计算问题化简成存取问题，见图。机械学习的主要问题•对于机械学习，需要注意3个重要的问题：存储组织，稳定性和存储与计算之间的权衡。(a)存储组织信息。显然，只有当检索一个项目的时间比重新计算一个项目的时间短时，机械学习才有意义，检索的越快，其意义也就越大。因此，采用适当的存储方式，使检索速度尽可能地快，是机械学习中的重要问题。在数据结构与数据库领域，为提高检索速度，人们研究了许多卓有成效的数据存储方式，如索引、排序、杂凑等等，在机械学习中我们可以充分利用这些成果来实现我们的要求。(b)环境的稳定性与存储信息的适用性问题。在急剧变化的环境下机械学习策略是不适用的。做为机械学习基础的一个重要假定是在某一时刻存储的信息必须适用于后来的情况。然而如果信息变换得特别频繁，这个假定就被破坏了(c)存储与计算之间的权衡。因为机械学习的根本目的是改进系统的执行能力，因此对于机械学习来说很重要的一点是它不能降低系统的效率。比方说，如果检索一个数据比重新计算一个数据所花的时间还要多，那么机械学习就失去了意义。这种存储与计算之间的权衡问题的解决方法有两种。一种方法是估算一下存储信息所要花费的存储空间以及检索信息时所花费的时间，然后将其代价与重新计算所花的代价比较，再决定存储信息是否有利。另一种方法是把信息先存储起来，但为了保证有足够的检索速度，限制了存储信息的量，系统只保留那些最常使用的信息，“忘记”那些不常使用的信息。这种方法也叫“选择忘却”技术。机械学习应用举例虽然机械学习是机器学习中最简单的策略，但是正确使用这种策略却能对提高应用软件系统的质量起着重要作用。下面介绍吉林大学开发的建筑工程预算软件系统中采用的机械学习策略。这种方法成功地解决了工程预算中较难处理的图集问题。建筑工程预算是建筑工程中一项困难而又重要的任务，工作量大，要求高。过去用手工编制，要花费很多时间。一份3000m2的民用建筑，一个技术人员手工编制预算需要15天至20天，加上工料分析，取费计算等等，需要近一个月时间，而且容易出错，影响预算的质量，造成资金、人员和材料的浪费与损失。近年来，随着电子计算机的普及应用，许多单位研制了建筑预算系统，减轻了建筑工程预算人员的繁重的脑力劳动，提高了工程预算的速度与准确性。但是，建筑预算中的关键问题——工程量计算问题，却始终没有得到很好地解决。这个问题的困难之一在于现行使用的建筑工程设计图纸上的数据与计算机要求的初始输入数据之间存在着很大的差距，只有靠建筑工程人员分析观察图纸，形成计算机可接受的初始输入，才能开始计算。造成工程量计算困难的第二个原因是设计图纸中出现的大量的门窗及预制件型号。预算中，工程技术人员需要不断查阅有关资料，决定这些预制件所需工时及材料。所采用的机械学习方法主要用来解决这一困难。•建筑工程中使用的门窗，大都采用国家或省市的标准设计，如JGMC—1—16—3是建工部规定的标准木窗，窗宽1米，高1.6米，此外还确定了窗的式样，如该窗是亮子的，3开扇，中间固定，有小汽窗，根据这种标准设计图纸，人们预先计算出建造一个这种窗子所需的木料，玻璃，油漆，合页，铁角，拉手，所需木工量，油工量等等。在建筑工程图纸上，并不画出具体的窗子和门，只标明窗子和门的型号，预算时，人们只要数出各种窗子和门分别有多少个，然后根据标准图集查出每种窗子和门各需多少原材料及人工，即可求出建造门窗所需总的建筑材料及费用。•从问题的性质来看，采用计算机检索是最适宜不过了。但事情并不那么简单，问题的难点在于门窗的标准型号太多。这些标准型号的门窗，按规定标准的部门及门窗的种类编成许多厚厚的标准图集。虽然在工程预算程序内部保存了大量的标准图