23知识获取与机器学习

第2章智能控制的知识工程基础2.1知识的基本概念2.2知识表示与问题求解2.3知识获取与机器学习内容提要2.3.1机器学习概述2.3.2机器学习的主要策略机械学习指导式学习2.3知识获取与机器学习归纳学习示例学习观察与发现学习2.3.1机器学习概述什么是学习？2.3.1机器学习概述学习是系统改进其性能的过程学习是有特定目的的获取知识的过程。学习是技能的获取。学习是事物规律的发现过程。学习的表现形式2.3.1机器学习概述获取知识学习的内在行为积累经验、发现规律改进性能适应环境学习的外部表现实现系统的自我完善人类知识获取（学习）基础知识学习（固化记忆）生产实践（总结经验）知识的发展与完善（新、旧知识融合）循环2.3.1机器学习概述机器能否象人类一样能具有学习能力呢？2.3.1机器学习概述1959年美国的塞缪尔(Samuel)设计了一个下棋程序，该程序具有学习能力，它可以在不断的对奕中改善自己的棋艺。起先，程序下不过设计者；后来，设计者下不过程序；再后来，程序还战胜了美国一个洲的冠军。从而向人们展示了机器学习的能力，提出了许多令人深思的社会问题与哲学问题。机器的能力是否能超过人呢？2.3.1机器学习概述很多人认为：机器是人造的，其性能和动作完全是由设计者规定的，因此无论如何其能力也不会超过设计者本人。但是，对具备学习能力的机器来说，其能力可在应用中不断地提高，过一段时间之后，甚至设计者本人也不知它的能力达到了何种水平。机器知识获取（机器学习）知识工程师从知识源抽取知识存入知识库通过机器学习或数据挖掘工具从实践数据中获得新知识由知识工程师和领域专家配合更新知识库循环2.3.1机器学习概述2.3.1机器学习概述机器知识获取把知识从知识源中抽取出来，并转为特定的计算机表示机器学习计算机能模拟人的学习行为，自动地通过学习获取知识和技能，不断改善性能，实现自我完善对知识源知识进行理解、选择、分类和组织，形成知识库从已有知识中产生新知识检查知识的一致性、完整性和无冗余性机器学习的重要性：例子—网络安全入侵检测：是否是入侵？是何种入侵？如何检测？•历史数据：以往的正常访问模式及其表现、以往的入侵模式及其表现……•对当前访问模式分类这是一个典型的预测型机器学习问题常用技术：神经网络决策树支持向量机k近邻序列分析聚类…………2.3.1机器学习概述现在语音识别器或翻译器几乎都是建立在某种具有学习能力的设备上----使用的越多，则它越聪明12机器学习的重要性：例子—自然语言处理/语音识别2.3.1机器学习概述132.3.1机器学习概述机器学习的重要性：例子—对象识别汽车自动驾驶系统142.3.1机器学习概述机器学习的重要性：例子—机器人控制152.3.1机器学习概述机器学习的重要性：例子—机器人控制162.3.1机器学习概述机器学习的重要性：例子—文本挖掘172.3.1机器学习概述机器学习的重要性：例子—生物信息学美国航空航天局JPL实验室的科学家在《Science》（2001年9月）上撰文指出：机器学习对科学研究的整个过程正起到越来越大的支持作用，……，该领域在今后的若干年内将取得稳定而快速的发展机器学习的重要性生物信息学计算金融学分子生物学行星地质学……工业过程控制机器人……遥感信息处理信息安全机器学习2.3.1机器学习概述机器学习的研究基本上经历了以下几个发展时期：通用的学习系统研究基于符号表示的概念学习系统研究基于知识的各种学习系统研究联接学习和符号学习的深入研究2.3.1机器学习概述机器学习发展历史1通用的学习系统研究（５０年代中叶开始）主流方式——构造没有或者只有很少初始知识的通用系统，主要技术——神经元模型以及基于该模型的决策论和控制论；数值和统计方法的范畴。以感知机为代表的早期神经元模型的研究未取得实质性进展，并在60年代末走入低谷：机械学习的成功激励了研究者们继续进行机器学习的研究：代表成果：塞缪尔（A.L.Samuel）于50年代末设计的跳棋程序；随着使用次数的增加，积累性记忆有价值的信息，很快达到大师级水平。2.3.1机器学习概述2基于符号表示的概念学习系统研究（６０年代中叶开始）研究目标——是表示高级知识的符号描述及获取概念的结构假设。主要技术——概念获取和各种模式识别系统的应用；综合了逻辑和图结构的表示。最有影响的开发工作——温斯顿（Winston，1975）的基于示例归纳的结构化概念学习系统。开始将领域知识编入学习系统：巴查纳(B.G.Buchanan，1978)等的META-DENDRAL，里南（D.B.Lenat，1976）的AM等。2.3.1机器学习概述3基于知识的各种学习系统研究（７０年代中期）不再局限于构造概念学习系统和获取上下文知识结合了问题求解中的学习、概念聚类、类比推理及机器发现的工作。工作特点：基于知识的方法——强调应用面向任务的知识和指导学习过程的约束。开发各种各样的学习方法——示例学习、示教学习、观察和发现学习、类比学习、基于解释的学习。结合生成和选择学习任务的能力——应用启发式知识于学习任务的生成和选择，包括提出收集数据的方式、选择要获取的概念、控制系统的注意力等。2.3.1机器学习概述4联接学习和符号学习的深入研究（八十年代后期）联接学习和符号学习的深入研究导致机器学习领域的极大繁荣神经网络的研究重新迅速崛起，并在声音识别、图象处理等诸多领域得到很大成功。符号学习应用技术蓬勃发展：基于计算机网络的各种自适应、具有学习功能的软件系统的研制和开发,将机器学习的研究推向新的高度2.3.1机器学习概述连接机器学习符号机器学习遗传机器学习分析机器学习机器学习研究的变迁Carbonell(1989)展望Dietterich(1997)展望？统计机器学习集成机器学习符号机器学习增强机器学习流形机器学习半监督机器学习多实例机器学习Ranking机器学习数据流机器学习应用驱动的机器学习研究连接主义符号主义行为主义目前，以“主义”争霸的时代已经过去，不同方法解决不同问题。2.3.1机器学习概述能够从某个过程或环境的未知特征中学到有关信息，并且能把学到的信息用于未来的估计、分类、决策或控制，以便改进系统的性能在与环境相互作用时，能利用过去与环境作用时得到的信息，并提高其性能。能够在一定程度上实现机器学习的系统萨利斯(Saris)的定义（1973年）施密斯等的定义（1977年）机器学习系统执行与评价环境学习知识库学习系统的基本结构环境向系统的学习部分提供信息学习部分利用信息修改知识库，以增进系统执行部分完成任务的效能执行部分根据知识库完成任务，同时把获得的信息反馈给学习部分。2.3.1机器学习概述机器学习系统的基本模型（1）环境要求信息的质量高与一般原则的差别较小，易于学习学习系统需要删除具体信息的不必要细节，形成一般原则信息往往是不完全的学习系统所进行的推理不完全是可靠的，需要通过执行效果加以检验。2.3.2机器学习的主要策略影响机器学习系统的主要因素知识库知识表示的形式多样化：状态空间、一阶谓词逻辑、产生式规则、语义网络和框架。表达方式选择的原则表达能力强例如：表示木块color,shape,volumn，表示木块之间的关系ExEy(RED(x)^GREEN(y)^ONTOP(x,y))易于推理例如：推理过程中经常要遇到判别两种表示方式是否等价容易修改数据库如新、旧知识可能会矛盾，等等。知识表示易于扩展2.3.2机器学习的主要策略影响机器学习系统的主要因素执行是整个学习系统的核心。复杂性复杂的任务比简单的任务需要更多的知识。反馈所有的学习系统必须以某种方式评价学习部分提出的假设。透明性要求从系统执行部分的动作效果可以容易地对知识库的规则进行评价。2.3.2机器学习的主要策略影响机器学习系统的主要因素1.按学习方法分类（温斯顿，1977）：机械式学习指导式学习示例学习类比学习等2.3.1机器学习概述机器学习系统分类2.按学习能力分类：监督学习（有教师学习）再励学习、非监督学习2.3.1机器学习概述机器学习系统分类3.按推理方式分类：基于演绎的学习（解释学习）基于归纳的学习（示例学习、发现学习等）2.3.1机器学习概述机器学习系统分类2.3.1机器学习概述2.3.2机器学习的主要策略机械学习指导式学习2.3知识的获取归纳学习示例学习观察与发现学习通过直接记忆或者存储外部环境所提供的信息达到学习的目的，并在以后通过对知识库的检索得到相应的知识直接用来求解问题，也被称记忆学习，或死记式学习2.3.2机器学习的主要策略---1.机械学习机械式学习（rotelearning）机械学习是最基本的学习过程，因为任何学习系统都必须记住它们获取的知识2.3.2机器学习的主要策略---1.机械学习机械式学习（rotelearning）机械式学习实质是用存储空间来换取处理时间对任意复杂问题，如果已有解决的方法，可把解决方法抽象地看成某个函数，该函数在得到自变量输入值(X1,X2,…,Xn)之后，计算并输出函数值(Y1,Y2,…,Yp)。机械学习在存储器中简单地记忆存储对((X1,X2,…,Xn),(Y1,Y2,…,Yp))。当需要f(X1,X2,…,Xn)时,从存储器中把(Y1,Y2,…,Yp)简单地检索出来即可（并非重新计算）机械学习模式图示2.3.2机器学习的主要策略---1.机械学习机械式学习（rotelearning）机械式学习可用于推理过程的简化：2.3.2机器学习的主要策略---1.机械学习机械式学习（rotelearning）例如，第一次解一元二次方程时，人们必须使用很长的一段推导才能得出解方程的求根公式。而一旦有了求根公式，以后再解一元二次方程，就不必重复以前的推导过程，可以直接使用求根公式计算出根机械学习需要注意的重要问题：2.3.2机器学习的主要策略---1.机械学习机械式学习（rotelearning）(a)存储检索速度/计算速度显然，只有当检索一个项目的时间比重新计算一个项目的时间短时，机械学习才有意义，检索的越快，其意义也就越大。因此，采用适当的存储方式，使检索速度尽可能地快，是机械学习中的重要问题。在数据结构与数据库领域，为提高检索速度，人们研究了许多卓有成效的数据存储方式，如索引、排序、杂凑等等，在机械学习中我们可以充分利用这些成果来实现我们的要求。(b)环境的稳定性与存储信息的适用性问题：在急剧变化的环境下机械学习策略是不适用的。做为机械学习基础的一个重要假定是在某一时刻存储的信息必须适用于后来的情况。然而如果信息变换得特别频繁，这个假定就被破坏了。2.3.2机器学习的主要策略---1.机械学习机械学习需要注意的重要问题：机械式学习（rotelearning）1）估算一下存储信息所要花费的存储空间以及检索信息时所花费的时间，然后将其代价与重新计算所花的代价比较，再决定存储信息是否有利。2）把信息先存储起来，但为了保证有足够的检索速度，要限制存储信息的总量，系统只保留那些最常使用的信息，“忘记”那些不常使用的信息。该方法也叫“选择忘却”技术。2.3.2机器学习的主要策略---1.机械学习解决存储与计算之间的权衡问题的方法有两种：机械式学习（rotelearning）机械学习应用举例：：2.3.2机器学习的主要策略---1.机械学习机械式学习（rotelearning）吉林大学开发的建筑工程预算软件系统建筑工程中多采用符合国家或省市标准的标准件，有大量的标准图集2.3.1机器学习概述2.3.2机器学习的主要策略机械学习指导式学习2.3知识的获取43指导式学习（learningbybeingtold）又称嘱咐式学习或教授式学习：由外部环境向系统提供一般性的指示或建议，系统把它们具体地转化为细节知识并送入知识库中。在学习过程中要反复对形成的知识进行评价，使其不