人工智能chapter7Machine-Learning

DepartmentofComputerScience&Technology,NanjingUniversityArtificialIntelligenceSpring第七章机器学习机器学习的基本概念记忆学习归纳学习解释学习神经学习2DepartmentofComputerScience&Technology,NanjingUniversityArtificialIntelligenceSpring7.1机器学习的基本概念学习是人类具有的一种重要智能行为。社会学家、逻辑学家和心理学家都各有其不同的看法。按照人工智能大师西蒙（Simon，1983）的观点，学习就是系统在不断重复的工作中对本身能力的增强或者改进，使得系统在下一次执行同样任务或相类似的任务时，会比现在做得更好或效率更高。西蒙对学习给出的定义本身，就说明了学习的重要作用。另一位人工智能大师Minsky（1985：学习是在我们头脑中（心理内部）进行有用的变化。）学习3DepartmentofComputerScience&Technology,NanjingUniversityArtificialIntelligenceSpring什么是学习？知识获取：是指获取知识信息，并以某种有效手段提供这些信息，知识获取是学习的核心。技能改善：是指技能的获得或精化，技能改善是学习的目标。学习是人类智能的根本特征。学习形式主要有两种：知识获取和技能改善。4DepartmentofComputerScience&Technology,NanjingUniversityArtificialIntelligenceSpring代表性观点：西蒙（Simon,1983）：学习就是系统中的适应性变化，这种变化使系统在重复同样工作或类似工作时，能够做得更好。明斯基（Minsky,1985）：学习是在人们头脑里（心理内部）有用的变化。迈克尔斯基（Michalski,1986）：学习是对经历描述的建立和修改。关于学习一般性解释：学习是一个有特定目的知识获取和能力增长过程，其内在行为是获得知识、积累经验、发现规律等，其外部表现是改进性能、适应环境、实现自我完善等。5DepartmentofComputerScience&Technology,NanjingUniversityArtificialIntelligenceSpring学习的任务：获得对于输入的数据进行分类能力。获得解决问题，行为计划和行为控制等的能力。6DepartmentofComputerScience&Technology,NanjingUniversityArtificialIntelligenceSpring学习活动的特征：目的性信息来源记忆能力表现形式7DepartmentofComputerScience&Technology,NanjingUniversityArtificialIntelligenceSpring分类精度：是否能够对输入的数据进行正确、精确的分类。——待分类模式的规模；——待分类样本的性质、质量；——系统结构；——系统学习方法等。解答的正确性和质量：解答正确性问题是基本问题。同时，正确性不一定保证有好的质量，好的质量包括：可读性、稳定性等多方面的因素。学习的速度：很重要的系统指标。它不仅仅影响系统的设计，同时，影响系统的实现。一个很费时的学习方法，某种意义上也是很难实现的。系统学习性能：8DepartmentofComputerScience&Technology,NanjingUniversityArtificialIntelligenceSpring不仅可解决许多智能系统知识获取“瓶颈”，而且可弥补人类学习的弱点。开发实用的机器学习系统既有利于研究人类自身的学习过程，又能完成大量数据处理、数据归纳、知识优化等研究。不仅在基于知识的系统中得到应用，而且在自然语言处理、机器视觉、模式识别等许多领域得到了广泛的发展。经典定义：利用经验改善系统自身的性能[T.Mitchell,97]智能数据分析机器学习9DepartmentofComputerScience&Technology,NanjingUniversityArtificialIntelligenceSpring为什么要研究机器学习？•一个真正的智能系统必须具备真正的学习功能。•不仅可以根据数据和经验等构造一个具有一定智能的系统，而且还可以通过归纳、推理等方法进一步丰富自己，完善自己，使自己适应外界环境。10DepartmentofComputerScience&Technology,NanjingUniversityArtificialIntelligenceSpring机器学习的概念•一般性解释：机器学习就是让机器（计算机）来模拟和实现人类的学习功能。•主要研究内容：——认知模拟通过对人类学习机理的研究和模拟，从根本上解决机器学习方面存在的种种问题。——理论性分析从理论上探索各种可能的学习方法，并建立起独立于具体应用领域的学习算法。——面向任务的研究根据特定任务的要求，建立相应的学习系统。11DepartmentofComputerScience&Technology,NanjingUniversityArtificialIntelligenceSpring•神经元模型研究：20世纪50年代中期到60年代初期机器学习的发展过程罗森勃拉特-----1957年提出感知器模型-----热烈时期符号概念获取：20世纪60年代中期到70年代初期模拟人类的概念学习过程----冷静时期知识强化学习：20世纪70年代中期到80年代初期把机器学习与各种实际应用相结合----复兴时期连接学习和混合型学习：20世纪80年代中期至今----研究的热点12DepartmentofComputerScience&Technology,NanjingUniversityArtificialIntelligenceSpring学习系统环境学习环节知识库执行环节学习系统所感知到的外界信息集合，也是学习系统的外界来源对环境提供的信息进行整理、分析归纳或类比，形成知识，并将其放入知识库存储经过加工后的信息（即知识）根据知识库去执行一系列任务，并将执行结果或执行过程中获得的信息反馈给学习环节13DepartmentofComputerScience&Technology,NanjingUniversityArtificialIntelligenceSpring机器学习的主要策略按学习策略来分类按应用领域分类按对人类学习的模拟方式记忆学习传授学习演绎学习归纳学习…等专家系统学习机器人学习自然语言理解学习…符号主义学习连接主义学习14DepartmentofComputerScience&Technology,NanjingUniversityArtificialIntelligenceSpring机器学习实现的困难预测难归纳推理判断难15DepartmentofComputerScience&Technology,NanjingUniversityArtificialIntelligenceSpring现阶段机器学习一种技术不同领域智能数据分析16DepartmentofComputerScience&Technology,NanjingUniversityArtificialIntelligenceSpring令W是这个给定世界的有限或无限所有对象的集合，由于观察能力的限制，我们只能获得这个世界的一个有限的子集Q⊂W，称为样本集。机器学习就是根据这个有限样本集Q，推算这个世界的模型，使得其对这个世界为真。机器学习的任务17DepartmentofComputerScience&Technology,NanjingUniversityArtificialIntelligenceSpring基本的学习方法记忆学习；归纳学习;解释学习;神经学习；18DepartmentofComputerScience&Technology,NanjingUniversityArtificialIntelligenceSpring机器学习方法的现代分类基于符号的机器学习基于连接的机器学习基于统计的机器学习19DepartmentofComputerScience&Technology,NanjingUniversityArtificialIntelligenceSpring机器学习面临的问题泛化能力速度可理解性代价敏感类别不平衡…20DepartmentofComputerScience&Technology,NanjingUniversityArtificialIntelligenceSpring算法驱动(建模与数据分析)应用驱动进展海量非线性数据算法的泛化能力考虑学习结果数据的解释代价加权的处理方法不同数据类型的学习方法自然语言分析、网络与电信数据分析、图像数据分析、金融与经济数据分析、零售业数据分析、情报分析…Web信息的有效获取(新一代搜索引擎)。由此导致各种学习任务：数据流学习、多示例学习(部分放弃独立同分布条件)、Ranking学习…蛋白质功能分析,DNA数据分析21DepartmentofComputerScience&Technology,NanjingUniversityArtificialIntelligenceSpring7.2记忆学习死记硬背学习十分重要的一个组成部分基本过程是：执行元素每解决一个问题，系统就记住这个问题和它的解，当以后再遇到此类问题时，系统就不必重新进行计算，而可以直接找出原来的解去使用22DepartmentofComputerScience&Technology,NanjingUniversityArtificialIntelligenceSpring(x1,x2,…,xn)(y1,y2,…,yn)[(x1,x2,…,xn),(y1,y2,…,yn)]f存储输入模式执行函数输出模式输入输出模式对机械式学习的学习模型记忆学习模型23DepartmentofComputerScience&Technology,NanjingUniversityArtificialIntelligenceSpring7.3归纳学习•是指以归纳推理为基础的学习•其任务是要从关于某个概念的一系列已知的正例和反例中归纳出一个一般的概念描述•示例学习•决策树学习是归纳学习的一种特例。它给学习者提供某一概念的一组正例和反例，学习者归纳出一个总的概念描述，并使这个描述适合于所有的正例，排除所有的反例。是一种以示例为基础的归纳学习方法，也是目前最流行的归纳学习方法之一。在现有的各种决策树学习算法中，影响较大的是ID3算法。24DepartmentofComputerScience&Technology,NanjingUniversityArtificialIntelligenceSpring基于示例的归纳学习•是目前机器学习方法中最成熟的方法之一。•它是一种归纳学习，是从若干示例（包括正例和反例）归纳出一般概念或规则的学习方法。例如:学习”狗”的概念这种构造类型定义的任务称为概念学习归纳推理不是保真的，它是保假的25DepartmentofComputerScience&Technology,NanjingUniversityArtificialIntelligenceSpring示例学习基本概念实例空间:是向系统提供训练例的集合；规则空间:事物所具有的某种规律.学习系统应能从大量的训练例中总结出规律；实验规则:通过对实例空间的搜索完成实例选择，并将这些选中的活跃实例提交解释过程；解释过程:对实例经过适当转换，变为规则空间的特定概念，以引导规则空间的搜索。实例空间规则空间实验规则解释过程示例学习的两空间模型两空间模型