人工智能 第六章 机器学习

序有一位计算机科学家曾经和很多其他学科的科学家们在一起合作，大家互相介绍各自的工作的时候，这位计算机科学家苦心构思了这么一个例子，他说：我的工作就是要让计算机认识这个，然后他画了下面这幅图，严格的说是写了这组严格对齐的数字仔细思考其意义0000000000000000000000000000000000000000011000000000110001100000000011000110000000001100011000000000110001100000000011000110000000001100011000000000111111111000000011111111100000000000011000000000000001100000000000000110000000000000000000000000000000000000第六章机器学习MachineLearning机器学习是知识获取的重要途径，是继ES后AI的重要热点，同时机器学习也是使计算机具有智能的根本途径。桑克（sank）：“一台计算机若不能进行学习，就不能说它具有智能一、什么是机器学习Simon（1983）：学习就是系统中的变化，这种变化使系统比以前更有效地去做同样的工作。Minsky(1985)：学习是在我们头脑中（心里内部）进行有用的变化。学习是一种具有多侧面的现象。学习的过程有：获取新的陈述性知识、通过教育或实践发展机械技能和认知能力、将新知识组织成为通用化和有效的表达形式、借助观察和实验发现新的事实和新的理论。无统一的ML定义。ML是研究如何使用机器来模拟人类学习活动的一门学科。稍严格的提法是；ML是一门研究机器获得新知识和新技能，并识别现有知识的学问1、ML的定义知识获取和技能求精。学习的本质就是获取新的知识。包括物理系统和行为的描述和建模，构造客观现实的表示。—知识获取通过实践逐渐改造机制和认知技能。例：骑自行车。这些技能包括意识的或机制的协调。这种改进又是通过反复实践和从失败的行为中纠正偏差来进行的。—技能求精2、基本形式知识获取的本质可能是一个自觉的过程，其结果是产生新的符号知识结构和智力模型。而技能求精则是下意识地借助于反复地实践来实现的。本章只涉及学习的知识获取问题。Note!!SuddenLightInsight，顿悟源自于佛法顿悟即是无念，“何名无念，若见一切法心不染着，是为无念”，可见顿悟结果不染着一般的概念或一般的烦恼之法。Question：是否属于智能？人类是如何获得该能力？？其机理是…人工智能主要是为了研究人的智能，模仿其机理将其应用于工程的科学。在这个过程中必然会问道：“人类怎样做才能获取这种特殊技能（或知识）？”。3、为什么要研究机器学习？当前人工智能研究的主要障碍和发展方向之一就是机器学习。包括学习的计算理论和构造学习系统。现在的人工智能系统还完全没有或仅有很有限的学习能力。系统中的知识由人工编程送入系统，知识中的错误也不能自动改正。也就是说，现有的大多数人工智能是演绎的、没有归纳推理，因而不能自动获取和生成知识。未来的计算机将有自动获取知识的能力，它们直接由书本学习，通过与人谈话学习，通过观察学习。它们通过实践自我完善，克服人的存储少、效率低、注意力分散、难以传送所获取得知识等局限性。一台计算机获取的知识很容易复制给任何其它机器。•机器学习-》归纳推理TIPS生活中的归纳推理晚上火烧云，明天晒死人；月亮挂圈，必定变天；水缸穿裙，出门挨淋；乱云满天绞，风雨小不了；日落天发黄，明日必风狂；雷公先唱歌，有雨也不多重阳无雨盼十三，十三无雨一冬干预测难：学习后知识库发生了什么变化，系统功能的变化的预测。归纳推理：是论证的前提支持结论但不确保结论的推理过程(演绎推理保真);而且，归纳的结论是无限多的，其中相当多是假的，给生成的知识带来不可靠性。判断难：机器目前很难观察什么重要、什么有意义。4、实现的困难5系统学习性能评价分类精度：是否能够对输入的数据进行正确、精确的分类。解答的正确性和质量：无论是用于分类的，还是解决问题的系统都有解答正确性问题。同时，正确性不一定保证有好的质量，好的质量包括：可读性、稳定性等多方面的因素。学习的速度：大体分为四个阶段：1、50年代中叶到60年代中叶热烈期“无知”学习，理论基础是神经网络学习方法，不断纠正参数当时，Samuel(1059-1963)的跳棋程序是最著名的成功的学习系统之一。达到了跳棋大师的水平。二、发展历史（略）2、60年代中叶到70年代中叶冷静期只能学习单一概念，且由于NN的缺陷3、70年代中叶到80年代中叶复兴期单一概念—》多个概念，一般建立在大规模知识库上4、1986年以来，ANN的迅速发展环境学习环节知识库执行环节学习是建立理论、形成假设和进行归纳推理的过程。整个过程包括：信息的存储、知识的处理两部分三、机器学习模型1、机械学习就是记忆，不需要进行任何推理或知识转换，将知识直接装进机器中。机械学习模式新知识存储，供检索调用。知识获取以较稳定和直接方式进行。执行部分可看成一个函数：f:(X1,X2,…,XN)→(Y1,Y2,…,Yp)f存储(X1,X2,…,Xn)→(Y1,Y2,…,Yp)-----→((X1,X2,…,Xn),(Y1,Y2,…,Yp))四、机器学习的策略例Samuel的下棋程序记住了53000多棋局与分数值，并在对弈中不断修改这些分值用于评价棋局优劣。机械学习的主要问题存储组织信息采用适当的存储方式，使检索速度尽可能快环境的稳定性与存储信息的适用性问题在急剧变化的环境下机械学习策略是不适用的某一时刻存储的信息必须适用于后来的情况密切监视/核对存储与计算之间的权衡不能降低系统的效率，如检索数据必重新计算一个数据所花的时间要短！2、通过传授学习传授学习即通过对计算机指点教授的学习方法。具体来讲就是通过人机对话，把用户一般性意见或建议具体化，或者协助用户补充和修改原有的知识库。外界输入知识的表达式与内部表达式不完全一致，系统在接受外部知识时，需要一点推理、翻译和转化。并把新的信息和它原有的知识有机地结合为一体。流程：征询指导者的提示或建议。简单征询：指导者给出一般性的意见，系统将其具体化。复杂征询：系统不仅要求指导者给出一般性的建议，而且还要具体地鉴别知识库中可能存在的问题和修改意见。把征询意见转换成可执行的内部形式。并入知识库。评价。如经验测试。例：FOO程序1981年开发一种扑克牌游戏，称为“红心牌游戏”可以告诉系统游戏的规则以及若干取胜的建议如“避免取点”“如果某个对手已无某种花色的牌，则不要先出该花色的大牌”“如某个对手有黑桃Q，就设法把它攻出来”等等。3、类比学习该策略只能得到完全类似任务的有关知识，因此学习系统必须能够发现当前任务与已知任务的相似之点，由此制订出完成当前任务的方案，它比上述2种策略需要更多的推理。例如，学生在做练习时，往往在例题和习题之间进行对比，企图发现相似之处，然后利用这种相似关系解决习题中的问题。类比学习的过程包括以下主要步骤：回忆与联想:即当遇到新情况或新问题时，先通过回忆与联想，找出与之相似的已经解决了的有关问题，以获得有关知识；建立对应关系:即建立相似问题知识和求解问题之间的对应关系，以获得求解问题的知识；验证与归纳:即检验所获知识的有效性，如发现有错，就重复上述步骤进行修正，直到获得正确的知识4、通过事例学习事先没有完成任务的任何规律性的信息，所得到的只是一些具体的工作例子与工作经验。系统需要对这些例子及经验进行分析、总结和推广，得到完成任务的一般性规律，并在进一步的工作中验证和修改这些规律。示例学习是一种归纳学习，是从若干实例(包括正例和反例)中归纳出一般概念或规则的学习方法。环境提供给系统一些特殊的实例，这些实例事先由施教者划分为正例和反例。实例学习系统由此进行归纳推理得到一般规则。环境提供给学习环节的正例和反例是低水平的信息，这是特殊情况下执行环节的行为。学习环节归纳出的规则是高水平的信息，可以在一般情况下用这些规则指导执行环节的工作。例：取实例空间为所有的人。正例集合：张衡、华罗庚、李四光、吴有训、张光斗反例集合：马克思、罗斯福、斯大林、丘吉尔。学到的概念可以是中国人，或科学家，或中国科学家，等。而名人、已故名人、曾在20世纪生活过的人，等是不可能学到的。学到的概念可能是不唯一的，除非正例集和反例集加起来正好等于整个实例空间。例假设示例空间中有桥牌中“同花”概念的两个示例：示例1：花色(c1，梅花)∧花色(c2，梅花)∧花色(c3，梅花)∧花色(c4，梅花)→同花(c1，c2，c3，c4)示例2：花色(c1，红桃)∧花色(c2，红桃)∧花色(c3，红桃)∧花色(c4，红桃)→同花(c1，c2，c3，c4)花色(c1，x)∧花色(c2，x)∧花色(c3，x)∧花色(c4，x)→同花(c1，c2，c3，c4)例-假设示例空间存放有如下的三个示例：示例1：(0，2，7)示例2：(6，-1，10)示例3：(-1，-5，-10)这是三个3维向量，表示空间中的三个点。现要求求出过这三点的曲线。对于这个问题可采用通常的曲线拟合技术，归纳出规则：(x，y，2x+3y+1)即z＝2x＋3y＋1专题--机器学习新进展ForgraduatestudentSemi-SupervisedLearning（SSL）Supervisedlearningisatypicalmachinelearningsetting,wherelabeledexamplesareusedastrainingexamples---THEEND---学习环节是系统的学习机构，是ML的核心，它将环境的信息转化为知识—》知识库