机器学习入门介绍

ArtificialIntelligencePrinciplesandApplications第7章机器学习(MachineLearning)桑克（R.Shank)：“一台计算机若不会学习，就不能说它具有智能。”2第7章机器学习7.1机器学习的基本概念7.2机械式学习7.3指导式学习7.4归纳学习7.5类比学习7.6基于解释的学习7.7学习方法的比较与展望7.1机器学习的基本概念37.1机器学习的基本概念7.1.1学习7.1.2机器学习7.1.3机器学习系统7.1.4机器学习的发展7.1.5机器学习的分类47.1.1学习（1）学习是系统改进其性能的过程：西蒙，1980。（2）学习是获取知识的过程。（3）学习是技能的获取。（4）学习是事物规律的发现过程。学习：一个有特定目的的知识获取过程。内在行为：获取知识、积累经验、发现规律。外部表现：改进性能、适应环境、实现系统的自我完善。“学习是系统中的任何改进，这种改进使得系统在重复同样的工作或进行类似的工作时，能完成得更好。”例如“小孩学走路”、“学弹钢琴”等。学习：从感性知识到理性知识的认识过程，从表层知识到深层知识的转换过程。57.1机器学习的基本概念7.1.1学习7.1.2机器学习7.1.3机器学习系统7.1.4机器学习的发展7.1.5机器学习的分类6机器学习(MachineLearning)：计算机能模拟人的学习行为，自动地通过学习获取知识和技能，不断改善性能，实现自我完善。7.1.2机器学习1）学习机理:对学习机制的研究，即人类获取知识、技能和抽象概念的天赋能力。2）学习方法：在生物学习机理进行简化的基础上，用计算的方法进行再现。3）学习系统：根据特定任务的要求，建立相应的学习系统。77.1机器学习的基本概念7.1.1学习7.1.2机器学习7.1.3机器学习系统7.1.4机器学习的发展7.1.5机器学习的分类81.机器学习系统的定义学习系统：能够在一定程度上实现机器学习的系统。萨利斯(Saris)的定义（1973年）：能够从某个过程或环境的未知特征中学到有关信息，并且能把学到的信息用于未来的估计、分类、决策或控制，以便改进系统的性能。施密斯等的定义（1977年）：在与环境相互作用时，能利用过去与环境作用时得到的信息，并提高其性能。7.1机器学习的基本概念7.1.3机器学习系统92.机器学习系统的条件和能力（1）具有适当的学习环境（2）具有一定的学习能力（3）能应用学到的知识求解问题（4）能提高系统的性能7.1.3机器学习系统103.机器学习系统的基本模型7.1.3机器学习系统执行与评价环境学习知识库学习系统的基本结构117.1机器学习的基本概念7.1.1学习7.1.2机器学习7.1.3机器学习系统7.1.4机器学习的发展7.1.5机器学习的分类127.1.4机器学习的发展1.神经元模型的研究（20世纪50年代中期）主要研究工作：应用决策理论的方法研制可适应环境的通用学习系统（generalpurposelearningsystem）。1957年，罗森勃拉特（F.Rosenblatt）提出感知器模型。塞缪尔（Samuel）的跳棋程序：分析了约175000副不同棋局后，归纳出了棋类书上推荐的走法，准确率达到48％。1969年，明斯基和佩珀特（Papert）发表了论著《Perceptron》，对神经元模型的研究作出了悲观的论断。137.1.4机器学习的发展2.符号学习的研究（20世纪70年代中期）符号概念获取的学习方法（1970年）：模拟人类的概念学习过程，通过分析一些概念的正例和反例构造出这些概念的符号表示。莫斯托夫（D.J.Mostow）的指导式学习。温斯顿（Winston）和卡鲍尼尔（J.G.Carbonell）的类比学习。米切尔（T.M.Mitchell）等人的解释学习。147.1.4机器学习的发展3.连接学习的研究（20世纪80年代）连接学习：一种以非线性大规模并行处理为主流的神经网络研究。1980年，在卡内基－梅隆大学召开了第一届机器学习国际研讨会。1986年，创刊了第一本机器学习杂志《MachineLearning》。157.1机器学习的基本概念7.1.1学习7.1.2机器学习7.1.3机器学习系统7.1.4机器学习的发展7.1.5机器学习的分类167.1.5机器学习的分类1.按学习方法分类（温斯顿，1977）：机械式学习、指导式学习、示例学习、类比学习、解释学习等。2.按学习能力分类：监督学习（有教师学习）177.1.5机器学习的分类2.按学习能力分类：再励学习（强化学习或增强学习）187.1.5机器学习的分类2.按学习能力分类：非监督学习（无教师学习）3.按推理方式分类：基于演绎的学习（解释学习）。基于归纳的学习（示例学习、发现学习等）。4.按综合属性分类：归纳学习、分析学习、连接学习、遗传式学习等。19第7章机器学习7.1机器学习的基本概念7.2机械式学习7.3指导式学习7.4归纳学习7.5类比学习7.6基于解释的学习7.7学习方法的比较与展望207.2机械式学习机械式学习（rotelearning）又称记忆学习，或死记式学习：通过直接记忆或者存储外部环境所提供的信息达到学习的目的，并在以后通过对知识库的检索得到相应的知识直接用来求解问题。机械式学习实质是用存储空间来换取处理时间。217.2机械式学习在给定搜索深度下用估价函数对格局进行评分，通过倒推计算求出上层节点的倒推值，决定当前的最佳走步。下次遇到相同情况，直接利用倒推值决定最佳走步，不需重新计算。塞缪尔的跳棋程序CHECKERS以A为结点的博弈树QA6A博弈搜索树2B6C2486912343865649622第7章机器学习7.1机器学习的基本概念7.2机械式学习7.3指导式学习7.4归纳学习7.5类比学习7.6基于解释的学习7.7学习方法的比较与展望237.3指导式学习指导式学习（learningbybeingtold）又称嘱咐式学习或教授式学习：由外部环境向系统提供一般性的指示或建议，系统把它们具体地转化为细节知识并送入知识库中。在学习过程中要反复对形成的知识进行评价，使其不断完善。指导式学习的学习过程：征询指导者的指示或建议、把征询意见转换为可执行的内部形式、加入知识库、评价。247.3指导式学习简单征询：指导者给出一般性的意见，系统将其具体化。复杂征询：系统不仅要求指导者给出一般性的建议，而且还要具体地鉴别知识库中可能存在的问题，并给出修改意见。被动征询：系统只是被动地等待指导者提供意见。主动征询：系统不只是被动地接受指示，而且还能主动地提出询问，把指导者的注意力集中在特定的问题上。1.征询指导者的指示或建议257.3指导式学习学习系统应具有把用约定形式表示的征询意见转化为计算机内部可执行形式的能力，并且能在转化过程中进行语法检查及适当的语义分析。2.把征询意见转换为可执行的内部形式在加入过程中要对知识进行一致性检查，以防止出现矛盾、冗余、环路等问题。3.加入知识库评价方法：对新知识进行经验测试，即执行一些标准例子，然后检查执行情况是否与已知情况一致。4.评价26第7章机器学习7.1机器学习的基本概念7.2机械式学习7.3指导式学习7.4归纳学习7.5类比学习7.6基于解释的学习7.7学习方法的比较与展望277.4归纳学习7.4.1归纳推理7.4.2示例学习7.4.3观察与发现学习287.4.1归纳推理归纳推理：应用归纳方法所进行的推理，即从足够多的事例中归纳出一般性的知识。它是一种从个别到一般、从部分到整体的推理。归纳推理的重要特征：归纳出的结论不能绝对保证它的正确性，只能以某种程度相信它为真。例如，由“麻雀会飞”、“鸽子会飞”、“燕子会飞”……归纳出“有翅膀的动物会飞”、“长羽毛的动物会飞”等结论。29从个别事例归纳出一般性知识的方法：设：某类事物A中的具体事物。已知都有属性P，并且没有发现反例。当n足够大时，可得出：“A中所有事物都有属性P”。7.4.1归纳推理n21aaa，，，1.枚举归纳n21aaa，，，30例如，设有如下已知事例：张三是足球运动员，他的体格健壮。李四是足球运动员，他的体格健壮。…………刘六是足球运动员，他的体格健壮。事例足够多时，可归纳出一般性知识：凡是足球运动员，他的体格一定健壮。7.4.1归纳推理1.枚举归纳(0.9)31已知两个事物a与b有n个属性相似或相同，即：a具有属性P1，b也具有属性P1。a具有属性P2，b也具有属性P2。…………a具有属性Pn，b也具有属性Pn。且a具有属性Pn+1，则当n足够大时，可归纳出b也具有属性Pn+1。7.4.1归纳推理2.联想归纳32设：且则当A与B中有新元素出现时（设A中的a’及B中的b’），若已知a’有属性，就可得出b’有属性，即7.4.1归纳推理3.类比归纳12,,,Aaa,,21bbB1,2,...iiPaQbibQaP33一般模式：（1）若H为真时，则H→E必为真或以置信度cf1成立。（2）观察到E成立或以置信度cf2成立。（3）则H以某种置信度(cf)成立。7.4.1归纳推理4.逆推理归纳：由结论成立推出前提以某种置信度成立。用公式表示：EH1cfE2cfHcf34则H的置信度：7.4.1归纳推理4.逆推理归纳（续）EPHPcfEPHPHEPEHPfc1121cffccfE→H的置信度cf1’=P(H/E)H→E的置信度cf1=P(E/H)EH1cfE2cfHcfHE1cf’E2cfHcf357.4.1归纳推理5.消除归纳消除归纳：通过不断否定原先的假设来得出结论。已知：结论：12111iniiniAAAAAAAAA367.4.1归纳推理演绎推理归纳推理一般→个别个别→一般必然性推理或然性推理（“主观不充分置信”的推理）结论不会超出前提所断定的范围；不能获取新知识。结论适用于更大的范围；可获取新知识。演绎推理与归纳推理的区别377.4归纳学习7.4.1归纳推理7.4.2示例学习7.4.3观察与发现学习387.4.2示例学习示例学习（learningfromexamples，实例学习或从例子中学习）：通过从环境中取得若干与某概念有关的例子，经归纳得出一般性概念的一种学习方法。示例学习中，外部环境（教师）提供一组例子（正例和反例），然后从这些特殊知识中归纳出适用于更大范围的一般性知识，它将覆盖所有的正例并排除所有反例。397.4.2示例学习1.示例学习的学习模型示例空间验证搜索解释形成知识知识库图7.7示例学习的学习模型407.4.2示例学习2.形成知识的方法（1）变量代换常量例如，假设有两个关于扑克牌“同花”概念的示例。示例1：示例2：12341234,,,cccccccc花色（，梅花）花色（，梅花）花色（，梅花）花色（，梅花）同花（）12341234,,,cxcxcxcxcccc花色（，）花色（，）花色（，）花色（，）同花（）可得到一条一般性的知识：规则1：12341234,,,cccccccc花色（，红桃）花色（，红桃）花色（，红桃）花色（，红桃）同花（）417.4.2示例学习2.形成知识的方法（2）舍弃条件例如示例：12341234,,,cxcxcxcxcccc花色（，）花色（，）花色（，）花色（，）同花（）可得到一条一般性的知识：规则1：花色(c1,黑桃)∧点数（c1,7）∧花色(c2,黑桃)∧点数（c2,3）∧花色(c3,黑桃)∧点数（c3,10）∧花色(c4,黑桃)∧点数（c4,5）→同花(c1,c2,c3,c4)427.4.2示例学习2.形成知识的方法（3）增加操作前件析取法例如关于“脸牌”示例：111111cJccQccKc示例1：点数（，）脸（）示例2：点数（，）脸（）示例3：点数（，）脸（）1231cJcQcKc规则2：点数（，）点数（，）点数（，）脸（）得到知识：437