第18讲 人工神经网络和机器学习

18人工神经网络与机器学习人工神经网络•西班牙解剖学家Cajal于十九世纪末创立了神经元学说。•20世纪60年代后期“神经科学”•细胞与分子水平的研究•20世纪90年代开始，脑科学研究中整合性神经网络与人工神经网络•神经元的结构神经网络与人工神经网络•神经元具有以下的特性与功能–信息传递的方向性：在每一个神经元中，信息都是以预知的确定方向传递，即从信息接受部分（树突）传到轴突的起始部分，再传到突触，最后传给另一神经元。这称为神经元的动态激化原则。–时空整合：神经元的细胞体能对不同时间由同一突触传入的神经冲动进行整合（称时间整合）和对同一时间由不同突触传入的神经冲动进行整合（称空间整合）。–兴奋与抑制：神经元传入冲动的时空整合使细胞膜的电位升高，并超过阈值时产生神经冲动并由轴突输出（称神经元处于兴奋状态）。当传入冲动的时空整合使细胞膜的电位下降，并低于阈值时将不产生神经冲动且无输出（称神经元处于抑制状态）。–延时和不应期：神经元在相邻两次神经冲动之间有时间间隔，该间隔称为神经元的不应期。在此期间，神经元不响应、不处理、不传递神经冲动，神经元出现延时。–结构可塑性：突触传递信息的特性是可变的。随着神经冲动传递方式的变化，其传递作用可强可弱，所以神经元间的连接是柔性的，这称为结构的可塑性。–学习、遗忘和疲劳：由于结构可塑性，突触的传递作用有增强、减弱和饱和，对应于神经元具有学习、遗忘和疲劳功能。•神经元经突触与树突连接起来便形成了神经网络。神经网络与人工神经网络•人工神经网络是利用人工的方式对生物神经网络的模拟。•神经元的M-P模型y输出eeii兴奋性输入抑制性输入………………神经网络与人工神经网络•人工神经元结构模型•人工神经元的工作过程是：–从输入端接收输入信号xi–根据连接权值i，求出所有输入的加权和–用某一非线性特征函数f进行转换，获得输出yyx1……x212xnnsniiisx1)(fy神经网络与人工神经网络•神经元互连基本形式…………………前向网络反馈网络层内互连网络互连网络输入层输出层隐层输入层输出层隐层输入层输出层隐层输入层输出层隐层神经网络与人工神经网络•人工神经网络在以下方面体现了人脑的基本特性：–人工神经网络为广泛连接的巨型系统，它更适合于形象思维的模拟。–人工神经网络基于大规模并行协同处理机制，这使得人工神经网络可以较好地模拟人脑神经系统的处理能力。–人工神经网络具有和人脑一样的容错和联想能力。–人工神经网络具有自学习、自组织、自适应功能。在人工神经网络中，可以通过改变神经元之间的连接权值来有效地模拟人类的学习过程。理论研究表明，选择合适的神经元之间的连接权值可以使人工神经网络以任意小的误差逼近任何连续函数。这意味着神经网络具有很强的自学习能力、自组织能力和自适应能力。神经网络计算机的特点•神经计算机又称为第六代计算机，它的研制开始于20世纪80年代后期。•美国、欧共体和日本都把它作为一项国家计划项目开发研究，并作为21世纪的关键技术。•1988年，美国国防部制定了8年计划，投资4亿美元用于神经网络计算机的研究和开发；1990年，又提出了神经网络的“风暴计划”，计划为期两年，主要研究神经计算机在军事领域的应用。•日本，神经计算机作为“新信息处理技术开发计划”中的一项基础技术被高度重视。从1992年起，计划为期10年，投资1000亿日元研究和开发神经计算机。•日本在1992年就已成功研制出一部“通用神经网络计算机”。•欧共体，作为欧洲信息技术研究开发战略的一环，广泛开展了神经网络计算机研发。神经网络计算机的特点•神经网络计算机有下列特征：–具有快速、准确的信息处理能力–具有自学习、自适应和自组织能力–具有近似人脑的信息处理能力–适合于智能信息处理神经网络计算机的实现方式•神经网络计算机分类神经网络计算机通用神经网络计算机专用神经网络计算机全神经网络计算机前后端神经网络计算机神经网络计算机的实现方式•通用神经网络计算机并行广播总线总线接口系统状态物理处理器虚拟处理器互连及连接权值存储器总线接口系统状态物理处理器虚拟处理器互连及连接权值存储器总线接口系统状态物理处理器虚拟处理器互连及连接权值存储器系统控制单元物理处理器……12n神经网络计算机的实现方式•前后端神经网络计算机视觉模型(模式识别)听觉模型(语音分析)语音模型(语音合成)运动模型触角模型数值运算文字处理推理指令认知模型(判断、联想)数据压缩图像采集设备图像显示设备语音采集设备语音输出设备机器人…………前端神经网络计算机冯·诺依曼体系结构计算机…………后端神经网络计算机神经网络计算机的实现方式•中科院预言神1号神经网络处理机硬件结构神经网络计算机的实现方式•全神经网络计算机–全神经网络计算机由全硬件实现。该类计算机物理上的处理单元及通讯通道与具体的神经网络模型中的神经元及其连接一一对应，每一神经元及连接都有与之对应的物理器件。•近些年来，神经计算机的研究发展很快，已有产品进入市场。•将光技术应用于神经网络计算机从而开发出光神经计算机也成为一种趋势。光神经计算机的特征：–光具有并行性，它与神经计算吻合；–光波的传播无交叉失真,传播容量大；–可能实现超高速运算。神经网络计算机的实现方式•重要的神经网络模型–书P.172BP网路BP网络机制•学习–建立网络模型–通过样本数据进行学习–将学习获得的知识保存在神经元间的连接权中•计算（工作）–应用保存在神经元间连接权中的知识进行计算BP网络学习•通过样本数据（I，T）训练神经网络，以建立输入与输出的关系，这种关系保存在神经元之间的连接权之中。•符号–一个隐层–输入层单元i的输入为Ii，–输入层单元i到隐层单元j的权为W’ij–隐层单元j到输出的输出为Hj–隐层单元j到输出层单元k的权为W”jk–输出层单元k的输出为Ok–激活函数为f(x)BP网络学习•学习过程–隐层学习–输出层学习niiijjIw1''H)(H'jjHfmjjjkkHwO1')('kkOfOBP网络学习–权值修正：输出O与教师信号T的的误差记为：E=||O-T||按最速下降法求出对W“和W’的修正量ζjk，ηij，可得：W”jk=Wjk+ζjkW’ij=Wij+ηij–学习结束的条件为：对所有的样本（I，T）均有：Eε–激活函数f可取如下形式：xcebaxf1)(BP网络计算•利用学习获得的权值及函数f，计算：Hj=f(∑W’il*Ii)Ok=f(∑W”jk*Hj)•输出为数组O=(O1,O2,……,Op)BP网路学习的分析•定理：对于任意的连续函数g，可以构造BP网路任意逼近它。•学习过程可能存在的问题–算法的解不一定是最优–算法中隐层神经元的数目确定困难机器学习•学习与机器学习–学习•过程：一个具有特定目标的知识获取过程•内在行为：获取知识、积累经验、发现规律•外在表现：改进性能、适应环境、自我完善–机器学习•使计算机或智能系统模拟人类的学习行为，自动获取知识和技能，不断改善系统性能，实现系统自我完善•基本问题：用于获取、表示、修改和应用知识或技能的形式与方法•主要研究方向–学习机理研究：研究人类学习的机制和如何在智能系统中实现–学习方法研究：研究人类学习过程、方法和如何在智能系统中实现–学习系统研究：面向特定的任务或问题，如何建立学习系统•学习系统–概念•学习系统是一个能够通过与其所处环境的相互作用获得有关信息，并将这些信息用于提高自身性能的智能系统–构成•学习环境：向系统提供有关的外部信息——外部信息源•学习机构：从环境中提取信息•知识库：存放由学习获得的知识•执行与评价机构–执行：应用所学到的知识解决问题的过程–评价：验证和评判所学知识的应用效果——所学知识的正确性»自动评价：系统通过内部的评价指标体系自动完成评价»人工评价：人工完成评价–具备的条件和能力•适当的学习环境•一定的学习能力•应用学到知识求解问题•提高系统性能机器学习方法•按学习方法分类：–机械式学习、指导式学习、示例学习、类比学习、解释学习•按推理方法分类：–演绎学习、归纳学习•按综合属性分类：–归纳学习、分析学习、连接学习、遗传学习、分类器学习TheAprioriAlgorithmCk:Candidateitemsetofsizek.Lk:frequentitemsetofsizek.L1={frequentitems};for(k=1;Lk!=;k++)dobeginCk+1=NewcandidatesgeneratedfromLk;foreachtransactiontindatabasedoincrementthecountofallcandidatesinCk+1thatarecontainedintLk+1=candidatesinCk+1withmin.supportendreturnkLk;AprioriCandidateGeneration•MonotonicityProperty:Allsubsetofafrequentsetarefrequent•GivenLk,Ck+1canbegeneratedintwosteps:–Join:JoinLkwithLk,withthejoinconditionthatthefirstk-1itemsshouldbethesame–Prune:deleteallcandidateswhosesupportislowerthentheminimumsupportspecifiedMiningAssociationRules--ExampleForruleAC:support=support({A,C})=50%confidence=support({A,C})/support({A})=66.6%TransactionIDItemsBought2000A,B,C1000A,C4000A,D5000B,E,FFrequentItemsetSupport{A}75%{B}50%{C}50%{A,C}50%Min.support50%Min.confidence50%TheAprioriAlgorithm--ExampleTIDItems100134200235300123540025DatabaseDitemsetsup.{1}2{2}3{3}3{4}1{5}3itemsetsup.{1}2{2}3{3}3{5}3ScanDC1L1itemset{12}{13}{15}{23}{25}{35}itemsetsup{12}1{13}2{15}1{23}2{25}3{35}2itemsetsup{13}2{23}2{25}3{35}2L2C2C2ScanDC3L3itemset{235}ScanDitemsetsup{235}2