人工智能8--神经网络1

华东理工大学EastChinaUniversityofScienceAndTechnology人工神经网络陈志华主要内容人工神经网络概述生物神经元人工神经元1.人工神经网络概述什么是人工神经网络？T.Koholen的定义：“人工神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。”ANN研究的目的和意义(1)通过揭示物理平面与认知平面之间的映射，了解它们相互联系和相互作用的机理，从而揭示思维的本质，探索智能本源。(2)争取构造出尽可能与人脑具有相似功能的计算机，即ANN计算机。(3)研究仿照脑神经系统的人工神经网络，将在模式识别、组合优化和决策判断等方面，取得传统计算机所难以达到的效果。神经网络研究的发展(1)第一次热潮(40-60年代未)1943年,美国心理学家W.McCulloch和数学家W.Pitts在提出了一个简单的神经元模型，即MP模型。1958年，F.Rosenblatt等研制出了感知机(Perceptron）。(2)低潮(70-80年代初)(3)第二次热潮1982年，美国物理学家J.J.Hopfield提出Hopfield模型，它是一个互联的非线性动力学网络。它解决问题的方法是一种反复运算的动态过程,这是符号逻辑处理方法所不具备的性质.1987年首届国际ANN大会在圣地亚哥召开，国际ANN联合会成立，创办了多种ANN国际刊物。1990年12月，北京召开首届学术会议。神经网络的优点一般而言,ANN与经典计算方法相比并非优越,只有当常规方法解决不了或效果不佳时ANN方法才能显示出其优越性。–对问题的机理不甚了解或不能用数学模型表示的系统,如故障诊断、特征提取和预测等问题,ANN往往是最有利的工具。–对处理大量原始数据而不能用规则或公式描述的问题,表现出极大的灵活性和自适应性。人工神经网络以其具有自学习、自组织、较好的容错性和优良的非线性逼近能力，受到众多领域学者的关注。在实际应用中，80%～90%的人工神经网络模型是采用BP网络，目前主要应用于函数逼近、模式识别、分类和数据压缩或数据挖掘。人工神经网络研究的局限性（1）ANN研究受到脑科学研究成果的限制。（2）ANN缺少一个完整、成熟的理论体系。（3）ANN研究带有浓厚的策略和经验色彩。（4）ANN与传统技术的接口不成熟。2.生物神经元神经元是大脑处理信息的基本单元人脑大约由1011个神经元组成，神经元互相连接成神经网络神经元以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干神经元主要由细胞体、树突、轴突和突触组成生物神经元示意图细胞体–用于处理从其他神经元传递过来的信息轴突–相当于神经元的输出电缆，利用尾部的神经末梢和梢端的突触输出树突–神经元的输入端突触–神经元之间相互连接的接口，即一个神经元的神经末梢与另一个神经元的树突相接触的交接面突触的信息处理神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近–神经元细胞体通过轴突将脉冲传递到突触前膜–当脉冲幅度达到一定强度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质生物神经元传递信息的过程为多输入、单输出突触有两种类型：兴奋性突触和抑制性突触。前者产生正突触后电位，后者产生负突触后电位突触的传递功能与特点不可逆性–脉冲只从突触前传到突触后，不逆向传递对信息传递具有时延和不应期，一般为0.3～lms–相邻的两次输入之间，需要一定的间隔；在此间隔内，突触不传递信息可塑性–突触传递信息的强度是可变的，即具有学习功能学习、遗忘或疲劳（饱和）效应–对应突触传递作用增强、减弱和饱和生物神经网络基本模型细胞体突触轴突树突图12.2生物神经元功能模型输入输出信息处理电脉冲形成传输3.人工神经元人工神经网络–神经网络是一个并行和分布式的信息处理网络结构–它一般由大量神经元组成•每个神经元只有一个输出，可以连接到很多其他的神经元•每个神经元的输入有多个连接通道，每个连接通道对应于一个连接权系数M-P神经元模型–心理学家麦克洛奇(W.McCulloch)和数理逻辑学家皮兹(W.Pitts)于1943年首先提出了一个简化的神经元模型,称为M-P模型y……兴奋性输入e抑制性输入i说明–圆表示神经元的细胞体；–外部输入包括兴奋性输入和抑制性输入–符号θ表示神经元兴奋的阈值M-P模型的输入输出关系表示抑制性输入；表示兴奋性输入；表示阈值；表示输出，其中，当当当ieyieieiey0,,00,,00,,1常用的神经元结构模型ys…1x2x3x123模型说明是神经元的输出；经元的连接权值；信号，可以用来调整神为外部输入的控制称为神经元的阈值；权值；的连接强度，称为连接为神经元与各输入是神经元的输入；ysxii)()(:)3(,)2()1(11niiiniiiisxffyyfsxz　　　　进行转换，得到输出用某一特性函数＝　　　　　　：求出所有输入的加权和根据连接权值；号从各输入端接收输入信　神经元的工作过程：阈值函数S型函数双曲正切函数4.人工神经网络的互联结构ANN可分为两种–相互连接网络–分层网络•单层•两层网络结构•多层网络结构相互连接网络典型的网络结构单层网络多层前向网络带侧抑制的多层网络带反馈的多层网络多层神经网络3层及3层以上的神经网络，称多层神经网络按照各层功能可分为–输入层–中间层（隐层）：可包含多层–输出层小结神经网络的定义神经元模型神经网络的典型结构及其分类