人工神经网络基本理论读nshi

2人工神经网络基本理论人工神经网络(artificialneuralnetworks,ANN)，或简称神经网络，是人们在模仿人脑处理问题的过程中发展起来的一种新型智能信息处理理论，它通过大量的被称为神经元的简单处理单元构成非线性系统，对人脑的形象思维、联想记忆等进行模拟和抽象，实现与人脑相似的学习、识别、记忆等信息处理能力。神经网络在经历了60多年的曲折发展之后，在许多领域已显示出巨大的潜力和广阔的应用前景回。2.1人工神经网络研究的发展简史人工神经网络的研究始于20世纪40年代。半个多世纪以来，它经历了一条由兴起到衰退、又由衰退到兴盛的曲折发展过程tz4}01943年美国心理学家W.S.MeCulloch和数学家W.Pitts合作，用逻辑的数学工具研究客观事件在形式神经网络中的表述，从此开创了对神经网络的理论研究。他们在分析、总结神经元基本特性的基础上，首先提出了神经元的数学模型，简称为MP模型。神经元模型的出现开创了人工神经网络研究的先河，并为以后的研究提供了依据。1949年心理学家D.0.Hebb提出了一种调整神经网络连接权值的规则。他认为，学习过程是在神经元的突触上发生的，连接权值的调整正比于两个相连神经元活动状态的乘积，这就是著名的Hebb学习算法。直到现在，Hebb学习算法仍然是神经网络中一个极为重要的学习算法。1957年F.Rosenblatt首次提出了著名的感知器(Perception)模型，这是第一个真正的人工神经网络，从而确立了从系统角度研究神经网络的基础，掀起了研究人工神经网络的高潮。1969年，美国麻省理工学院著名的人工智能专家M.Minsky和S.Papert共同出版了名为《感知器》的专著，指出单层的感知器神经网络只能用于线性问题的求解，而对于像XOR(异或)这样简单的非线性问题却无法求解。Minsky的悲观结论对当时神经网络的研究是一个沉重的打击。由于当时计算机技术还不够发达，因而很多人放弃了对神经网络的研究，致使在这以后的10年中，神经网络的研究进入了一个缓慢发展的低潮期。整个20世纪70年代，只有线性神经网络模型、自组织识别神经网络模型等少数模型出现。1982年，美国加州理工学院生物物理学家John.J.Hopfie1d博士提出了著名的Hopfield网络模型。该模型首次引入了网络能量的概念，并给出了网络稳定性判据。Hopfield网络不仅在理论分析与综合上均达到了相当的深度，最有意义的是该网络很容易用集成电路来实现。这一研究成果使神经网络的研究取得了突破性进展，从而掀起了神经网络研究的新热潮。1986年D.E.Rumelhart和J.L.McCelland及其研究小组提出了误差反向传播算法，即BP算法，成为至今影响最大、应用最广的一种神经网络学习算法，为神经网络研究新高潮的到来起到了推波助澜的作用。20世纪80年代中期以来，神经网络的应用研究取得了很大的成绩，涉及面非常广泛。国际神经网络学会于1987年正式成立，并于同年在美国圣地亚哥召开了第一届国际神经网络会议。进入20世纪90年代，随着工EEE神经网络会刊的问世，各种论文专著逐年增加，在全世界范围内逐步形成了研究神经网络前所未有的新高潮。从众多神经网络的研究和应用成果不难看出，神经网络的发展具有强大的生命力。尽管当前神经网络的智能水平还不高，许多理论和应用性问题还未得到很好的解决，但是，随着人们对大脑信息处理机制认识的日益深化，以及不同智能学科领域之间的交叉渗透，人工神经网络必将对智能科学的发展发挥更大的作用[24]2.2人工神经网络的基本原理2.2.1人工神经网络的构成要素人工神经网络是由生物神经网络抽象而来的，而最为发达的生物神经网络就是人类的大脑。人类的大脑大约由10“个神经细胞(NerveCells)组成，每个神经细胞又有10q个突触(Synapses)与其它细胞互相联结成一个非常复杂的神经网络[[25]0图2.1生物神经细胞结构神经细胞是脑组织的基本单元，其结构如图2.1所示，一个神经细胞由一个细胞体(Cellbody)，一些分支凸起的树突(Dendrite)和一个单一分支的轴突(Axon)组成。每一部分虽具有各自的功能，但相互之间是互补的。树突是细胞的输入端，通过细胞体间联结的“突触”接受四周细胞传出的神经冲动，当其所接受的神经冲动(工mpulse)超过某一特定的阂值(Threshold)时，这个神经细胞就会被激发，并产生一个神经冲动传递到轴突。轴突相当于细胞的输出端，其端部的众多神经末梢为信号的输出端子，用于传出神经冲动(25,26]a神经细胞具有兴奋和抑制的两种工作状态。当传入的神经冲动，使细胞膜电位升高到阂值(约为40mV)时，细胞进入兴奋状态，产生神经冲动，由轴突输出。相反，若传入的神经冲动，使细胞膜电位下降到低于阀值时，则细胞进入抑制状态，没有神经冲动输出。当人类的感官受到外界刺激经由神经细胞传递讯号到大脑，大脑便会下达命令传递至相关的受动器(Effectors)做出反应，这样的过程往往需要经由反复的训练，才能做出适当的判断，并且记忆于脑细胞中【26]。生物神经系统的示意图如图2.2所示。图2.2生物神经系统示意图人工神经网络是用计算机网络系统模拟生物神经网络的一种经验模型，是对生物神经网络的若干基本特性的抽象和模拟回。它是由大量人工神经元通过极其丰富和完善的联接而构成的自适应非线性动态系统，按照与生物神经网络相似的方式处理输入的信号，对输入信号有很强的反应和处理能力。虽然人工神经网络有多种结构，但其最基本的处理单元—人工神经元(简称神经元)是基本相同的。它可以记忆(存储)、处理一定的信息，并与其它神经元并行工作。从数学的角度而言，这些神经元是对人脑细胞的高度抽象和简化的结构模型。图2.3是一个典型的人工神经元模型:图2.3人工神经元模型除了人工神经元这一基本的处理单元外，人工神经网络的其他要素还有[25][27]:1、连接权值:连接权值的作用是将神经网络中的神经元联系起来，其值是随各神经元的联接程度而变化的。2,闭值:闭值可使网络能更自由地获取所要描述的函数关系，其值为恒值或可变值。3、激励函数:激励函数通常为非线性函数，它是将输入数据转化为输出的操作函数。若干个神经元按照某种联接方式有机的联接在一起就构成了神经网络，图2.4为人工神经网络的示意图。其中每一个神经元可以接受多个输入信号，并按照一定的规则转换为输出信号。图2.4人工神经网络示意图求解一个问题就是向人工神经网络的某些神经元输入信息，各神经元处理后向其它神经元输出信息，其它神经元接受并处理后再输出，直到整个神经网络工作完毕，输出最后的结果。如果通过一个实例问题“教会”人工神经网络处理这个问题，即通过“学习”调整好各神经元的连接权值，那么，这一类的问题它都可以解。好的学习算法会使神经网络不断积累知识，根据不同的问题自动调整权值，使神经网络具有良好的自适应性。由于人工神经网络中神经元之间复杂的联接关系和各神经元传递信号的非线性方式，使得输入和输出信号间可以构建出各种各样的映射关系，因此可以用来作为黑箱模型，表达那些用机理模型还无法精确描述、但输入和输出之间确实有客观联系的规律。因此，人工神经网络作为经验模型的一种，在经济分析、市场预测等很多领域都有广阔的应用前景。2.2.2人工神经网络的结构网络结构是人工神经网络一个非常重要的设计要素。单个的神经元在“计算”能力上并不强，只有把许多的神经元连接起来，构成一个网络系统，才能完成复杂的“计算”任务，呈现出智能的特性[25]根据神经元之间连接的拓扑结构上的不同，神经网络结构可分为两大类，即分层网络和相互连接型网络。分层网络又可以细分为三种互连形式:简单的前向网络、有反馈的前向网络以及各层内有相互连接的前向网络[24]简单的前向网络如图2.5所示，神经元分层排列，分别组成输入层、中间层(也称为隐含层，可以由若干层组成)和输出层。每一层神经元只接受来自前一层神经元的输入，后面的层对前面的层没有信号反馈。感知器网络和BP网络均属于这种网络。图2.5简单的前向网络结构有反馈的前向网络结构如图2.6所示，从输出层到输入层有信息反馈，这种网络可用于存储某种模式序列，如神经认知机和回归BP网络都属于这种类型。图2.6有反馈的前向网络结构各层有相互连接的前向网络如图2.7所示，通过层内神经元的相互结合，可以实同一层内神经元之间的横向抑制或兴奋机制。这样可以限制每层内可以同时工作的经元数，使整个网络的工作效率更高。图2.7各层有相互连接的前向网络结构互相连接型网络结构如图2.8所示，这种网络在任意两个神经元之间都有可能连接。信号要在神经元之间反复传递，网络要经过若干次的变化，才会达到某种平衡状态。Hopfield网络和Boltzmann机均属于这种类型。图2.8互相连接型网络结构2.3人工神经网络的计算理论2.3.1人工神经元数学模型如图2.3所示，神经元模型相当于一个多输入单输出的非线性元件，x1,x2,......,xm,θ表示第j个神经元的m个输入,w1j,w2j,......,wnj表示该神经元之间的连接强度，称为连接权，∑wijxi，称为神经元的激活值，Yj表示第j个神经元的输出，每个神经元有一个阈值θj}，如果神经元输入信号的加权和超过θj}，神经元就处于兴奋状态。以数学表达式描述为:式中f()是神经元的激励函数，它通常是有界的、分段可微的函数【24]。常用的激励函数有以下几种形式:阈值型、线性型、S型和双极型等。图2.9给出了S型函数和双极型函数的图形。图2.9S型函数和双极型函数的特性曲线S型函数:它的导函数为:它们的输出范围都为(0，1）。双极型函数:它的导函数为:它们的输出范围都为(-1,1）.2.3.2人工神经网络的学习方式学习方式是人工神经网络设计中的一个重要方面。在学习的过程中，主要是网络的连接权值产生了相应的变化，也就是说学习的过程就是调解权值的过程。神经网络主要的学习方式有:有导师学习、无导师学习和再励学习[3]][27]。有导师的学习方式需要外界存在一个“导师”，它对于一组给定的输入提供相对应的输出结果，即在己知输入和期望输出的情况下进行的学习。这组己知的输入输出数据称为训练样本集。学习系统可以根据仿真输出与期望输出之间的差值来调节系统参数。图2.10给出了有导师学习结构图。图2.10有导师学习结构图无导师型的学习没有现成的信息作为响应输出的校正，因而它的学习是靠对信息的观察来实现的，学习系统完全按照环境所提供数据的某些统计规律来调节自身参数或结构，以表示外部输入的某些固有特性。图2.11给出了无导师学习结构图。图2.11无导师学习结构图此外，还有一种学习方式介于上述两种情况之间，即再励学习。这种学习方式下，外部环境对系统输出结果只给出评价而不是给出正确答案，学习系统通过强化那些受到奖励的动作来改善自身性能。图2.12给出了再励学习结构图。图2.12再励学习结构图本文主要讨论的是有导师学习方式的网络模型、算法和应用问题。2.4BP神经网络的基本原理神经网络的种类很多，而BP神经网络是其中最重要的一种。与其它传统模型相比，BP神经网络有更好的适应性，因而在模式识别、函数关系拟合、智能控制等领域已经有了较广泛的应用，取得了相当好的效果。2.4.1BP神经网络的基本概念BP神经网络的全称为误差反向传播多层前向神经网络，它是多层前向神经网络的一种。在这种网络中，各神经元接受前一层的输入，并输出给下一层，没有反馈，故称之为前向网络。一个典型的三层BP网络的结构如图2.13所示。图2.13三层BP网络的拓扑结构BP网络的学习算法是它能成功应用的一个关键。目前广泛使用的BP神经网络学习算法是Rumeihart于1986年提出的误差反向传播算法，一般称之为BP算法。BP算法是对网络连接权校正的一种训练方法，它利用实际输出与期望输出之差对网络的各层连接权由后向前逐层反向传播进行校正。由于误差反向传播算法英文写作ErrorBack-PropagationTraining，意即从后向前计算，故人们把采用这种