神经网络典型模型的比较研究

神经网络典型模型的比较研究杜华英1，赵跃龙2（中南大学信息科学与工程学院，湖南长沙410083）摘要神经网络是近年来发展起来的一门新兴学科，具有较高的研究价值，本文介绍了神经网络的基本概念，针对神经网络在不同的应用领域如何选取问题，对感知器、BP网络、Hopfield网络和ART网络四种神经网络模型在优缺点、有无教师方式、学习规则、正反向传播、应用领域等方面进行了比较研究。可利用其特点有针对性地将神经网络应用于计算机视觉、图像处理、模式识别、信号处理、智能监控、机器人等不同领域。关键词神经网络；感知器；BP网络；Hopfield网络；ART网络1引言人工神经网络（ArtificialNeuralNetwork,ANN）是模仿生物神经网络功能的一种经验模型。生物神经元受到传入的刺激，其作出的反应又从输出端传到相连的其它神经元，输入和输出之间的变换关系一般是非线性的。神经网络是由若干简单元件及其层次组织，以大规模并行连接方式构造而成的网络，按照生物神经网络类似的方式处理输入的信息。模仿生物神经网络而建立的人工神经网络，对输入信号有功能强大的反应和处理能力。若干神经元连接成网络，其中的一个神经元可以接受多个输入信号，按照一定的规则转换为输出信号。由于神经网络中神经元间复杂的连接关系和各神经元传递信号的非线性方式，输入和输出信号间可以构建出各种各样的关系，因此在运行网络时，可视为一个“黑箱”模型，不必考虑其内部具体情况。人工神经网络模拟人类部分形象思维的能力，是模拟人工智能的一条途径，特别是可以利用人工神经网络解决人工智能研究中所遇到的一些难题。目前，人工神经网络理论的应用已经渗透到多个领域，在计算机视觉、图像处理、模式识别、信号处理、智能监控、机器人等方面取得了可喜的进展。2神经网络的典型模型在人们提出的几十种神经网络模型中，人们用得较多的是感知器、BP网络、Hopfield网络和ART网络。2.1感知器[2]罗森勃拉特（Rosenblatt）于1957年提出的感知器模型是一组可训练的分类器，为最古老的ANN之一，现已很少使用。然而，它把神经网络的研究从纯理论探讨引向了工程上的实现，在神经网络的发展史上占有重要的地位。尽管它有较大的局限性，甚至连简单的异或(XOR)逻辑运算都不能实现，但它毕竟是最先提出来的网络模型，而且它提出的自组织、自学习思想及收敛算法对后来发展起来的网络模型都产生了重要的影响，甚至可以说，后来发展的网络模型都是对它的改进与推广。最初的感知器是一个只有单层计算单元的前向神经网络，由线性阈值单元组成，称为单层感知器，后来针对其局限性进行了改进，提出了多层感知器。1杜华英(1975—)，女，江西樟树人，惠州学院成教处计算机工程师，主研人工智能，中南大学信息科学与工程学院在读工程硕士。2赵跃龙(1958—)，男，湖南湘潭人，中南大学信息科学与工程学院计算机系教授，主要从事计算机体系结构、磁盘阵列、计算机控制、神经网络应用等方面的研究。线性阈值单元是前向网络(又称前馈网络)中最基本的计算单元，它具有n个输入(x1，x2，x3，…，xn)，一个输出y，n个连接权值(w1，w2，w3，，…，wn)，且符合下式：niiiniiixwxwy110,00,1若若单输出的感知器模型如图1所示。单输出的感知器的缺点是只能作线性分类；只能是0和1的输出值；由于学习规则的局限性，当输入差别较大时，收敛较慢。如需解决感知器只能作线性分类的问题，可采用神经网络的另一种经典模型——BP网络。2.2BP网络[1][4][5]BP网络是误差反向传播(BackPropagation)网络。最初由Werbos开发的反向传播训练算法是一种迭代梯度算法，用于求解前馈网络的实际输出与期望输出间的最小均方差值。它是一种多层前向网络，采用最小均方差学习方式。当参数适当时，此网络能够收敛到较小的均方差，是目前应用最广的网络之一。它可用于语言综合，识别和自适应控制等用途。B-P模型是一种用于前向多层神经网络的误差反向传播学习算法，由鲁梅尔哈特(D.Ruvmelhar)和麦克莱伦德(McClelland)于1985年提出。B-P算法用于多层网络，网络中不仅有输入层节点及输出层节点，而且还有一层至多层隐层节点。图2所示模型是只有一层隐层节点的BP网络。y┆x2w2x3w3xnwnx1w1∑f图1单输出的感知器当有信息向网络输入时，信息首先由输入层传至隐层节点，经特性函数作用后，再传至下一隐层，直到最终传至输出层进行输出，其间每经过一层都要由相应的特性函数进行变换，节点的特性函数通常选用S型函数，例如：xexf11)(BP网络具有多个输出值，可以进行非线性分类，其缺点是训练时间比较长，易陷于局部极小，且收敛的速度依旧慢。2.3Hopfield网络[3]Hopfield网络是最典型的反馈网络模型，它是目前人们研究得最多的模型之一。Hopfield网络是由相同的神经元构成的单层，并且不具学习功能的自联想网络，可以完成制约优化和联想记忆等功能。Hopfield模型是霍普菲尔特（Hopfield）分别于1982年及1984年提出的两个神经网络模型，一个是离散的，一个是连续的，但它们都属于反馈网络，即它们从输入层至输出层都有反馈存在。如图3是一个单层反馈神经网络。输入层输出层隐层┇┇┇x1x2xny1y2yn图2BP网络霍普菲尔特提出的离散网络模型是一个离散时间系统，每个神经元只有两种状态，可用1和-1，或者1和0表示，由连接权值wij所构成的矩阵是一个零对角的对称矩阵，即jijiwwijij若若,0,在该网络中，每当有信息进入输入层时，在输入层不做任何计算，直接将输入信息分布地传递给下一层各有关节点。若用Xj(t)表示节点j在时刻t的状态．则该节点在下一时刻(即t+1)的状态由下式决定：0)(0)(),0(1,1))(sgn()1(tHtHtHtXjjjj若若或nijiijjtXwtH1)()(其中，wij为从节点i到节点j的连接权值；θj为节点j的阈值。Hopfield网是一类不具有学习能力的单层自联想网络。它的网络模型由一组可使某一个能量函数最小的微分方程组成。其不足之处是计算代价较高，而且需要对称连接。2.4ART网络[2]ART(自适应谐振理论)网络是一种自组织网络模型。它是由Grossberg提出的，是一个根据可选参数对输入数据进行粗略分类的网络。它是一种无教师学习网络。它能够较好地协调适应性，稳定性和复杂性的要求。在ART网络中，通常需要两个功能互补的子系统相互作用．这两个子系统称注意子系统和取向子系统。ART网络具有不同的版本。图4表示的是ART-１版本，用于处理二元输入。新的版本，如ART-２，能够处理连续值输入。图3单层反馈神经网络┇┇x1x2xny1y2yn从图4可见，一个ART-１网络含有两层，一个输入层和一个输出层。这两层完全互连，该连接沿着正向（自底向上）和反馈（自顶向下）两个方向进行。自底向上连接至一个输出神经元i的权矢量Wi形成它所表示的类的一个样本。全部权矢量Wi构成网络的长期存储器，用于选择优胜的神经元，该神经元的权矢量Wi最相似于当前输入模式。自顶向下从一个输出神经元i连接的权矢量用于警戒测试，即检验某个输入模式是否足够靠近已存储的样本。警戒矢量Vi构成网络的短期存储器。Vi和Wi是相关的,Wi是Vi的一个规格化副本，即jiiiVVW式中，ε为一小的常数，Vji为Vi的第j个分量（即从输出神经元i到输入神经元j连接的权值）。ART网络主要用于模式识别，它不足之处是在于对转换、失真和规模变化较敏感，即输入有小的变化时，输出变化很大。3比较人工神经网络的模型各有各的特点，优缺点及应用领域也不尽相同。下表1是以上四种ANN模型的有无教师方式、学习规则、正反向传播、应用领域和缺点[2]。模型名称有无教师学习规则正向或反向传播应用领域缺点感知器有师误差修正正向线性分类，预测等输出单一，收敛慢BP网络有师误差修正正向(误差反向)分类，模式识别等易局部极小,收敛慢Hopfield无师Hebb律反向优化计算,模式识别等计算代价高ART-1无师竞争律反向模式识别等对输入值敏感表1神经网络典型模型的比较4结束语自从人们开始研究人工神经网络以来，已经作出许多努力以开发各种行之有效的ANN，它们在有无教师、学习规则、正反向传播等方面有着各自的特点，可利用其特点有针对性地应用于计算机视觉、图像处理、模式识别、信号处理、智能监控、机器人等不同领域，并且取得了一定的成就。然而，基于目前的技术现状，尤其是计算机技术和VLSI技术当前水平的局限性，这些努力并非总是如愿以偿的。其主要困难在VLSI意义上的人工神经网络的设自顶向下权V自底向上权W┇┇输出层输入层图4一个ART-1网络计和制造问题[2]。要解决这一问题，研究人员可能还要继续走一段很长的路。参考文献[1]张立明．人工神经网络的模型及应用[M]．上海:复旦大学出版社．1993[2]蔡自兴.智能控制——基础及应用[M]．北京:国防工业出版社．1998[3]蒋宗礼．人工神经网络导论[M]．高等教育出版社．2001[4]朱大奇史慧.人工神经网络原理及应用[M].科学出版社.2006[5]王年，任彬，黄勇，汪炳权．基于神经网络的汽车车型图象自动识别[J]．中国图象图形学报．1999，4（8）：50-54.TheResearchingofArtificialNeuralNetworksDUHua-ying，ZHAOYue-long(SchoolofInformationScienceandEngineering,CentralSouthUniversity,Changsha410083China)AbstractTheartificialneuralnetworks(ANN)isanewcourseinrecentyears,soitisnecessaryandworthstudying.ThispaperintroducedthefundamentalconceptsoftheANN-Pereceptron,BP,HopfieldandART,howtochooseanANNindifferentfields,andalsoresearcheditsadvantagesanddisadvantages,self-studyingornot,ruleofstudying,backpropagationornot,appliedfields.Accordingtoitscharacteristics,theANNcanbeusedinfieldsofcomputervision,imageprocessing,patternrecognition,signalprocessing,intelligentcontrol,robots,etc.KeywordsANN；Pereceptron；BP；Hopfield；ART