神经网络 论文

1摘要神经网络是一门发展十分迅速的交叉学科，它是由大量的处理单元组成非线性的大规模自适应动力系统。神经网络具有分布式存储、并行处理、高容错能力以及良好的自学习、自适应、联想等特点。目前已经提出了多种训练算法和网络模型，其中应用最广泛的是前馈型神经网络。前馈型神经网络训练中使用最多的方法是误差反向传播(BP)学习算法。但随着使用的广泛，人们发现BP网络存在收敛速度缓慢、易陷入局部极小等缺陷。于是我们就可以分析其产生问题的原因，从收敛速度和局部极小两个方面分别提出改进的BP网络训练方法。关键字：神经网络，收敛速度，局部极小，BP网络，改进方法AbstractNeuralnetworkisacrossdisciplinewhichnowdevelopingveryrapidly,itisthenonlinearityadaptivepowersystemwhichmadeupbyabundantoftheprocessingunits.Theneuralnetworkhasfeaturessuchasdistributedstorage,parallelprocessing,hightoleranceandgoodself-learning,adaptive,associate,etc.Currentlyvarioustrainingalgorithmandnetworkmodelhavebeenproposed,whichthemostwidelyusedtypeisFeedforwardneuralnetworkmodel.Feedforwardneuralnetworktrainingtypeusedinmostofthemethodisback-propagation(BP)algorithm.ButwiththeuseofBPnetwork,peoplefindthattheconvergencespeedisslow,andeasyfallintothelocalminimum.Sowecananalyzethecausesofproblems,fromthetwoaspectsrespectivelywecanimprovetheBPtrainingmethodsofneuralnetwork.Keywords：neuralnetwork，convergencespeed，localminimum，BPneuralnetworkimprovingmethods2目录1神经网络概述...................................31.1生物神经元模型.............................错误!未定义书签。1.2人工神经元模型.............................错误!未定义书签。2BP神经网络........................错误!未定义书签。2.1BP神经网络特点..............................错误!未定义书签。2.2BP神经网络介绍..............................错误!未定义书签。3BP神经网络算法的改进..........................83.1BP神经网络训练过程介绍..........................................83.2动态调节学习率的改进方法.........................................83.3BP神经网络收敛速度的改进方法...................................103.4局部极小问题的几种改进方案..................................114结束语…………………………………………………..………………….…………13【参考文献】.....................................1431.神经网络概述1.1生物神经元模型人脑是由大量的神经细胞组合而成的，它们之间相互连接。每个神经细胞（也称神经元）具体如图1.1所示的结构。图1.1生物神经元模型由图看出，脑神经元由细胞体、树突和轴突构成。细胞体是神经元的中心，它一般又由细胞核、细胞膜等构成。树突是神经元的主要接受器，它主要用来接受信息。轴突的作用主要是传导信息，它将信息从轴突的起点传到轴突末梢，轴突末梢与另一个神经元的树突或细胞体构成一种突触的机构。通过突触实现神经元之间的信息传递。1.2人工神经元模型人工神经网络是利用物理器件来模拟生物神经网络的某些结构和功能。图1.2是最典型的人工神经元模型。图1.2人工神经元模型4这个模型是1943年心理学家McCulloch和科学家W.Pitts在分析总结神经元基本特性的基础上首先提出的M-P模型，它是大多数神经网络模型的基础。jiw---代表神经元i与神经元j之间的连接强度(模拟生物神经元之间突触连接强度)，称之为连接权;iu---代表神经元i的活跃值，即神经元状态；iv---代表神经元j的输出，即是神经元i的一个输入；i---代表神经元的阐值。函数f表达了神经元的输入输出特性。在M-P模型中，f定义为阶跳函数:01,()00,iiiiuvfuu人工神经网络是一个并行与分布式的信息处理网络结构，该网络结构一般由许多个神经元组成，每个神经元由一个单一的输出，它可以连接到许多其他的神经元，其输出有多个连接通路，每个连接通路对应一个连接权系数。严格来说，神经网络是一个具有如下性质的有向图。（1）对于每个结点有一个状态变量jx；（2）结点i到结点j有一个连接权系数jiw；（3）对于每个结点有一个阈值j；（4）对于每个结点定义一个变换函数,,()iijijfxwij，最常见的情形为()jiijifwx。图1.3表示了两个典型的神经网络结构，做为前馈网络，右为反馈网络。图1.3典型的神经元网络结构52．BP神经网络人工神经网络是一种信息处理系统，它有很多种模型。其中有一种用误差传播学习算法（ErrorBackPropagation即BP算法）进行训练的多层前馈神经网络，简称为BP网络。BP神经网络模型是人工神经网络的重要模型之一。它有广泛的应用，主要包括模式识别及分类、故障智能诊断、图像处理、函数拟合、最优预测等方面的应用。2.1BP神经网络特点：l)分布式的信息存储方式神经网络是以各个处理器本身的状态和它们之间的连接形式存储信息的，一个信息不是存储在一个地方，而是按内容分布在整个网络上。网络上某一处不是只存储一个外部信息，而是存储了多个信息的部分内容。整个网络对多个信息加工后才存储到网络各处，因此，它是一种分布式存储方式。2)大规模并行处理BP神经网络信息的存储与处理(计算)是合二为一的，即信息的存储体现在神经元互连的分布上，并以大规模并行分布方式处理为主，比串行离散符号处理的现代数字计算机优越。3)自学习和自适应性BP神经网络各层直接的连接权值具有一定的可调性，网络可以通过训练和学习来确定网络的权值，呈现出很强的对环境的自适应和对外界事物的自学习能力。4)较强的鲁棒性和容错性BP神经网络分布式的信息存储方式，使其具有较强的容错性和联想记忆功能，这样如果某一部分的信息丢失或损坏，网络仍能恢复出原来完整的信息，系统仍能运行。1986年由Rumelhart和McCelland领导的科学家小组在《ParallelDistributedProcessing》一书中，对具有非线性连续转移函数的多层前馈网络的误差反向传播算法进行了详尽分析，实现了Minsky关于多层网络的设想。人工神经网络具有广泛的应用领域;在所有的神经网络应用中，BP神经网络所占比例在80%以上。BP神经网络因其良好的非线性逼近能力和泛化能力以及使用的6易适性而更是受到众多行业的青睐。BP神经网络采用的反向传播算法(BP算法)是目前在前馈神经网络中研究得最为成熟且应用最广的一种有导师学习算法。BP神经网络在模式识别、图像处理、信息处理、智能控制、故障检测、企业管理、市场分析等方面的应用已取得了显著成效。可以说，BP神经网络的应用已深入到经济、化工、工控、军事等众多领域，并且从其应用的优势及趋势可以预言其应用前景将更加光明。在这样一个信息及经济高度发达的时期，研究BP神经网络，为其进一步的发展及应用做出一定的贡献是极具理论价值和实用价值。2.2BP神经网络介绍BP网络是一种单向传播的多层前馈网络，它包含输人层、隐含层和输出层，如图2.1所示，是目前应用较多的一种模型。该算法在层次型网络结构上采用误差逆传播学习方式，学习过程由正向传播和误差逆传播组成。图2.1BP网络示意图BP网络的结构如图1所示，算法的主要思想是把学习过程分为两个阶段:第一阶段是正向传播过程，输入信息从输入层经隐层逐层计算各单元的实际输出值，每一层神经元的状态只对下一层神经元的状态产生影响;第二阶段是反向传播过程，若在输出层未能得到期望的输出值，则逐层递归计算实际输出与期望输出之间的差值，根据此误差修正前一层权值使误差信号趋向最小。它通过连续不断地在相对于误差函数斜率下降的方向上计算网络权值和偏差变化而逐渐逼近目标。每一次权值和误差的变化都与网络误差的影响成正比。假设神经网络每层有N个节点，若某一层节点j与上层节点i之间权值为7Wij，节点的输入总和计为netj、输出计为Oj，转移函数取非线性的Sigmoid型函数1()()xfxHe，对于节点j，其输入值为其前一层各单元加权和jijjinetWOb，输出值为()jjOfmet.定义误差函数2^1()2iiEyy式中^iy为输出期望值，jy为输出实际值。BP算法采用梯度法调整权值，每次调整的量ijijEWW、式中01,称为学习速率，它决定每一次训练中的权值变化大小。进一步简化计算有ijijbWO，iijb，其中：^()()ijjjjfnetyy，j为输出层单元；()ijjjkjkfnetW，j为隐层单元。BP网络是一种多层前馈神经网络，它采用后向传播算法，亦称BP算法(首先样本从输入层经各中间层向输出层传播，输出层的各神经元获得网络的输人响应;然后按照减小目标输出与实际输出误差的方向，从输出层开始经各中间层逐层修正各连接权值，以达到学习目的)。BP网络具有结构简单、可操作性强、能模拟任意的非线性输入/输出关系等优点，目前已被广泛应用于模式识别、智能控制、预测、图像识别等领域。但是，BP网络存在两个突出问题(①收敛速度慢，②易陷入局部极小点)使其应用受到了一定限制。综上，我们可以看出BP算法主要的优点是简单、易于实现。但是BP算法有两个致命的缺陷:首先最大的缺陷是BP算法很可能陷入局部极小值，因为通常的误差曲面都是凸凹不平的，会有多个极值点。BP算法的另一个缺陷是收敛速度慢，当采用梯度下降法时步长不容易确定，步长太长则达不到精度，甚至会发散;太小则迭代步骤增加，收敛速度慢。鉴于此，目前对BP算法的改进主要集中在两个方面:1.是避免陷入局部极小值，一旦陷入要想办法逃出;2.是改进迭代算法，加快收敛速度，较常用的方法是共轭梯度法、变尺度法等。83.BP神经网络算法的改进3.1BP网络训练过程介绍BP网络其实质仍然是多层前馈型人工神经网络,并且一般认为网络是严格分层的,即当且仅当两相邻层的节点才有可能互联。又根据万能逼近定理(UniversalApproximationTheory):如果隐层节点是可以根据需要自由设置的,那么用三层S状的I/O特性的节点可以以任意精度逼近任何具有有限间断点的函数。一般地,在研究BP网络时都假设网络具有输入层、隐层、输出层共三层;其结构见图3.1。各神经元节点的激活函数一般可以是S型函数和线性函数。图3.1BP网络结构示意图BP网络的整个训练过程是建立在输入/输出样本对基础上的;在训练开始前赋予权值较小的随机值。则整个训练过