神经网络优化学习算法综述

神经网络优化学习算法综述摘要：人工神经网络的研究始于二十世纪四十年代，神经网络的优化学习一直是研究的热点。神经网络的优化算法就是利用神经网络中的神经元的协同并行计算能力来构造的优化算法，它将实际问题的优化解与神经网络的稳定状态相对应，把对实际问题的优化过程映射为神经网络系统的演化过程。本文对目前几种常见的神经网络优化学习算法，感知器，Widrow-Hoff学习算法，BP学习算法等进行了综述性研究。关键词：人工神经网络，优化学习，感知器，Widrow-Hoff，BP，RBFASurveyonNeuralNetworkOptimizationLearningAlgorithmsAbstract:Artificialneuralnetworkresearchbeganinthe1940s,neuralnetworkoptimizationstudyhasbeenonthehot.Neuralnetworkoptimizationalgorithmisthatitusestheneuralnetworksofneuronsinthesynergyparallelcomputingcapacitytooptimizethestructureofthealgorithm,itmaketheoptimizationofthepracticalproblemscorrespondwiththestablestateoftheneuralnetwork,andtheoptimizationprocessofpracticalproblemsismappedfortheevolvementprocessoftheneuralnetworksystems.Inthispaper,severalofthecurrentcommonneuralnetworkswiththeirlearningalgorithmoptimizationsaregivenanoverviewedresearch,suchasperceptron,Widrow-Hofflearningalgorithm,BPlearningalgorithm,andsoon.Keywords:neuralnetworks,learningalgorithm,perceptron,BP，RBF,Widrow-Hoff一引言神经网络的研究至今已有近60年的历史，其发展道路曲折，目前已得到较深入而广泛的研究与应用。1943年心理学家McCulloch和数学家Pitts合作提出了形式神经元的数学模型，即MP模型，他们利用逻辑的数学工具研究客观世界的事件在形式神经网络中的表达。1949年，心理学家Hebb通过对大脑神经细胞、学习和条件反射的观察和研究，剔除了改变神经元连接的Hebb规则，现在多数学习机仍遵循Hebb学习规则。50年代末，Rosenblatt设计发展了MP模型，剔除了多层感知机，即Perceptron，试图模拟动物和人脑的感知和学习能力。60年代初，Widrow提出了自适应线性单元模型，即Adaline，以及一种有效的网络学习方法，即Widrow-Hebb规则，或称为δ规则。鉴于上述研究，神经网络一起了许多科学家的兴趣。但是，1962年，但是具有较高学术地位的人工智能创始人Minsky和Papert出版了《Perceptron》一书，对以感知机为代表的神经网路的功能和局限性从数学上进行了深入分析，并指出Perceptron只能进行线性分类求解一阶谓词问题同时寻找多层感知机的有效学习算法并不乐观。这导致许多学者放弃了对神经网络的研究，使神经网络的研究陷入了低潮。直到80年代，Hopfield通过引入能量函数的概念，研究网络的动力学性质，并用电子线路设计出相应的网络，从而开拓了神经网络用于联想记忆和优化计算的新途径，进而掀起了神经网络的研究热潮，为神经优化的研究奠定了基础。Rumelhart和MaClelland等提出了PDP理论，尤其是发展了多层前向网络的BP算法，为解决多层前向网络的学习问题开辟了有效途径，并成为迄今应用最普遍的学习算法。随后开拓性的研究工作又大大发展了神经网络的模型与学习算法，并加深了人们对神经网络的认识。二神经网络模型及其优化算法按结构方式分类神经网络可分为两大类模型，即前馈（feed-forward）模型和后馈（feed-back）模型。按照神经网络的拓扑结构与学习算法相结合的方法，将神经网络分为前馈网络、竞争网络、反馈网络和随机网络四大类，下面介绍感知机神经网络、BP神经网络、RBF网络、自适应线性神经网络（ADALINE-AdaptiveLinearNeuron）、Hopfield反馈神经网络模型（HNN）等并对其学习算法进行比较分析，以揭示神经网络所具有的功能和特征。2.1、感知机神经网络感知机神经网络是第一个完整的人工神经网络，它的输入可以是非离散量，它的权值不仅是非离散量，而且可以通过调整学习而得到。感知机可以对输入的样本矢量进行模式分类，而且多层的感知机，在某些样本点上对函数进行逼近，但感知机是一个线性阈值单元组成的网络，在结构和算法上是其他前馈网络的基础。2.1.1、单层感知机单层感知机模型如图（2.1）所示，它具有简单的模式识别能力，但只能解决线性分类，而不能解决非线性问题。)(xf1u1wxy2uiunu2wiwnw图2.1单层感知机模型1212U,,...,)n,,...,)nnuuu其中（为个输入；W=(为联接权值；y为输出；f为阈值函数，即当输入的加权和大于或等于阈值时，感知器的输出为1，否则为0或者-1。它与MP模型的不同之处是假定神经元间的耦合程度（联接权值）可变，这样它就可以学习。感知机的输入与输出关系可描述如下（2-1）式：1111,0()(21)00niiniiiniiiiifwxyfwxifwx或(-1),感知器的学习是有师学习，它可以通过多次训练达到学习的目的。训练的要素有两个：训练样本集和训练规则。训练规则就是误差修正规则；训练样本集是由若干个输入-输出模式对构成的集合，这里的输出模式指对应于输入模式的期望输出。学习过程的基本思想是针对给定的输入-输出模式，求出输入模式的实际输出与期望输出之间的误差，用迭代方法调整连接权值和阈值，直到使各样本的实际输出与期望输出一致。单层感知器的局限性是：若输入模式为线性不可分集合，则网络的学习算法将无法收敛，也就不能进行正确的分类。单层感知器虽然有它的局限性，但它在神经网络研究中有着重要的意义和地位，它提出了自组织、自学习的思想；对能够解决的问题，有一个收敛的算法，并从数学上给出了严格的证明[][]。如果在输入和输出层之间加上一层或多层隐单元，则构成的多层感知器具有很强的处理功能，可以解决异或问题。2.2.2、多层感知机一个M层的多层感知机（前向网络）可描述如下：○1网络包含一个输入层（定义为第0层）和M-1个隐层，最后一个隐层称为输出层。○2第l层包含lN个神经元和一个阈值单元（定义为每层的第0单元），输出层不含阈值单元。○3第1l层第i个单元到第l层的第j个单元的权值表为1,llij。○4第l层（l0）第j个（j0）神经元的输入定义为ljx11,0lNllliijiiy，输出定义为()lljjyfx，其中()f为隐单元激励函数，常采用Sigmoid函数，1()[1exp()]fxx。输入单元一般采用线性激励函数()fxx，阈值单元的输出始终是1.○5目标函数通常采用112,,1111()2MNppMpjpjpppjEEyt其中P为样本数，,jpt为第p个样本的第j个输出分量。对于典型的三层前向网络，其结构如图2.2所示。三层感知器可以识别任一图多变形或误解的图区域。更多层的感知器网络可识别更为复杂的图形。对于多层感知器网络，有以下结果，假定隐层的节点可以根据需要任意设置，那么用三层阈值节点的网络可以实现任意的二值逻辑函数。由于感知器的传输函数是阈值函数，所以在函数不是线性可分时，感知器学习方法得不出任何结果，为此，人们用可为函数如Sigmoid曲线来代替阈值函数，用梯度下降法来修正权值，得到误差回传BP网络。2.2、误差回传神经网络（BP）2.2.1、概述BP网络即误差回传神经网络（Back-PropagationNeuralNetwork），它是一种无反馈的前向网络，网络中的神经元分层排列。除了有输入层、输出层之外，还至少有一层隐蔽层；每一层内神经元的输出均传送到下一层，这种传送由联接权来达到增强、减弱或抑制这些输出的作用，除了输入层的神经元外，隐蔽层和输出层神经元的净输入是前一层神经元输出的加权和。每个神经元均由它的输入、活化函数和阈值来决定它的活化程度。BP网络的工作过程分为学习期和工作期两个部分。学习期由输入信息的正向传播和误差的反向传播两个过程组成。在正向传播的过程中，输入信息从输入层到隐蔽层再到输出层进行逐层处理，每一层神经元的状态只影响下一层神经元的状态，如果输出层的输出与给出的样本希望输出不一致，则计算出输出误差，转让误差反向传播过程，将误差沿原来的联接通路返回。通过修改各层神经元之间的权值，使得误差达到最小。经过大量学习样本训练之后，各层之间的联接层就固定下来了，可以开始工作期。工作期中只有输入信息的正向传播。正向传播的计算按前述神经元模型工作过程进行。因此，BP网络的计算关键在于学习期中的误差反向传播过程，此过程是通过使一个目标函数最小化来完成的。通常目标函数定义为实际输出与希望输出之间的误差平方和（当然也可以定义为熵或线性误差函数），可以使用梯度下降法导出计算公式。2.2.2、BP网络的计算BP网络结构与多层感知机结构图相比，二者是类似的，但差异也是显著的。首先，多层感知机结构中只有一层权值可调，其他各层权值是固定的、不可学习的；BP网络的每一层连接权值都可通过学习来调节。其次，感知机结构中的处理单元为二进制的0或1；而BP网络的基本处理单元（输入层除外）为非线性的输入输出关系，一般选用S型函数。图2.31）传统的BP算法在训练网络的学习阶段，设有N个训练样本，先假定用其中的某一个样本p的输入/输出模式对pX和pT对网络进行训练，隐含层的第i个神经元在样本p作用下的输入为11(1,2,,)MMpppijiijiijjjjnetwowxiq式中，pjx和pjo分别为输入节点j在样本p作用时的输入和输出，对输入节点而言两者相当；ijw为输入层神经元j与隐含层神经元i之间的连接权值；i为隐含层神经元i的阈值；M为输入层的节点数，即输入的个数。隐含层第i个神经元的输出为1,2,,ppiiognetiq式中，g为激活函数。对于Sigmoid型激活函数1011exp/gxx式中，参数1表示偏值，正的1使激活函数向左移动；0的作用是调节Sigmoid函数形状，较小的0使Sigmoid函数逼近一个阶跃限幅函数，而较大的0将使Sigmoid函数变得较为平坦，如图2.4所示。图2.4隐含层激活函数pignet的微分函数为'111,2,,pppppiiiiignetgnetgnetooiq隐含层第i个神经元的输出pio将通过权系数向前传播到输出层第k个神经元并作为它的输入之一，而输出层第k个神经元的总输入为11,2,,qppkikkiinetwokL式中，kiw为隐含层神经元i与输出层神经元k之间的连接权值；k为输出层神经元k的阈值；q为隐含层的节点数。输出层的第k个神经元的实际输出为1,2,,ppkkognetkL输出层激活函数pkgnet的微分函数为'111,2,,pppppkkkkkgnetgnetgnetookL若其输出与给定模式对的期望输出