动态神经网络综述

1动态神经网络综述摘要动态神经网络(DNN)由于具有很强的学习能力和逼近任意非线性函数的特点而被广泛应用。本文系统介绍了该网络的几种常见模型，并在此基础之上介绍它的基本学习算法、功能、应用领域、实际推广。关键词：动态神经网络，模型，功能，算法，应用AbstractDynamicNeuralNetwork(DNN)hasbeenwidelyappliedbymeansofthestrongabilityoflearningandthecharacteristicofapproximatinganynonlinearfunction.Thepapermainlyintroducesseveralmodelsofcommondynamicneuralnetwork,anddynamicneuralnetwork'sfunction,basicalgorithm,applicationandpromotion.Keywords:DNN,Models,Function,Algorithm,Application21、绪论人工神经网络（ArtificialNeuralNetworks，简写为ANNs）是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点（或称神经元）和之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activationfunction）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达[1]。神经网络按是否含有延迟或反馈环节，以及与时间是否相关分为静态神经网络和动态神经网络,其中含有延迟或反馈环节，与时间直接有关的神经网络称为动态神经网络[2]。动态神经网络具有很强的学习能力和逼近任意非线性函数的特点,自20世纪80年代末以来,将动态神经网络作为一种新的方法引入复杂非线性系统建模中引起了工程控制领域许多学者的关注[3]。动态神经网络现在已经广泛地用于模式识别、语音识别、图象处理、信号处理、系统控制、AUV自适应航向和机器人控制、故障检测、变形预报、最优化决策及求解非线性代数问题等方面。本文第二章主要介绍了动态神经网络的分类，基本模型和算法；第三章主要介绍了动态神经网络的应用；第四章简要介绍了神经网络的改进方法。2、DNN网络的基本模型和算法根据结构特点，可以将动态神经网络分为3类:全反馈网络结构,部分反馈网络结构以及无反馈的网络结构。反馈网络(RecurrentNetwork),又称自联想记忆网络,如下图所示:图2-1反馈网络模型反馈网络的目的是为了设计一个网络，储存一组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到这个设计的平衡点上。反馈网络能够表现出非线性动力学系统的动态特性。它所具有的主要特性为以下两点：第一、网络系统具有若干个稳定状态。当网络从某一初始状态开始运动，网络系统总可以收敛到某一个稳定的平衡状态；第二、系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中。反馈网络根据信号的时间域的性质的分类为3如果激活函数f(·)是一个二值型的阶跃函数,则称此网络为离散型反馈网络,主要用于联想记忆;如果f(·)为一个连续单调上升的有界函数,这类网络被称为连续型反馈网络,主要用于优化计算。2.1、Hopfield神经网络1982年,美国加州工学院J.Hopfield提出了可用作联想存储器和优化计算的反馈网络,这个网络称为Hopfield神经网络(HNN)模型,也称Hopfield模型.Hopfield网络是全反馈网络的突出代表,如图2-2所示,是一种单层对称全反馈的结构。Hopfield神经网络的结构特点是：每一个神经元的输出信号通过其它神经元后，反馈到自己的输入端。Hopfield网络具有从初始状态朝着能量减小的方向变化,最终收敛到稳定状态的能力,因此Hopfield网络可以实现优化计算，联想记忆等功能[4]。图2-2Hopfiled网络结构图Hopfield神经网络是一种互连型神经网络，其演变过程是一个非线性动力学系统，可以用一组非线性差分议程描述（离散型）或微分方程（连续型）来描述。系统的稳定性可用所谓的“能量函数”进行分析。在满足条件的情况下，某种“能量函数”的能量在网络运行过程中不断地减少，最后趋于稳定的平衡状态。对于一个非线性动力学系统，系统的状态从某一初值出发经过演变后可能有如下几种结果：渐进稳定点（吸引子）、极限环、混沌、状态发散[5]。在Hopfield网络中，如果其传输函数()f是一个二值型的硬函数，则称此网络为离散型Hopfield网络；如果传输函数()f是一个连续单调上升的有界函数，则称此网络为连续型Hopfield网络。2.1.1、离散Hopfield神经网络Hopfield最早提出的网络是神经元的输出为0-1二值的NN,所以,也称离散的HNN(简称为DHNN)。在DHNN网络中,神经元所输出的离散值1和0分别表示神经元处于兴奋和抑制状态。各神经元通过赋有权重的连接来互联。42.1.1.1、网络结构以三个神经元组成的DHNN来说一下，其结构如下：x1x3x2y1y3y2图1.1.1三神经元组成的HNNw11w12w13w21w23w31w22w33w32图2-2三个神经元组成的HNN在图中,第0层仅仅是作为网络的输入,它不是实际神经元,所以无计算功能;而第一层是实际神经元,故而执行对输入信息和权系数乘积求累加和,并由非线性函数f处理后产生输出信息。f是一个简单的阈值函数,如果神经元的输入信息的综合大于阈值,那么,神经元的输出就取值为1;小于阈值,则神经元的输出就取值为0。对于二值神经元,它的计算公式如下jn1iiji,jxywu其中xj为外部输入,并且有yj=1,当ujj时yj=0,当ujj时对于DHNN,其网络状态是输出神经元信息的集合。对于一个输出层是n个神经元的网络,则其t时刻的状态为一个n维向量:y(t)=[y1(t),y2(t),...,yn(t)]因为yi(t)可以取值为1或0,故n维向量y(t),即网络状态,有2n种状态.对于一个由n个神经元组成的DHNN,则有nn权系数矩阵w={wij|i=1,2,...,n;j=1,2,...,n},同时,有n维阈值向量=[1,2,...,n]。一般而言,w和可以确定一个唯一的DHNN.当wi,j在i=j时等于0,则说明一个神经元的输出并不会反馈到它自己的输入。这时,DHNN称为无自反馈网络.当wi,j在i=j时不等于0,则说明—个神经元的输出会反馈到它自己的输入。这时,DHNN称为有自反馈的网络.2.1.1.2、工作方式DHNN有二种不同的工作方式:串行(异步)方式和并行(同步)方式.1、串行(异步)方式5在时刻t时,只有某一个神经元j的状态产生变化,而其它n-1个神经元的状态不变这时称串行工作方式。并且有：ij(t)y1)(tyijx(t)ywf1)(tyjjjjn1rrjr,jθ在不考虑外部输入时,则有jn1rrjr,j(t)ywf1)(tyθ2、并行(同步)方式在任一时刻t,所有的神经元的状态都产生了变化,则称并行工作方式。并且有n1,2,...,jx(t)ywf1)(tyjjn1iiji,jθ在不考虑外部输入时,则有jn1iiji,j(t)ywf1)(tyθ2.1.1.3、学习算法Hopfield网络按动力学方式运行，其工作过程为状态的演化过程，即从初始状态按“能量”减小的方向进行演化，直到达到稳定状态，稳定状态即为网络的输出状态。下面以串行方式为例说明Hopfield网络的运行步骤：第一步对网络进行初始化；第二步从网络中随机选取一个神经元i；第三步求出神经元i的输入()iut：1()()niijjijjiutwvtb第四步求出神经元i的输出(1)ivt，此时网络中的其他神经元的输出保持不变；说明：(1)(())iivtfut,f为激励函数，可取阶跃函数或符号函数。如取符号函数，则Hopfield网络的神经元输出(1)ivt取离散值1或－1，即：6111,()0(1)1,()0nijjijjiinijjijjiwvtbvtwvtb第五步判断网络是否达到稳定状态，若达到稳定状态或满足给定条件，则结束；否则转至第二步继续运行。这里网络的稳定状态定义为：若网络从某一时刻以后，状态不再发生变化。即：()(),0vttvtt。2.1.2、连续Hopfield神经网络连续Hopfield网络(简称CHNN)的拓扑结构和DHNN的结构相似.这种拓扑结构和生物的神经系统中大量存在的神经反馈回路是相一致的。在CHNN中,和DHNN一样,其稳定条件也要求Wij=Wji。CHNN和DHNN不同的地方在于其函数g不是阶跃函数,而是S形的连续函数.一般取g(u)=1/(1+e-u)CHNN在时间上是连续的.所以,网络中各神经元是处于同步方式工作的。2.1.2.1网络结构考虑对于一个神经细胞,即神经元i,其内部膜电位状态用uj表示,生物神经元的动态(微分系统)由运算放大器来模拟,其中微分电路中细胞膜输入电容为Ci,细胞膜的传递电阻为Ri,输出电压为Vi,外部输入电流用Ii表示,神经元的状态满足如下动力学方程.nitUgtVItVWRtUttUCiiiinjjjiiiii,...,2,1))(()()()(d)(d1模仿生物神经元及其网络的主要特性，连续型Hopfield网络利用模拟电路构造了反馈人工神经网络的电路模型，图2-4为其网络结构：电路中微分系统的暂态过程的时间常数通过电容Ci,和电阻Ri并联实现,跨导Tij模拟神经元之间互连的突触特性运算放大器模拟神经元的非线性特性Hopfield用模拟电路设计了一个CHNN的电路模型，如图2-3所示：图2-37图2-42.1.2.2基本算法取参数得：iiiufvNi4321过程：先设定初态（iu），运行至稳定，得到稳定状态。'111niiijjiiijiiiiduIuVdtRCRCCVfu'1111NjiiijRRR1niiijjijduuwvdt8对应输出：由于Hopfleld网络是全反馈网络,因此当网络中神经元节点数目比较多时,网络的结构就过于复杂,并且Hopfleld网络中没有隐含层,使得网络的非线性性能比较差,因此在一定程度上限制了它的应用。2.2、Elman神经网络Elman网络是部分反馈网络的突出代表。Elman网络是JeffreyL.Elman于1990年首先针对语音处理问题而提出来的,Elman神经网络是一种动态的反馈网络，它除了具有输入层、隐层、输出层单元外，还有一个特殊的联系单元（关于该网络的更详细内容可参考文献[6]）。联系单元是用来记忆隐层单元以前时刻的输出值，可认为是一时延算子，它使该网络具有动态记忆的功能。2.2.1、网络结构Elman网络结构如图2-5所示[7]。图2-5Elman网络结构示意图Elman网络由4层组成：输入层信号传输作用隐含层承接层也称上下文单元或状态层,承接层从隐含层接收反馈信号，用来记忆隐含层神经元前一时刻的输出值，承接层神经元的输出经延迟与存储，再输入到隐011tan2iiuvu9含层。这样就使其对历史数据具有敏感性，增加了网络自身处理动态信息的能力。输出层仅起线性加权作用。2.2.2、数学模型其中连接权为联系单元与隐层单元的连接权矩阵，为输入单元与隐层单元的连接权矩阵，为隐层单元与