第07讲反馈网络

1第07讲反馈网络反馈网络(RecurrentNetwork)，又称自联想记忆网络，其目的是为了设计一个网络，储存一组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到这个设计的平衡点上。1982年，美国加州工学院物理学家霍普菲尔德(J．Hopfield)发表了一篇对人工神经网络研究颇有影响的论文。他提出了一种具有相互联接的反馈型人工神经网络模型，并将“能量函数”的概念引入到对称霍普菲尔德网络的研究中，给出了网络的稳定性判据，并用来进行约束优化问题，如TSP问题的求解，实现A／D转换等。他利用多元霍普菲尔德网络的多吸引子及其吸引域，实现了信息的联想记忆(associativememory)功能。另外霍普菲尔德网络与电子模拟线路之间存在着明显的对应关系，使得该网络易于理解且便于实现。而它所执行的运算在本质上不同于布尔代数运算，对新一代电子神经计算机具有很大的吸引力。反馈网络能够表现出非线性动力学系统的动态特性。它所具有的主要特性为以下两点：第一、网络系统具有若干个稳定状态。当网络从某一初始状态开始运动，网络系统总可以收敛到某一个稳定的平衡状态；第二，系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中。如果将反馈网络稳定的平衡状态作为一种记忆，那么当网络由任一初始状态向稳态的转化过程，实质上是一种寻找记忆的过程。网络所具有的稳定平衡点是实现联想记忆的基础。所以对反馈网络的设计和应用必须建立在对其系统所具有的动力学特性理解的基础上，这其中包括网络的稳定性，稳定的平衡状态，以及判定其稳定的能量函数等基本概念。针对人工神经网络的特点，若按其运行过程的信息流向来分类，则可分为两大类：前向网络和反馈网络。在前面的章节里，主要介绍了前向网络，通过许多具有简单处理能力的神经元的相互组合作用使整个网络具有复杂的非线性逼近能力。在那里，着重分析的是网络的学习规则和训练过程，并研究如何提高网络整体非线性处理能力。在本章中，我们将集中讨论反馈网络，通过网络神经元状态的变迁而最终稳定于平衡状态，得到联想存储或优化计算的结果。在这里，着重关心的是网络的稳定性问题，研究的重点是怎样得到和利用稳定的反馈网络。反馈式网络有多种，这里主要讨论由霍普菲尔德提出的反馈网络。霍普菲尔德网络是单2层对称全反馈网络，根据其激活函数的选取不同，可分为离散型的霍普菲尔德网络(DiscreteHopfieldNeuralNetwork，简称DHNN)和连续型的霍普菲尔德网络(ContinuousHopfieldNeuralNetwork，简称CHNN)。DHNN的激活函数为二值型的，其输入、输出为{0，1}的反馈网络，主要用于联想记忆。CHNN的激活函数的输入与输出之间的关系为连续可微的单调上升函数，主要用于优化计算。霍普菲尔德网络已经成功地应用于多种场合，现在仍常有新的应用的报道。具体的应用方向主要集中在以下方面：图像处理、语声处理、信号处理、数据查询、容错计算、模式分类、模式识别等。7．1霍普菲尔德网络模型反馈网络的网络结构如图7．1所示。图7．1反馈网络结构图该网络为单层全反馈网络，其中的每个神经元的输出都是与其他神经元的输入相连的。所以其输入数目与输出层神经元的数目是相等的，有r＝s。在反馈网络中，如果其激活函数f(·)是一个二值型的硬函数，如图7．2所示，即ai＝sgn(ni)，i＝l,2,…r，则称此网络为离散型反馈网络，如果ai=f(ni)中的f(·)为一个连续单调上升的有界函数，这类网络被称为连续型反馈网络，图7．3中所示为一个具有饱和线性激活函数，它满足连续单调上升的有界函数的条件，常作为连续型的激活函数。3图7．2DHNN中的激活函数图7．3CHNN中的激活函数7．2状态轨迹对于一个由r个神经元组成的反馈网络，若将加权输入和n视作网络的状态，则状态矢量N=[n1,n2,…，nr]，网络的输出矢量为A＝[a1，a2…，as]T。在某一时刻t，分别用N(t)和A(t)来表示各自的矢量。在下一时刻t+1，可得到N(t+1)，而N(t+1)又引起A(t+1)的变化，这种反馈演化的过程，使状态矢量N(t)随时间发生变化。在一个r维状态空间上，可以用一条轨迹来描述状态变化情况。从初始值N(t0)出发，N(t0+Δt)→N(t0+2Δt)→…→N(t0+mΔt)，这些在空间上的点组成的确定轨迹，是演化过程中所有可能状态的集合，我们称这个状态空间为相空间。图7．4描述了一个三维相空间上三条不同的轨迹，对于DHNN，因为N(t)中每个值只可能为±1，或{0，1}，对于确定的权值wij，其轨迹是跳跃的阶梯式，如图中A所示，对于CHNN，因为f(·)是连续的，因而，其轨迹也是连续的。如图中B、C所示。图7．4三维空间中的状态轨迹4对于不同的连接权值wij和输入Pj(i,j=1,2,…r)，反馈网络状态轨迹可能出现以下几种情况。7．2．1状态轨迹为稳定点状态轨迹从系统在t0时状态的初值N(t0)开始，经过一定的时间t(t＞0)后，到达N(t0+t)。如果N(t0+t+Δt)=N(t0+t)，Δt＞0，则状态N(t0+t)称为网络的稳定点，或平衡点。由于N(t0+t)不再变化，对于P(t0+t)也达到了稳定值。即反馈网络从任一初始态P(0)开始运动，若存在某一有限时刻t，从t以后的网络状态不再发生变化：P(t+Δt)=P(t)，Δt＞0，则称该网络是稳定的。处于稳定时的网络状态叫做稳定状态，又称为定吸引子。对于非线性系统来说，不同的初始值N(t0)，可能有不同的轨迹，到达不同的稳定点，这些稳定点，也可以认为是人工神经网络的解。在一个反馈网络中，存在很多稳定点，根据不同情况，这些稳定点可以分为：1)渐近稳定点：如果在稳定点Ne周围的N(σ)区域内，从任一个初始状态N(t0)出发的每个运动，当t→∞时都收敛于Ne，则称Ne为渐近稳定点。此时，不仅存在一个稳定点Ne，而且存在一个稳定域。有时称此稳定点为吸引子，其对应的稳定域为吸引域；2)不稳定平衡点Nen：在某些特定的轨迹演化过程中，网络能够到达稳定点Nen，但对于其它方向上的任意一个小的区域N(σ)，不管N(σ)取多么小，其轨迹在时间t以后总是偏离Nen；3)网络的解：如果网络最后稳定到设计人员期望的稳定点，且该稳定点又是渐近稳定点，那么这个点称为网络的解；4)网络的伪稳定点：网络最终稳定到一个渐近稳定点上，但这个稳定点不是网络设计所要求的解，这个稳定点为伪稳定点。在一个非线性的反馈网络中，存在着这些不同类型的稳定点，而网络设计的目的是希望网络最终收敛到所要求的稳定点上，并且还要有一定的稳定域。7．2．2状态轨迹为极限环如果在某些参数的情况下，状态N(t)的轨迹是一个圆，或一个环，状态N(t)沿着环重复旋转，永不停止，此时的输出A(t)也出现周期变化，即出现振荡，如图7．4中C的轨迹即是极限环出现的情形。对于DHNN，轨迹变化可能在两种状态下来回跳动，其极限环为2。5如果在r种状态下循环变化，称其极限环为r。7．2．3混沌现象如果状态N(t)的轨迹在某个确定的范围内运动，但既不重复，又不能停下来，状态变化为无穷多个，而轨迹也不能发散到无穷远，这种现象称为混沌(chaos)。在出现混沌的情况下，系统输出变化为无穷多个，并且随时间推移不能趋向稳定，但又不发散。这种现象越来越引起人们的重视，因为在脑电波的测试中已发现这种现象，而在真正的神经网络中存在这种现象，也应在人工神经网络中加以考虑。7．2．4状态轨迹发散如果状态N(t)的轨迹随时间一直延伸到无穷远，此时状态发散，系统的输出也发散。在人工神经网络中，由于输入、输出激活函数上一个有界函数，虽然状态N(t)是发散的，但其输出A(t)还是稳定的，而A（t）的稳定反过来又限制了状态的发散。一般非线性人工神经网络中发散现象是不会发生的，除非神经元的输入输出激活函数是线性的。对于一个由r个神经元组成的反馈系统，它的行为就是由这些状态轨迹的情况来决定的。目前的人工神经网络是利用第一种情况即稳定的专门轨迹来解决某些问题的。如果把系统的稳定点视做一个记忆的话，那么从初始状态朝这个稳定点移动的过程就是寻找该记忆的过程。状态的初始值可以认为是给定的有关该记忆的部分信息，状态N(t)移动的过程，是从部分信息去寻找全部信息，这就是联想记忆的过程。如果把系统的稳定点考虑为一个能量函数的极小点，在状态空间中，从初始状态N(t0)＝N(t0+t)，最后到达N*。若N*为稳定点，则可以看作是N*把N(t0)吸引了过去，在N(t0)时能量比较大，而吸引到N*时能量已为极小了。根据这个道理，可以把这个能量的极小点作为一个优化目标函数的极小点，把状态变化的过程看成是优化某一个目标函数的过程。因此反馈网络的状态移动的过程实际上是一种计算联想记忆或优化的过程。它的解并不需要真的去计算，只需要去形成一类反馈神经网络，适当地讨论其权重值wij，使其初始输入A(t0)向稳定吸引子状态的移动就可以达到这个目的。霍普菲尔德网络是利用稳定吸引子来对信息进行储存的，利用从初始状态到稳定吸引子的运行过程来实现对信息的联想存取的。通过对神经元之间的权和阈值的设计，要求单层的反馈网络达到下列目标：(1)网络系统能够达到稳定收敛6即研究系统在什么条件下不会出现振荡和混钝现象。(2)网络的稳定点一个非线性网络能够有很多个稳定点，对权值的设计，要求其中的某些稳定点是所要求的解。对于用做联想记忆的反馈型网络，希望稳定点就是一个记忆，那么记忆容量就与稳定点的数量有关，希望记忆的量越大，那么，稳定点的数目也越大，但稳定点数目的增加可能会引起吸引域的减小，从而使联想功能减弱。对于用做优化的反馈网络，由于目标函数(即系统中的能量函数)往往要求只有一个全局最小。那么稳定点越多，陷入局部最小的可能性就越大，因而要求系统的稳定点越少越好。(3)吸引域的设计希望的稳定点有尽可能大的吸引域，而非希望的稳定点的吸引域要尽可能的小。因为状态空间是一个多维空间，状态随时间的变化轨迹可能是多种形状，吸引域就很难用一个明确的解析式来表达，这在设计时要尽可能考虑。7．3离散型霍普菲尔德网络7．3．1DHNN模型结构在DHNN模型中，每个神经元节点的输出可以有两值状态，-1或1(0或1)，其输出类似于MP神经元，可表示为：在上式中，取b＝0，权矩阵中有wij＝wji，且取wii＝0。即DHNN采用对称联接。因此，其网络结构可以用一个加权元向量图表示。图7．5(a)为一个3节点DHNN结构，其中，每个输入神经元节点除了不与具有相同节点号的输出相连外，与其他节点两两相连。每个输出信号又反馈到相同的输入节点。由图7．5(a)，考虑到DHNN的权值特性wij＝wji，网络各节点加权输入和分别为：7由此可得简化后等效的网络结构如图7．5(b)所示。图7．5霍普菲尔德网络图对于以符号函数为激活函数的网络，网络的方程可写为：7．3．2联想记忆联想记忆功能是DHNN的一个重要应用范围。要想实现联想记忆，反馈网络必须具有两个基本条件：①网络能收敛到稳定的平衡状态，并以其作为样本的记忆信息；②具有回忆能力，能够从某一残缺的信息回忆起所属的完整的记忆信息。DHNN实现联想记忆的过程分为两个阶段：学习记忆阶段和联想回忆阶段。在学习记忆阶段中，设计者通过某一设计方法确定一组合适的权值，使网络记忆期望的稳定平衡点。8而联想回忆阶段则是网络的工作过程。此时，当给定网络某一输入模式，网络能够通过自身的动力学状态演化过程最终达到稳定的平衡点，从而实现自联想或异联想回忆。反馈网络有两种基本的工作方式：串行异步和并行同步方式。1)串行异步方式：任意时刻随机地或确定性地选择网络中的一个神经元进行状态更新，而其余神经元的状态保持不变；2)并行同步方式：任意时刻网络中部分神经元(比如同一层的神经元)的状态同时更新。如果任意时刻网络中全部神经元同时进行状态更新，那么称之为全并行同步方式。对于s个神经元的反馈网络DHNN有2s个状态的可能性。其输出状态是一个包含-1或1(0或1)的矢量，每一时刻网络将处