第七章Hopfield网络

第七章Hopfield神经网络北京科技大学信息工程学院付冬梅[e-mail]62334967Hopfield网络结构和模型Hopfield网络输出的计算过程(离散)Hopfield网络的稳定性Hopfield网络的学习算法Hopfield网络的几个问题Hopfield网络的MATLAB实现示例第七章Hopfield神经网络概述Hopfield网络是神经网络发展历史上的一个重要的里程碑。由美国加州理工学院物理学家J.J.Hopfield教授于1982年提出，是一种单层反馈神经网络。Hopfield网络是一种由非线性元件构成的反馈系统，其稳定状态的分析比前向神经网络要复杂得多。1984年，Hopfield设计并研制了网络模型的电路，并成功地解决了旅行商(TSP)计算难题(优化问题)。Hopfield网络分为离散型和连续型两种网络模型，分别记作DHNN(DiscreteHopfieldNeuralNetwork)和CHNN(ContinuesHopfieldNeuralNetwork)。Hello,I’mJohnHopfield7-1Hopfield网络结构和模型Hopfield网络有离散与连续两种类型。Hopfield网络是得到最充分研究和应用的神经网络模型之一，在众多的研究者之中，美国科学家J.JHopfield的工作具有特别重要的意义，他为这一网络引入了一种稳定过程，即提出了人工神经网络能量函数（也称李雅普诺夫函数）的概念，使网络的运行稳定性判断有了可靠而简便的依据。Hopfield网络在联想存取及优化计算等领域得到了成功的应用，拓宽了神经网络的应用范围。7-1-1离散型Hopfield网络离散Hopfield网结构见图(a)，是单层反馈非线性网，每一节点的输出反馈至输入。Hopfield用模拟电路(电阻、电容和运算放大器)实现网络的神经元(节点)，见图(b)。图9-1离散型Hopfeld网络网络为一层结构的反馈网络，能处理双极型离散数据(即输入–1,+1)，及二进制数据(0,1)。给定初始输入时，网络处于特定的初始状态。网络从初始状态开始运行，可得到网络下一状态的输出。这个输出状态通过反馈连接送到网络的输入端，作为下一阶段运行的输入信号，它可能与初始输入信号不同。如此下去，网络的整个运行过程就是上述反馈过程的重复。如果网络稳定，那么随着多次反馈运行，网络状态最后将达到稳态。用公式表达为：niiiijjjjjtvWftvxv1))(()1()0(其中已被定义，为方便起见，常取0值。若有某个时刻t，从此以后网络状态下不再变迁，即有，则有输出。jfi)()1(tvtv)(tvy7-1-1离散型Hopfield网络7-1-1离散型Hopfield网络相关参数说明任意神经元与间的突触权值为，神经元之间连接是对称的，神经元自身无连接.每个神经元都同其他的神经元相连,其输出信号经过其他神经元又有可能反馈给自己设Hopfield网络中有n个神经元，其中任意神经元的输入用表示，输出用表示，它们都是时间的函数，其中也称为神经元在时刻的状态。n1()()iijjijjivtwutb(1)(())iivtfvtijijwiuivt()ivt激励函数n1n11()0(1)1()0,ijjijjiiijjijjiwvtbvtwvtb7-1-1离散型Hopfield网络7-1-2连续型Hopfield网络连续Hopfield网结构见图(a)，是单层反馈非线性网，每一节点的输出反馈至输入。Hopfield用模拟电路(电阻、电容和运算放大器)实现网络的神经元(节点)，见图(b)。图9-2连续型Hopfeld网络(b)ijRjViViCiRiuiI)(f)(f图9-2连续型Hopfeld网络(b)ijRjViViCiRiuiI)(f)(f网络模型设网络由n个节点组成,第i个节点的方程：)(1iinjiiiijijiiufVIRuRuVdtduC设1111RRRwRiiijjijij'则CdudtRuwVIVfuiiiiijjjiii1'()Hopfield网络模型图9-1连续型Hopfeld网络(b)ijRjViViCiRiuiI)(f)(f运算放大器模拟了神经元的非线性特性；设xuVyRCICii====,,,'tq则dxdtxCwyyfxiiiijjiii=-++=11tq()式中fxeexx()=-+--11,且jiijww=。可见：（1）Ri与Ci的并联模拟了生物（2）1Rij模拟了神经元间突触特性；（3）（4）偏置电流Ii相当于阈值。神经元的时间常数；7-2Hopfield网络的计算过程(离散)在网络运行过程中，网络神经元状态的演变有两种形式。1、异步更新在任一时刻t，只有某一神经元的状态已更新，而其余神经元保持不变，即对应某个特定的。jNnjjijitvWsigntv1)()1(i11,12niijjjv(t)signWv(t)i,,,n2、全并行工作方式即这时也可以把状态转移方程写成向量形式：))(()1(tWvsigntv下面给出几个基本概念的定义，这些基本概念与网络运行过程中状态的变迁有关。网络的稳定性。若网络从初始状态v(0)开始，经过有限时间t后，网络的状态不再发生变化，即则称网络是稳定的。()(),0vttvtt网络的吸引子。设t=0时,对输入模式x，网络处于状态v(0),而在时刻t，网络到达状态v(t)。若v(t)稳定，则称v(t)为网络的稳定吸引子;若网络状态有规律的在某些状态之间振荡，则称网络处于有限环(limitedcircle)状态。若网络无规律的在某些状态之间振荡，则称网络处于混沌(chaos)状态。吸引子的吸引域。对于某些特定的初始状态，网络按一定的运行规则最后可能稳定在同一吸引子上。称能够稳定在吸引子v(t)的所有初始状态集合称为v(t)的吸引域。例7-1计算下列离散Hopfield网络的运行过程，设初始状态X(0)=(101)T，找出其吸引子和对应的吸引域。设：01-2W=10-1-2-10设网络状态为Hopfield网络的能量函数可定义为:7-3Hopfield网络的稳定性由于Hopfield网络为反馈网络，所以需要讨论网络运行的收敛性问题。自然这和网络的拓扑结构以及运行方式有关。如果网络权值对称，则可以定义网络运行的能量函数。能量函数的定义：ijiijiijvvvWE21jiijij,0),,,(21nvvv定理7-1：设Hopfield网络具有图9-1的结构形式，且其状态按异步方式更新，且网络权值对称，无自反馈，那么，网络状态在有限步内收敛到稳定点。证明：假设网络中第k个神经元的状态发生变化，由原状态变为新状态，的状态变化后网络能量为：kNkv1kvkNiijiijiijvvvWE111121其中，有，所以kji,jjiivvvv11,11122ikkikjkjkkikjkEEEWvvWvvv由于网络的对称性，有()kikikikEvWv若状态变化时，则：112kkkkvvvv上式由网络的双极性就可推得。进一步改写为1,1,1kkvvikkkiiknsvvWvE112)(2若网络的状态演变按方程进行，由sgn函数性质立即可推得，或)sgn(1kksv10kkvs120kkEvs即网络能量随网络状态的变化单调下降。另外，由于网络的能量函数有下界，因此网络必在有限步后收敛。证毕定理7-2：设Hopfield网络具有图9-2的结构形式（非线性作用函数是二值的），则在该网络权矩阵对称且负定的条件下，对于网络状态的每次变化，网络能量E单调下降。证明：可把能量函数定义写成下面的矩阵乘积形式：1()()()()2TTEtvtWvtvt定义：，注意到，整理可得到网络状态由v(t)变为v(t+1)时的能量变化为：TTvWvvtsE)()(21))((其中,而Wtvts)()()()1(tvtvv()0,iivst故()()0Tstv因为W为非负定的，所以有，从而可以知道：当时，必有，即网络能量单调下降。1()()02TvWv0v(1)()0EEtEt即网络状态的同步更新时是稳定的。证毕(1)()EEtEt1122()()()()TTtWvttWvt(i).权值矩阵为对称矩阵且对角元素为0,即一般地说来,在进行Hopfield联想记忆编码时,要求:w;,,0ji(ii).能够记忆预先给定的K个模式Kxxx,,,21，即.,,2,1,,,2,1),(Kknixwsignxiijkjijki今后为了方便起见,我们记iiiw归结Hopfield网络的学习算法如下:(1)开始赋于权值矩阵W(0)以一个较小不为0的随机数,t=0并且要求:;,,2,1,),0()0(njiWwjiij7-4Hopfield网络的学习算法(2)随机输入模式,以作为当前的输入模式x(t),Kkxk1,kx即nixtxkii,,2,1,)(计算nitxtwtxtwtrijiiijiji,,2,1,))()()(()(若网络对模式稳定,转到(4);否则进行(3);kx(3)更新网络权值:1(1)()((())(()))()(),,2ijijijijwtwtrtrtxtxtij(4)若网络权值对所有的模式稳定,则停机;否则转到(2).其中000,()0(())2(())0,,()0ifrtrtrrtnifrtn通常可取定理7-3:对于预先给定中的K个模式若存在实对称矩阵满足{1,1}nKxxx,,,21W0()0,1,,,1,kkkiijjiijixwxwinkK，那么上述算法在有限步内收敛。()rt表示网络的综合输入(())rt表示网络的非线性作用函数若不考虑网络的容错性能,仅仅考虑网络的容量意义不大.用上述编码方法所给出的编码有时容错性能较差.为了使所得的权值矩阵对记忆样本的吸引域尽可能地大,利用前面的算法,求出一些满足条件的权值矩阵M每一个矩阵除以它的绝对值最大的元素的绝对值，使得它的绝对值最大的元素的绝对值为1。设新求得矩阵为：iW12,,,M然后求出这些矩阵的平均值矩阵：)(121M我们涉及到Hopfield网络的两种运行形式，相应的有两种不同的应用方向：联想记忆因网络能收敛于稳态，故可用于联想记忆。若将稳态视为一个记忆，则由初态向稳态收敛的过程就是寻找记忆的过程，初态认为是给定的部分信息，收敛过程可认为是从部分信息找到了全部信息，实现了联想记忆的功能。联想记忆模型的一个重要特性：由噪声输入模式，反映出训练模式。优化计算若将稳态视为某一优化计算问题目标函数的极小点，则由初态向稳态收敛的过程就是优化计算过程。先把问题表述成能量函数，进一步由能量函数推出网络权结构，然后在某种条件下让网络运行，网络的稳定状态一般来说就对应与问题的解答。7-5Hopfield网络的几个问题联想记忆与优化计算的关系网络用于计算时W已知，目的是为了寻找稳态；用于联想记忆时稳态是给定的，由学习求得权系值。因此，二者是对偶的。7-5Hopfield网络的几个问题网络渐近稳定的前提前提是，否则，系统的运动无准则。wwijjiHopfield反馈神经网络应用于联想与优化计算是相对偶的。应用于优化计算时，网络权矩阵W为已知，目的是寻找具有最小能量值的稳定状态。用作联想时，稳定状态时给定的，目的是通过学习