反馈神经网络资料

北京工商大学信息工程学院第五章反馈神经网络北京工商大学信息工程学院5反馈神经网络Hopfield网络分为离散型和连续型两种网络模型，分别记作DHNN(DiscreteHopfieldNeuralNetwork)和CHNN(ContinuesHopfieldNeuralNetwork)，本章重点讨论前一种类型。根据神经网络运行过程中的信息流向，可分为前馈式和反馈式两种基本类型。前馈网络的输出仅由当前输入和权矩阵决定，而与网络先前的输出状态无关。美国加州理工学院物理学家J.J.Hopfield教授于1982年提出一种单层反馈神经网络，后来人们将这种反馈网络称作Hopfield网。北京工商大学信息工程学院5.1.1网络的结构与工作方式离散型反馈网络的拓扑结构x1x2…xi…xnT1T2…Ti…Ti5.1离散型Hopfield神经网络(1)网络的状态DHNN网中的每个神经元都有相同的功能，其输出称为状态，用xj表示。)net(fxjjj=1,2,…,n所有神经元状态的集合就构成反馈网络的状态X=[x1,x2,…,xn]T反馈网络的输入就是网络的状态初始值，表示为X(0)=[x1(0),x2(0),…,xn(0)]T反馈网络在外界输入激发下，从初始状态进入动态演变过程，变化规律为0101sgnjjjjnetnetnetx）（j=1,2,…,n(5.1)DHNN网的转移函数常采用符号函数式中净输入为nijiijjTxwnet1)(j=1,2,…,n(5.2)对于DHNN网，一般有wii=0，wij=wji。反馈网络稳定时每个神经元的状态都不再改变，此时的稳定状态就是网络的输出，表示为t)t(limX(2)网络的异步工作方式ijtxijtnettxjjj)()](sgn[)1((5.3)(3)网络的同步工作方式网络的同步工作方式是一种并行方式，所有神经元同时调整状态，即)](sgn[)1(tnettxjjj=1,2,…,n(5.4)网络运行时每次只有一个神经元进行状态的调整计算，其它神经元的状态均保持不变，即北京工商大学信息工程学院5.1.2.1网络的稳定性DHNN网实质上是一个离散的非线性动力学系统。网络从初态X(0)开始，若能经有限次递归后，其状态不再发生变化，即X(t+1)＝X(t)，则称该网络是稳定的。如果网络是稳定的，它可以从任一初态收敛到一个稳态：(a)(b)(c)5.1.2网络的稳定性与吸引子北京工商大学信息工程学院若网络是不稳定的，由于DHNN网每个节点的状态只有1和-1两种情况，网络不可能出现无限发散的情况，而只可能出现限幅的自持振荡，这种网络称为有限环网络。(a)(b)(c)如果网络状态的轨迹在某个确定的范围内变迁，但既不重复也不停止，状态变化为无穷多个，轨迹也不发散到无穷远，这种现象称为浑沌。(a)(b)(c)北京工商大学信息工程学院网络达到稳定时的状态X，称为网络的吸引子。如果把吸引子视为问题的解，从初态朝吸引子演变的过程便是求解计算的过程。若把需记忆的样本信息存储于网络不同的吸引子，当输入含有部分记忆信息的样本时，网络的演变过程便是从部分信息寻找全部信息，即联想回忆的过程。定义5.1若网络的状态X满足X=f(WX-T)则称X为网络的吸引子。5.1.2.2吸引子与能量函数北京工商大学信息工程学院定理5.1对于DHNN网，若按异步方式调整网络状态，且连接权矩阵W为对称阵，则对于任意初态，网络都最终收敛到一个吸引子。定理5.1证明：定义网络的能量函数为：TXWXX)t()t()t()t(ETT21(5.5)令网络的能量改变量为ΔE，状态改变量为ΔX，有)()1()(tttEEE(5.6))()1()(tttXXX(5.7)5.1.2.2吸引子与能量函数将式(5.4)、(5.6)代入(5.5)，则网络能量可进一步展开为)t(E)1t(E)t(E])()()(21[)]()([)]()([)]()([21TXWXXTXXXXWXXtttttttttTTTTTXXWXWXX)()()()()(21tttttTTT(5.8))()(])()[(21ttTttTTXWXWXX将代入上式，并考虑到W为对称矩阵，有Tjtxt]0,...,0),(,0,...,0[)(XjjjnijiijjwtxTxwtxtE)()]()[()(2211)t(net)t(x)t(Ejj(5.9)上式中可能出现的情况：情况a：xj(t)=-1,xj(t+1)=1,由式(5.7)得Δxj(t)=2,由式(5.1)知，netj(t)≧0，代入式(5.9)，得ΔE(t)≦0。情况b：xj(t)=1,xj(t+1)=-1,所以Δxj(t)=-2,由式(5.1)知，netj(t)0，代入式(5.9)，得ΔE(t)0。情况c：xj(t)=xj(t+1),所以Δxj(t)=0,代入式(5.9)，从而有ΔE(t)=0。由此可知在任何情况下均有ΔE(t)≦0。由于网络中各节点的状态只能取1或–1，能量函数E(t)作为网络状态的函数是有下界的，因此网络能量函数最终将收敛于一个常数，此时ΔE(t)=0。综上所述，当网络工作方式和权矩阵均满足定理5.1的条件时，网络最终将收敛到一个吸引子。综上所述，当网络工作方式和权矩阵均满足定理5.1的条件时，网络最终将收敛到一个吸引子。定理5.2对于DHNN网，若按同步方式调整状态，且连接权矩阵W为非负定对称阵，则对于任意初态，网络都最终收敛到一个吸引子。证明：由式(5.8)得)t()t()t()t(T21TXWXnetX)t(E)1t(E)t(E)()(])()[(ttTttT21TXWXWXX)t()t()t(net)t(xT21n1jjjXWX前已证明，对于任何神经元j，有0)t(net)t(xjj因此上式第一项不大于0，只要W为非负定阵，第二项也不大于0，于是有⊿E(t)≦0，也就是说E(t)最终将收敛到一个常数值，对应的稳定状态是网络的一个吸引子。北京工商大学信息工程学院以上分析表明，在网络从初态向稳态演变的过程中，网络的能量始终向减小的方向演变，当能量最终稳定于一个常数时，该常数对应于网络能量的极小状态，称该极小状态为网络的能量井，能量井对应于网络的吸引子。5.1.2.2吸引子与能量函数北京工商大学信息工程学院性质1：若X是网络的一个吸引子，且阈值T=0，在sgn(0)处，xj(t+1)=xj(t)，则－X也一定是该网络的吸引子。证明：∵X是吸引子，即X=f(WX)，从而有f[W(－X)]=f[－WX]=－f[WX]=－X∴－X也是该网络的吸引子。5.1.2.3吸引子的性质性质2：若Xa是网络的一个吸引子，则与Xa的海明距离dH(Xa，Xb)=1的Xb一定不是吸引子。证明：不妨设x1a≠x1b，xja≠xjb，j=2,3,…,n。∵w11=0，由吸引子定义，有)Txw(f)Txw(fxn2i1biiin2i1aiiia1由假设条件知，x1a≠x1b，故)Txw(fxn2i1biiib1∴-X也是该网络的吸引子。北京工商大学信息工程学院能使网络稳定在同一吸引子的所有初态的集合，称为该吸引子的吸引域。定义5.2若Xa是吸引子，对于异步方式，若存在一个调整次序，使网络可以从状态X演变到Xa，则称X弱吸引到Xa；若对于任意调整次序，网络都可以从状态X演变到Xa，则称X强吸引到Xa。定义5.3若对某些X，有X弱吸引到吸引子Xa，则称这些X的集合为Xa的弱吸引域；若对某些X，有X强吸引到吸引子Xa，则称这些X的集合为Xa的强吸引域。5.1.2.4吸引子的吸引域北京工商大学信息工程学院例5.1设有3节点DHNN网，用无向图表示如下，权值与阈值均已标在图中，试计算网络演变过程的状态。x1-0.1-0.50.2x20.00.0x30.6解：设各节点状态取值为1或0，3节点DHNN网络应有23=8种状态。不妨将X=(x1,x2,x3)T=(0,0,0)T作为网络初态，按1→2→3的次序更新状态。第1步：更新x1，x1=sgn[(-0.5)0+0.20－(-0.1)]=sgn(0.1)=1其它节点状态不变，网络状态由(0,0,0)T变成(1,0,0)T。如果先更新x2或x3，网络状态将仍为(0,0,0)T，因此初态保持不变的概率为2/3，而变为(1,0,0)T的概率为1/3。x1-0.1-0.50.2x20.00.0x30.6第2步：此时网络状态为(1,0,0)T，更新x2后，得x2=sgn[(-0.5)1+0.60－0]=sgn(-0.5)=0其它节点状态不变，网络状态仍为(1,0,0)T。如果本步先更新x1或x3，网络相应状态将为(1,0,0)T和(1,0,1)T，因此本状态保持不变的概率为2/3，而变为(1,0,0)T的概率为1/3。第3步：此时网络状态为(1,0,0)T，更新x3得x3=sgn[0.21+0.60－0]=sgn(0.2)=1同理可算出其它状态之间的演变历程和状态转移概率。1/31101/31/31/31/30100002/3001x1-0.11/31/31002/31/3-0.50.21/31/30.62/31/3x20.00.0x31011/3(a)1112/31/30113/3(b)DHNN网络状态演变示意图北京工商大学信息工程学院为了使所设计的权值满足要求，权值矩阵应符合以下要求：⑴为保证异步方式工作时网络收敛，W应为对称阵；⑵为保证同步方式工作时网络收敛，W应为非负定对称阵；⑶保证给定样本是网络的吸引子，并且要有一定的吸引域。5.1.3.2外积和法设给定P个模式样本Xp，p=1,2,…,P，x{-1,1}n，并设样本两两正交，且nP，则权值矩阵为记忆样本的外积和P1pTpp)(XXW(5.16)5.1.3网络的权值设计若取wjj=0，上式应写为P1pTpp]I)([XXW(5.17)式中I为单位矩阵。上式写成分量元素形式，有ji0jixxwP1ppjpiij(5.18)下面检验所给样本能否称为吸引子。因为P个样本Xp，p=1,2,…,P，x{-1,1}n是两两正交的，有kpnkpkTp0)(XXkPpTppkIXXXWX1])([])([1kPpkTppXXXXkkTkkPXXXX)(kkkPnPnXXX)(因为nP，所以有ppppPnPnffXXXWX])sgn[(])[(）（可见给定样本Xp，p=1,2,…,P是吸引子。