神经网络-- Hopfield网络

Hopfield神经网络前馈（前向）网络和反馈网络是当前人工神经网络研究中最基本的两种网络模型。1982年到1986年，美国物理学家Hopfield陆续发表文章报导了对反馈神经网络理论与应用的研究成果，引起了人们广泛的兴趣，并且将这种单层反馈网络称为Hopfield网络。在单层全反馈网络中（基本Hopfield网络中），节点之间相互连接，每个节点接收来自其它节点的输入，同时又输出给其它节点，每个神经元没有到自身的连接。由于引入反馈，所以它是一个非线性动力学系统。其结构如下所示：1n321xnx3x2x1yny3y2y1n321sns3s2s（a）（b）图1Hopfield网络基本结构前馈网络大多表达的是输出与输入间的映射关系，一般不考虑输出与输入间在时间上的滞后效应；反馈网络需要考虑输出与输入间在时间上的延时，需要利用动态方程（差分方程或微分方程）描述神经元和系统的数学模型。前馈网络的学习（训练）主要采用误差修正法，计算时间较长，收敛速度较慢；反馈网络（如Hopfield网络）的学习主要采用Hebb规则，收敛速度较快。Hopfield网络在应用上除可作为联想记忆与分类外，还可用于优化计算。可以认为，Hopfield网络的联想记忆和优化计算这两种功能是对偶的：当用于联想记忆时，通过样本模式的输入给定网络的稳定状态，经学习求得联接权值W；当用于优化计算时，以目标函数和约束条件建立系统的能量函数来确定联接权值，当网络演变至稳定状态时即可得出优化计算问题的解。Hopfield网络神经元模型可以是离散变量，也可以连续取值。一．离散Hopfield网络1．网络结构及性能描述：离散Hopfield网络模型如图1所示。设共有N个神经元，ij表示从神经元j到神经元i的联接权，js表示神经元j的状态（取＋1或－1），jv表示神经元j的净输入，有：)](sgn[)1()()(1tvtststvjjjNiijij，即：0)(,10)(,1)1(tvtvtsjjj（1）或：0)(,10)(),(0)(,1)1(tvtvtstvtsjjjjj当0)(tvj时可认为神经元的状态保持不变。上式也可合并为：jNiijijtsts1)(sgn)1(（2）整个网络的状态可用列向量s表示：Nssss21通常网络是对称的，且无自反馈，即：jiij，0ii。所以网络的联接权矩阵W是NN维对角线为0的对称阵。2．网络的工作方式：离散Hopfield网络有两种工作方式：（1）串行（或异步，asynchronous）方式：任一时刻只有一个神经元的状态发生改变，其余神经元保持不变。动作顺序可以随机选择，也可按某确定顺序动作。（2）并行（或同步，synchronous）方式：某一时刻所有神经元同时改变状态。如果网络从0t时刻的初态)0(s开始，存在某一有限时刻t，使得网络在此之后的状态不再发生变化，即：)()1(tsts则称网络达到稳定状态。显然稳定状态应满足：jNiijijss1sgn，Nj,,2,1（3）3．网络的能量函数：Hopfield网络的状态与其能量有关，定义网络的能量函数为：异步方式：iiiijjiijtststsE)()()(21)()()(21tstsWts（4）同步方式：iiiiijjiijtstststsE)1()(21)()1(21)()1(21)()1(21tststsWts（5）由于is、js只能为＋1或－1，而ij和i均有界，所以能量也是有界的，即：iiijijiiiijjiijsssE21214．网络稳定性分析：收敛性通常是指在网络训练过程中，算法最终能使网络变得对样本集中所有样本均能满足给定的允许误差；稳定性是指网络运行时，由于网络信号的反馈作用，使每个输入向量（初始向量）经过网络不断地修复和加强，最后能给出相应的正确输出。从任一初始状态开始，若每次迭代都能使网络能量的变化量0E，则网络能量将越来越小，最后趋向于稳态。对不同情况分别讨论如下：（1）异步方式，网络对称，无自反馈（jiij，0ii）：设神经元i状态发生改变，此时可能有：1)(,1)1(21)(,1)1(2)()1(0)()1(tstststststststssiiiiiiiii相应的可能的能量变化为：iijjijijijijsssssE2121由jiij，0ii得：iiNjjijssE1（6）因为：jNiijijtsts1)(sgn)1(，)()1(tstssiii，所以：当0)(1jNiijits时，有：1)1(tsj，0is，即：0E；当0)(1jNiijits时，有：1)1(tsj，0is，即：0E；所以得：0E。（2）异步方式，网络对称，0ii：仍设神经元i状态发生改变，此时：)()1(212122tstssssssEiiiiiiijjijiijijij)()1(1tstssssiiiiiiiNjjij（7）因为0ii，而is与)()1(tstsii同号，所以有：0E。Hopfield网络状态的变化过程实际上是一个使网络能量极小化的过程，每次改变神经元的状态，其网络能量或者下降，或者与以前相同。（3）同步方式，网络对称（jiij）：由（5）式得：)1()(21)1()(21)()1(21)()1(21tststsWtstststsWtsE即：)1()1(21)1()1()(21tstststsWtsE)1()1()(21tstsWts（8）上式为两向量积，因为jNiijijtsts1)(sgn)1(，所以向量Wts)(与)1(ts每个分量均同号，所以有：0)1()1()(tstsWts，即：0E。补：当1)1(tsj，则1)1(,01)1(,2)1()1(tstststsjjjj所以：0E当1)1(tsj，则1)1(,21)1(,0)1()1(tstststsjjjj所以：0E注意：当0E时，)1()1(tsts，则有：（1）若)1()1()(tststs，则网络达到稳定点。（2）若)1()1()(tststs，则网络稳定于周期为2的振荡环。例题：串行方式下，W对称0110W显然1,1,1,1是稳定点。（证明：sWs，或ssW]sgn[即可）。若为并行方式，W同上，则除稳定点1,1,1,1外，还有一个长度为2的振荡环1,1,1,1。如果W反对称0110W可以验证，系统工作在并行方式时没有稳定点，仅有1,1,1,1,1,1,1,1长度为4的振荡环。综合以上讨论，可得出以下结论：（1）对于串行工作方式，若W对称且主对角线元素非负，则网络经演变后收敛于一个稳定点；定理：若Hopfield网络联接权矩阵W为对角线为0的对称阵，则它是稳定的。（2）对于并行工作方式，若W对称，则网络经演变后或者收敛于一个稳定点，或者收敛到一个长度为2的振荡环；（3）对于并行工作方式，若W反对称且主对角线元素为0，则网络在一定条件下收敛于一个长度为4的振荡环。5．简单应用：联想存储器。（1）设网络存储内容为：树――＋＋＋＋――――＋－｜――＋＋－＋＋――＋――绿色西红柿＋―――＋――＋＋－＋＋｜－＋―――＋＋－＋－＋＋红色天空－＋＋――＋＋＋―――＋｜＋－＋＋＋＋―――――＋蓝色存储的项由两部分组成：名称部分和颜色部分，每个向量对应于网络能量极小时的状态。以下的（a）表示给出网络存储项的一部分而联想出另一部分的情况；（b）是将带有噪声的输入信号送入网络后，网络联想出其正确结果的情况。输入：树――＋＋＋＋――――＋－｜――――――――――――无色联想结果：树――＋＋＋＋――――＋－｜――＋＋－＋＋――＋――绿色（a）噪音输入：天空－＋＋＋―＋＋――――＋｜＋――――＋―――――＋蓝色联想结果：天空－＋＋――＋＋＋―――＋｜＋－＋＋＋＋―――――＋蓝色（b）（2）文字或数字、字母的识别，如：0，1，2，…，9或A，B，…等。（a）网络存储内容（b）带10％和20％噪音的字母T图2Hopfield网络用作联想存储器时对字母的识别网络存储内容为T、O、N三个字母，将带有10％和20％噪音的字母T输入网络后，网络依然可以识别出相应的内容。5．一种网络权值矩阵的确定方法：将Hopfield网络用作联想存储器时，一种简单的设置网络权值矩阵的方法如下：设网络神经元个数为N，网络训练时样本集为：sYYYS,,,21，iNiiiyyyY,,,21，si,,2,1，s为样本集中样本的个数。学习算法遵照Hebb规则：设：skkNskkskkyyyW12122121000000002211WYYYYYYWss0212221212111111211111121212111211112111111WyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyysNsNssNssNsNssssssNsssssNNNNNN0002121111121121211121111211211ssNNssNNsNsNsssNsNssyyyyyyyyyyyyyyyyyyyyyyyy即：jiskkikjskkjkiijyyyy11，0ii。说明：样本集中的每个样本对应于网络的一个稳定状态。为使网络具有良好的联想效果，各样本之间应有“足够的距离”，样本间的距离常采用Hamming距。二．连续型Hopfield网络1．电路模型：连续型Hopfield网络可与一电子线路相对应。每个神经元由一个运算放大器模拟，输入端并联的电阻与电容可模拟生物神经元的时间常数，相互间的电导ijT用以模拟各神经元之间的突触连接。单个神经元电路模型如下：isisiRiCjsijijTR/1iIiv图3连续Hopfield网络单神经元电路模型由电路模型得：iiiiijijijRvdtdvCIvsT)(jijiiiiijjijTRvdtdvCIsT1，令jijiiTRR11'iiijjijiiIRvsTdtdvC'（9）若各神经元i的作用函数为if，则有：)('iiiiiijjijiivfsIRvsTdtdvC（10）对于连续型Hopfield网络来说，if常取单调增的连续函数，如：Sigmoid函数。2．网络的能量函数：如果if为单调增的连续函数，则1if也为单调增且连续。构造如下的能量函数：