2.9_Hopfield神经网络模型与学习算法

智能中国网提供学习支持概述Hopfield网络是神经网络发展历史上的一个重要的里程碑。由美国加州理工学院物理学家J.J.Hopfield教授于1982年提出，是一种单层反馈神经网络。Hopfield网络是一种由非线性元件构成的反馈系统，其稳定状态的分析比前向神经网络要复杂得多。1984年，Hopfield设计并研制了网络模型的电路，并成功地解决了旅行商(TSP)计算难题(优化问题)。Hopfield网络分为离散型和连续型两种网络模型，分别记作DHNN(DiscreteHopfieldNeuralNetwork)和CHNN(ContinuesHopfieldNeuralNetwork)。Hello,I’mJohnHopfield2020/1/2432.9.1离散Hopfield神经网络网络模型表示法一1z1z1z1z1z2020/1/2442.9.1离散Hopfield神经网络网络模型表示法二2020/1/2452.9.1离散Hopfield神经网络相关参数说明任意神经元i与j间的突触权值为wij，神经元之间连接是对称的，神经元自身无连接.每个神经元都同其他的神经元相连,其输出信号经过其他神经元又有可能反馈给自己设Hopfield网络中有n个神经元，其中任意神经元的输入用ui表示，输出用vi表示，它们都是时间的函数，其中vi(t)也称为神经元在时刻t的状态。2020/1/2462.9.1离散Hopfield神经网络激励函数0101)sgn()()1(jjjjjnetnetnetnetftvnljljljbtvwtnet1)()(0001)()1(jjjjnetnetnetftv2020/1/2472.9.1离散Hopfield神经网络离散Hopfield网络的运行规则(1)串行(异步)工作方式在任—时刻，只有某—神经元(随机的或确定的选择)依上式变化，而其他神经元的状态不变。(2)并行(同步)工作方式在任一时刻，全部神经元的状态同时改变。2020/1/2482.9.1离散Hopfield神经网络串行(异步)工作方式运行步骤第一步对网络进行初始化；第二步从网络中随机选取一个神经元；第三步按式(2-5)求出该神经元i的输出；第四步按式(2-6)求出该神经元经激活函数处理后的输出，此时网络中的其他神经元的输出保持不变；第五步判断网络是否达到稳定状态，若达到稳定状态或满足给定条件则结束；否则转到第二步继续运行。2020/1/2492.9.1离散Hopfield神经网络稳定状态若网络从某一时刻以后，状态不再发生变化，则称网络处于稳定状态网络为对称连接，神经元自身无连接能量函数在网络运行中不断降低，最后达到稳定()()0vttvttnnn1111E2ijijiiijiijjiwvvbv2020/1/24102.9.1离散Hopfield神经网络网络中神经元能量函数变化量iinijjjiijivbvvwE121btVtWVtVtETT))(()())((21)()()1()()()1()(tVtVtVtEtEtE2020/1/2411iinijjjiijivbvvwE121网络中神经元能量函数变化量btVtWVtVtETT))(()())((21)()()1()()()1()(tVtVtVtEtEtE]))(()())((21[))()(())()(())()((21)(btVtWVtVbtVtVtVtVWtVtVtETTTT)()(21])()[()()()(21)()(tVWtVbtWVtVbtVtVWtVtWVtVTTTTT2020/1/2412Hopfield网络状态向着能量函数减小的方向演化。由于能量函数有界，所以系统必然会趋于稳定状态。对异步工作方式来说，第t个时刻只有一个神经元调整状态，设该神经元为j,将T]0,0),(,0,,0,0[)(tvtVj带入上式，并考虑到W为对称矩阵，有)()()(21])()[()(21tnettvwtvbtvwtvtEjjjjjnljijlj2020/1/2413定理1按异步方式调整网络状态，对于任意初态离散Hopfield网络将最终收敛到一个吸引子。定理2按同步方式调整网络状态，且连接权矩阵W为半正定矩阵时，对于任意初态离散Hopfield网络将最终收敛到一个吸引子。)()(21)()()()(21)()()()(21])()[(1tVWtVtnettvtVWtVtnettVtVWtVbtWVtVTnjjjTTTT2020/1/24142.9.2连续Hopfield神经网络+1Nji1u1C10R1I+iuiC0iRiI+jujC0jRjI+NuNCN0RNI11wN1w1iw1jw1vNvjviv网络模型2020/1/24152.9.2连续Hopfield神经网络稳定性分析将下式代入得：E0ddtN1iiiijjijiduuCwvIdtRN1E()iiiiddudvCdtdtdt1N1f()iiiidvdvCdtdt1N21f()()iiiiidvdvCdvdt21f()0,0,0,iiiiidvdvCdvdv又因为连续Hopfield网络模型是稳定的ivnijiniiininjjiijdvvfRIvvvwE01111)(1212020/1/24162.9.2连续Hopfield神经网络连续Hopfield网络模型的主要特性1)连续Hopfield网络的神经元作为I/O转换，其传输特性具有Sigmoid特性；2)具有时空整合作用；3)在神经元之间存在着大量的兴奋性和抑制性连接，这种联接主要是通过反馈来实现。2020/1/24172.9.2连续Hopfield神经网络4)具有既代表产生动作电位的神经元，又有代表按渐进方式工作的神经元，即保留了动态和非线性两个最重要的计算特性。Hopfield神经网络设计的目标就是使得网络存储一些特定的平衡点，当给定网络一个初始条件时，网络最后会在这样的点上停下来特别Hopfield神经网络不具有学习功能。2020/1/24182.9.3Hopfield神经网络的MATLAB实现函数名功能satlin()饱和线性传递函数satlins()对称饱和线性传递函数newhop()生成一个Hopfield回归网络nnt2hop()更新NNT2.0Hopfield回归网络MATLAB中Hopfield网络的重要函数和功能2020/1/24192.9.3Hopfield神经网络的MATLAB实现MATLAB中与Hopfield网络有关的重要函数和功能newhop()功能生成一个Hopfield回归网络。格式net=newhop(T)2020/1/24202.9.3Hopfield神经网络的MATLAB实现newhop()格式net=newhop(T)说明net为生成的神经网络，具有在T中的向量上稳定的点；T是具有Q个目标向量的R*Q矩阵（元素必须为-1或1）。Hopfield神经网络经常被应用于模式的联想记忆中。Hopfield神经网络仅有一层，其激活函数用satlins()函数，层中的神经元有来自它自身的连接权和阈值。2020/1/24212.9.3Hopfield神经网络的MATLAB实现MATLAB中与Hopfield网络有关的重要函数和功能satlins()功能对称饱和线性传递函数格式A=satlins(N)A输出向量矩阵；N是由网络的输入向量组成的S*Q矩阵，返回的矩阵A与N的维数大小一致，A的元素取值位于区间[0，1]内。当N中的元素介于-1和1之间时，其输出等于输入；当输入值小于-1时返回-1；当输入值大于1时返回1。2020/1/24222.9.3Hopfield神经网络的MATLAB实现例2-8设印刷体数字由1010点阵构成，就是将数字分成很多小方块，每个方块就对应数字的一部分，构成数字本部分的方块用1表示，空白处用-1表示。试设计一个Hopfield网络，能够正确识别印刷体的数字。由点阵构成的数字1由点阵构成的数字22020/1/2423例2-8程序%数字1的点阵表示one=[-1-1-11111-1-1-1-1-1-11111-1-1-1-1-1-11111-1-1-1-1-1-11111-1-1-1-1-1-11111-1-1-1-1-1-11111-1-1-1-1-1-11111-1-1-1-1-1-11111-1-1-1-1-1-11111-1-1-1-1-1-11111-1-1-1];%数字2的点阵表示two=[11111111-1-111111111-1-1-1-1-1-1-1-111-1-1-1-1-1-1-1-111-1-111111111-1-111111111-1-111-1-1-1-1-1-1-1-111-1-1-1-1-1-1-1-111111111-1-111111111-1-1];%设定网络的目标向量T=[one;two]';%创建一个Hopfield神经网络2020/1/2424应用分类联想记忆实例求解TSP问题字符识别上的应用2020/1/2425小结概述离散Hopfield神经网络及工作过程连续Hopfield神经网络稳定性分析Hopfield神经网络的MATLAB实现实例分析2020/1/2426TSP问题TSP问题（TravellingSalesmanProblem），即旅行商问题，是数学领域中著名问题之一。假设有一个旅行商人要拜访n个城市，他必须选择所要走的路径，路径的限制是每个城市只能拜访一次，而且最后要回到原来出发的城市。路径的选择目标是要求得的路径路程为所有路径之中的最小值。TSP问题是一个组合优化问题。该问题可以被证明具有NPC计算复杂性。因此，任何能使该问题的求解得以简化的方法，都将受到高度的评价和关注。2020/1/2427TSP问题TSP问题（TravellingSalesmanProblem），即旅行商问题，是数学领域中著名问题之一。假设有一个旅行商人要拜访n个城市，他必须选择所要走的路径，路径的限制是每个城市只能拜访一次，而且最后要回到原来出发的城市。路径的选择目标是要求得的路径路程为所有路径之中的最小值。TSP问题是一个组合优化问题。该问题可以被证明具有NPC计算复杂性。因此，任何能使该问题的求解得以简化的方法，都将受到高度的评价和关注。要求可三人一组，协商解决，自找数据。2020/1/2428TSP问题TSP问题能量函数应满足以下两方面要求：1）在最低能量状态下，神经元输出符合置换矩阵之形式；2）在最低能量状态下，置换矩阵对应最短路径。选择TSP问题对应的能量函数表达式为xxyiiyiyxixyxixiixxyyixixiijxjxiVVVdDnVCVVBVVAE)(22221,1,22020/1/2429建立Hopfield网络的权矩阵对于n个城市的问题，要求n2个节点构成置换矩阵（PermutationMatrix）矩阵形式的网络，所以原型能量函数应表达成二维方式用Vyj表达对所有神经元输出状态的统计与用Vxi表达是等价的，只是一个符号使用问题。于是也有xixiixyijyjxiyjxiVIVVwE,21yjyjyjxyijyjxiyjxiVIVVwE,212020/1/2430建立Hopfield网络的权矩阵能量函数中应该包含n2个