Hopfield神经网络综述

题目：Hopfield神经网络综述一、概述：1.什么是人工神经网络（ArtificialNeuralNetwork，ANN)人工神经网络是一个并行和分布式的信息处理网络结构，该网络结构一般由许多个神经元组成，每个神经元有一个单一的输出，它可以连接到很多其他的神经元，其输入有多个连接通路，每个连接通路对应一个连接权系数。人工神经网络系统是以工程技术手段来模拟人脑神经元（包括细胞体，树突，轴突）网络的结构与特征的系统。利用人工神经元可以构成各种不同拓扑结构的神经网络，它是生物神经网络的一种模拟和近似。主要从两个方面进行模拟：一是结构和实现机理；二是从功能上加以模拟。根据神经网络的主要连接型式而言，目前已有数十种不同的神经网络模型，其中前馈型网络和反馈型网络是两种典型的结构模型。1）反馈神经网络(RecurrentNetwork)反馈神经网络，又称自联想记忆网络，其目的是为了设计一个网络，储存一组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到这个设计的平衡点上。反馈神经网络是一种将输出经过一步时移再接入到输入层的神经网络系统。反馈网络能够表现出非线性动力学系统的动态特性。它所具有的主要特性为以下两点：（1）.网络系统具有若干个稳定状态。当网络从某一初始状态开始运动，网络系统总可以收敛到某一个稳定的平衡状态；（2）.系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中。反馈网络是一种动态网络，它需要工作一段时间才能达到稳定。该网络主要用于联想记忆和优化计算。在这种网络中，每个神经元同时将自身的输出信号作为输入信号反馈给其他神经元，它需要工作一段时间才能达到稳定。2.Hopfield神经网络Hopfield网络是神经网络发展历史上的一个重要的里程碑。由美国加州理工学院物理学家J.J.Hopfield教授于1982年提出，是一种单层反馈神经网络。Hopfield神经网络是反馈网络中最简单且应用广泛的模型，它具有联想记忆的功能。Hopfield神经网络模型是一种循环神经网络，从输出到输入有反馈连接。在输入的激励下，会产生不断的状态变化。反馈网络有稳定的，也有不稳定的，如何判别其稳定性也是需要确定的。对于一个Hopfield网络来说，关键是在于确定它在稳定条件下的权系数。下图中，第0层是输入，不是神经元；第二层是神经元。y1y2y3第0层第1层x3x2x1w11w12w13w21w22w23w31w32w33Hopfield网络示意图1984年，Hopfield设计并研制了网络模型的电路，并成功地解决了旅行商(TSP)计算难题(快速寻优问题)。根据网络的输出是离散量或是连续量，Hopfield网络也分为离散和连续的两种。Hopfield神经网络有两种：离散Hopfield网络（DHNN）和连续Hopfield网络（CHNN）。1）离散Hopfield网络（DHNN）：神经元的输出只取1和0，分别表示神经元处于激活和抑制状态。对于二值神经元，它的计算公式如下jijijiuwyx其中，xi为外部输入。并且有：1000iiiiyuyu，当时，当时2）连续Hopfield网络（CHNN）拓扑结构和DHNN的结构相同。不同之处在于其函数g不是阶跃函数，而是S形的连续函数。一般取G(u)=1/(1+ue)二、特性分析1.离散Hopfield网络（DHNN）的结构和工作方式离散Hopfield网络是一个单层网络，有n个神经元节点，每个神经元的输出均接到其它神经元的输入。各节点没有自反馈，每个节点都附有一个阀值。每个节点都可处于一种可能的状态（1或－1），即当该神经元所受的刺激超过其阀值时，神经元就处于一种状态（比如1），否则神经元就始终处于另一状态（比如－1）。一个DHNN的网络状态是输出神经元信息的集合。对于一个输出层是n个神经元的网络,其t时刻的状态为一个n维向量：Tn21(t)]y,…(t),y(t),[y=Y(t)因为yi(t)可以取值为1或0，故n维向量Y(t)有2n种状态，即网络有2n种状态。如图所示：如果Hopfield网络是一个稳定网络，有3个神经元，则有8种状态。右图可直观看出：若在网络的输入端上加入一个输入向量，则网络的状态会产生变化，即从超立方体的一个顶点转向另一个顶点，并且最终稳定于一个特定的顶角[6]。0000101101111010010111003神经元8种状态的立方体模型假设一个DHNN，其状态为Y(t)：Tn21(t)]y,…(t),y(t),[y=Y(t)如果对于任何△t，当神经网络从t=0开始，有初始状态Y(0)。经过有限时刻t，有：Y(t+△t)=Y(t)则称网络是稳定的。Hopfield网络稳定的充分条件：权系数矩阵W是对称矩阵，并且对角线元素为0。无自反馈的权系数对称Hopfield网络是稳定的。y1y2y3x2x1x3w21w12w23w13w31w32稳定的Hopfield网络离散Hopfield网络的一个功能是可用于联想记忆，也即是联想存储器。这是人类的智能特点之一。人类的所谓“触景生情”就是见到一些类同过去接触的景物，容易产生对过去情景的回昧和思忆。对于Hopfield网络，用它作联想记忆时，首先通过一个学习训练过程确定网络中的权系数，使所记忆的信息在网络的n维超立方体的某一个顶角的能量最小。当网络的权系数确定之后，只要向网络给出输入向量，这个向量可能是局部数据．即不完全或部分不正确的数据，但是网络仍然产生所记忆的信息的完整输出。1）应用举例（数字识别）问题设计一个Hopfield网络，使其具有联想记忆功能，能正确识别阿拉伯数字，当数字被噪声污染后仍可以正确地识别[6]。设计思路假设网络由0-9共10个稳态构成，每个稳态由10*10的矩阵构成，该矩阵用于模拟阿拉伯数字点阵。即将每个数字划分成10*10方阵，有数字的部分用1表示，空白处用-1表示。数字表示示意图设计步骤（1）设计数字点阵（0-9）（2）创建Hopfield网络（3）设计受到噪声污染的数字点阵（4）数字识别（5）结果分析（代码和仿真结果在第三仿真部分给出）2.连续Hopfield网络(CHNN)的结构和工作方式连续型Hopfield网络（CHNN）是由一些简单的电子线路连接起来实现的。每个神经元均具有连续时间变化的输出值。采用具有饱和非线性的运算放大器来模拟神经元的S型单调输入——输出关系，即()iiivfu1Nw2Nw12w2Nw1Nw21w1I2INI1u2uNuNV2V1V1V2VNV1R2RNRNC2C1C……电子线路连接的连续Hopfield网络（1）++--iiCiIijIjuiujvjvivivijijT电子线路连接的连续Hopfield网络（2）对于一个N节点的CHNN模型来说，其神经元状态变量的动态变化可用下述非线性微分方程组来描述11,2,3,...,()NiiiijjijiiiiduuCTvIdtRiNvfu能量函数定义为10111111()2iNNNNvijijiiijiiijiETvvvIfvdvRCHNN的能量函数不是物理意义上的能量函数，而是在表达形式上与物理意义的能量函数一致，表征网络状态的变化趋势。定理：若作用函数)(f-1是单调递增且连续的，则能量函数E是单调递减且有界的。CHNN用非线性微分方程描述，网络的稳定性通过构造其能量函数（又称李雅谱诺夫函数），并用李雅谱诺夫第二稳定性定理进行判断。说明[7]：（1）李雅谱诺夫函数并不唯一；（2）若找不到网络的李雅谱诺夫函数，不能证明网络不稳定；（3）目前没有统一的找李雅谱诺夫函数的方法；（4）用能量函数的方法研究网络的稳定性，在数学上欠严谨。如果把一个最优化问题的目标函数转换成网络的能量函数，把问题的变量对应于网络的状态，那么Hopfield神经网络就能够用于解决优化组合问题。应用Hopfield神经网络来解决优化计算问题的一般步骤为：（1）分析问题：网络输出与问题的解相对应；（2）构造网络能量函数：使其最小值对应问题最佳解；（3）设计网络结构：由能量函数和网络稳定条件设计网络参数，得到动力学方程；（4）硬件实现或软件模拟。1）应用举例（TSP：TravelingSalesmanProblem）它假定有n个城市A，B，C，……，它们之间的相互距离分别为,...,...,,BCACABddd。要求寻找一条闭合路径，此路径历经每个城市且经过一次，返回起始城市，要求此路径最短。不考虑方向性和周期性，在给定n的条件下，可能存在的闭合路径数目为1/2(n-1)!。随着n的增大，计算量急剧增大，会发生所谓的“组合爆炸”问题[7]。置换矩阵A，B，C，D，E（对应各行）表示城市名称；1，2，3，4，5（对应各列）表示路径顺序；矩阵中“1”表示该城市在路径全程中所居顺序，其余元素均为“0”。此处路径顺序为C→A→E→B→D→C。特点：（1）每行只有一个“1”，其余元素均为“0”；（2）每列只有一个“1”，其余元素均为“0”；（3）全部元素中“1”的总和为n。城市数路径数城市数路径数31121.9958×10743132.3950×108512143.1135×109660154.3589×10107360166.5384×101182520171.0461×1013920160181.7784×101410181440193.2012×1015111814400206.0823×101612345A01000B00010C10000D00001E00100思路利用n×n个神经元组成Hopfield神经网络，网络达到稳定状态时各个神经元之状态对应置换矩阵的各个元素值，各城市间的距离作为一组约束信息决定神经元之间的连接强度ijw。期望网络演变的最终结果给出最优解，也即以置换矩阵表明最短距离条件下路径之顺序。能量函数2,1,111111111112222NNNNNNNNNNNxixjxiyixixyxiyiyixijixyxxixyiABCDEVVVVVNdVVV式中，A，B，C，D是权值，xyd表示城市x到城市y之间的距离。前三项是问题的约束项，最后一项是优化目标项。改进22,1111111111222NNNNNNNxixixixyyixiixxyiAADEVVVdV动态方程,111111NNNxixiyixyyiiyyxidUEAVAVDdVdtV具体算法步骤（1）置初值和权值，t=0，A=1.5，D=1.0，02.00U；（2）读入N个城市之间的距离(,1,2,...,)xydxyN;(3）神经网络输入()xiUt的初始化,1,2,...,xiN；'0()xixiUtU其中，)1ln(210'0NUU，N为城市个数，xi为（-1，+1）区间的随机值；(4)利用动态方程计算xidUdt；(5)根据一阶欧拉法计算(1)xiUt；(1)()xixixidUUtUtTdt(6)采用sigmoid函数计算()xiVt；0()1()1tanh2xixiUtVtU(7)计算能量函数E；(8)检查路径合法性，判断迭代是否结束，若未结束返回到第(4）步；(9)输出迭代次数、最优路径、能量函数、路径长度及能量变化。仿真中所采用的关键命令:*sumsqr(X)：求矩阵X中各元素的平方值之和；*sum(X)或sum(X,1)为矩阵X中各行相加，sum(X,2)为矩阵X中各列相加；*repmat：用于矩阵复制；*dist(x,y)：计算两点间的距离。(代码和仿真结果在第三仿真部分给出)三、仿真1.数字识别问题数字1编码：array_one被噪声污染的数字1编码：noisy_array_one数字2编码：array_two被噪