第2章 神经网络2-联想记忆1(n)

25第二章Hopfield联想记忆神经网络................................................................................................................262.1简单线性联想网络(LAM).....................................................................................................................262.2Hopfield联想记忆模型......................................................................................................................272.3利用外积和的双极性Hopfield网络..................................................................................................282.4Hopfield网络的存储容量..................................................................................................................302.5Hopfield网络的收敛性......................................................................................................................322.6二次优化问题的Hopfield网络解法.................................................................................................362.7双向联想记忆（BAM）网络...................................................................................................................3726第二章Hopfield联想记忆神经网络Hopfield网络的神经单元是全连接的，即每两个单元都通过权值连接在一起。它的学习过程是一次完成的，而工作过程则是模拟人的联想记忆，通过反复迭代来完成。Hopfield网络除了具有联想记忆功能外，还能解决二次优化问题。2.1简单线性联想网络(LAM)给定J个输入样本向量NJR,,1及相应的理想输出样本向量MJR,,1，组成输入及理想输出矩阵JNJX),,(1和JMJY),,(1。所谓线性联想(LinearAssociativeMemory,LAM),即试图构造NM矩阵W使得WXY(2.1.1)当然，一般来说，使(2.1.1)成立的W可能并不存在，或者难于直接求得。因此，我们希望能给出尽可能简单（W易于求得）而又有效（即线性联想误差YWX尽可能小）的选取权矩阵W的方法。依据X和Y选定W以后，对NR中任一向量x，定义其线性联想为Wxy(2.1.2)XY的情形，称为自联想；而XY时，称为异联想。选取W的一个简单办法是令JjTjjCW1)((2.1.3)其中C是一个适当常数，例如可选1C或JC1。(2.1.3)的分量形式为JjjkjiikCW1(2.1.3ˊ)这是一种典型的Heb型学习规则，即输入单元i与输出单元k之间的连接强度（权值）ikW与相应的输入输出数据的强度成正比。这一点与人的记忆机制有共同之处。权矩阵W按(2.1.3)选取时，(2.1.2)称为简单线性联想网络。特别地，当输入样本向量J,,1标准正交，且1C时，有JjWjj,,1,(2.1.4)即联想回忆对样本集是完美的。一般地，如果输入向量x按方向接近于某一输入样本向量i（即iax，a是某一非零实数），而与其它样本输入向量k)(ik“张开角度”较大，则xi比)(ikxk大得多，从而输出向量Wxy按方向接近于i。272.2Hopfield联想记忆模型近年来，以非线性反馈动力学为特征的Hopfield神经网络引起了人们的更大关注。考虑具有N个处理单元的网络，每个单元与所有单元都连接（全连接）。从单元j到单元i的连接权记为ijW，组成N阶权矩阵W。设网络中已经存储了J个样本模式JjTjNjj,,2,1,),,(1即根据这些样本模式按某种方式确定了权矩阵W。典型的Hopfield联想记忆模型可描述为：给定任一输入模式TNVVV),,(0010，按公式NmkVWgVNnmknmnkm,,1;,1,0),(11(2.2.1)反复迭代，直至收敛，得到最后的输出模式V，作为输入模式0V的联想。在(2.2.1)中，TN),,(1是阈值向量。按公式(2.2.1)更新网络状态时有两种方式。一种是并行（同步）方式，即像(2.2.1)中那样，每次迭代同时更新所有单元的状态。另一种是串行（异步）方式，即在第k步迭代时，（可以是顺序地，也可以是随机地）选取某一个下标km，只改变一个神经单元的状态，而其余1N个单元保持不变：11(),0,1,kkkNkkmmnnmnVgWVk(2.2.2)若)(xg是符号函数（取值为1或1,0），则称之为双极性网络；若值域是实数域上某一区间，则称之为连续值网络。另外，还可以考虑类似于(2.4.1)的微分方程型Hopfield网络。(2.2.1)或(2.2.2)都是离散动力系统。为了达到联想记忆的目的，我们对权矩阵W的第一个要求是存储模式J,,1应该是(2.2.1)的稳定点，即NmJjWgNnmjnmnjm,,1;,,1),(1(2.2.3)其次，当输入模式0V接近于某一存储模式j（即已知该存储模式的部分或模糊的信息）时，由(2.2.1)或（2.2.2）迭代计算得到的kV应收敛于j（即恢复或联想出该模式的全部信息）。最后，W的选取还应该使上述收敛过程尽可能地快。图2.1给出了具有三个稳定存储模式的联想记忆效果示意图。28图2.1有三个稳定存储模式的联想记忆2.3利用外积和的双极性Hopfield网络假设神经单元的输出取值为1（双极性），即(2.2.1)中的)(xg取为符号函数0,10,1)sgn()(xxxxg若若(2.3.1)对向量TNxxx),,(1，我们记TNxxx)sgn,,(sgnsgn1。选取权矩阵W的最简单的办法是利用待存储模式的外积和（参见(2.1.3)）：JjTjjNW1)(1(2.3.2)相应的分量形式为NkiNWJjjkjiik,,1,,11(2.3.3)这时，迭代公式(2.2.1)可以用矩阵记号写成：1sgn(),0,1,kkVWVk（2.3.4）在实际应用或理论分析中，下面的补充条件常常是方便和有用的，即令W的对角元为零：kiNkiNWNiWJjjkjiikii;,,1,,1,,1,01(2.3.5)这样做的理由和好处后面还将谈到。另外，我们指出，神经单元的取值还可以是二进制0,1。这时，相应于(2.3.3)，构造W的公式变为29JjjkjiikW1)12)(12((2.3.6)对这种情形的理论分析与1情形是类似的。一般来说，单元状态值取1时，数学处理较为方便，而取0,1时，硬件实现稍容易些。下面我们给出Hopfield联想记忆模型的一个例子。网络有24*24=576个神经单元，采用异步更新的方法，神经单元的状态取为{-1，+1}两种(分别表示白色点和黑色点)。网络中用外积和方式存储了四个24*24的黑白二色图（放大显示），如图2.2所示。图2.2网络中存储的四个图像现在把上面的图像进行干扰，得到干扰后的图像如图2.3所示，其中一种方式是对图像的一个局部进行干扰；另一种方式是对整幅图像加上30%的随机干扰。对局部图像进行干扰整幅图像30%随机干扰图2.3对图像的干扰下面是用Hopfield网络对上面两幅图像进行恢复（联想）的过程,如图2.4所示：残图300次迭代1000次迭代2000次迭代30残图300次迭代1000次迭代3000次迭代图2.4用Hopfield网络做图像恢复在类似实验中我们还观察到，有的含噪声输入模式收敛于与任何存储模式皆不相同的伪稳定状态。另外，当存储模式数目太大时，会使存储模式不稳定。后面我们将稍详细地讨论这些问题。2.4Hopfield网络的存储容量考虑具有N个单元的Hopfield神经网络（单元取值为0,1）NmSWSNnoldnmnnewm,,1),sgn(1(2.4.1)其中在权矩阵NNmnWW)(中，用外积和形式存储了J个样本模式JjTjjNW1)(1(2.4.2)下面我们来说明，当J与N相比足够小时，在概率的意义下可以保证样本模式的稳定性。若输入某一样本向量k，则其第m个分量首先演变为NnkmkmJjknjnjmNnknmnmCNWNh111~11(2.4.3)其中NnkjknjnjmkmNC11~是交扰项。定义kmkmkmCC~注意1sgnkmkmmCh31N101.0lnNJN2ln因此，若设所有样本向量的分量jn按等概率取值1，则（)(xP表示事件x发生的概率）)1()(kmkmkmerrorCPPP旧新(2.4.4)errorP是样本向量经网络处理一次以后，某一分量被（错误地）改变的概率；也可以理解为处理一次以后，被（错误地）改变的分量个数占总分量个数N的比例。在给定的误差标准之下（例如01.0errorP），可以求出网络的安全存储样本数目的上限，即安全存储容量。errorP是由处理单元数目N和样本数目J决定的。假定N和J都很大，kmC是JN个随机变量之和乘以，而每个随机变量等概率地取值1。由概率论可知，kmC的值是具有零均值及方差NJ/2的二项式分布。又由于JN很大，由中心极限定理，这个二项式分布可由具有相同均值和方差的高斯正态分布来近似，即NJdxePxerror,211222(2.4.5)(2.4.5)中的高斯积分值可在数学用表中查到。例如，若要求01.0errorP（即在概率意义下，样本模式j经网络作用一次后，改变符号的分量不多于1％），则安全存储容量为：NJ185.0max(2.4.6)上面只谈到迭代一次后样本向量的改变。例如设样本数目NJ185.0，则样本向量每一次迭代后只有少于1％的分量改变符号。但多次迭代后，可能有越来越多的分量改变符号，以至于面目全非，这称为雪崩现象。更深入的分析与计算表明，当NP138.0时，可以避免这种现象。对安全存储容量的另一种要求是大部分（例如99％）的样本模式都能完美地回忆出来。这相当于要求所有J个样本都被网络处理一次以后,被(错误地)改变了的分量个数(errorPJN)最多只能有J01.0个，即要求NPerror01.0。为了推出安全存储容量，我们利用分部积分不难证明下列估计式,222xxtxedte其中0x(2.4.7)由(2.4.5)(2.4.7)可得JNJNPerror22lnln(2.4.8)从而,为使NPerror/01.0,只需NJNJN01.0ln22ln(2.4.9)当N时，比大得多。因此，对足够大的N，为使