软计算-6

四、竞争型神经网络1、竞争型神经网络的基本思想BP算法，对于输入信号，需要相应的教师信号，是有教师示教的学习但有许多时候教师信号并不清楚，如给出许多数据，用某种方法加以分类，这时，BP算法不好使竞争型神经网络是以无教师示教方式进行网络训练的网络无教师学习的一大特征：将输入数据中隐含的特征抽取出来，自动进行学习网络通过自身训练，自动对输入模式进行分类在结构上，既不同于阶层型，各层神经元间非单向连接；也不同于全连接型，有层次界限一般是由输入层和竞争层构成的两层网络。两层之间各神经元实现双向全连接，没有隐含层，有时竞争层各神经元之间还存在横向连接在学习方法上，不是以网络的误差或能量函数的单调递减作为算法准则而是依靠神经元之间的兴奋、协调、抑制、竞争的作用来进行信息处理，指导网络的学习与工作基本思想：网络竞争层各神经元竞争对输入模式的响应机会，最后仅一个神经元成为竞争的胜者，并将与获胜神经元有关的各连接权朝着更有利于它竞争的方向调整这一获胜的神经元则表示对输入模式的分类竞争型神经网络经常作为基本的网络形式，构成其它一些具有自组织能力的网络，如自适应共振理论网络（ART）、自组织映射网络（SOM）等2、网络基本结构一种比较简单的网络结构和学习算法：结构：由输入层和竞争层构成输入层有N个神经元；竞争层有M个神经元。网络的连接权为{wij},i=1,2,…,N,j=1,2,…,M约束条件为：∑i=1,Nwij=1网络的P个二值（0、1）输入学习模式为：Ak=(a1k,a2k,…,aNk)与其对应的竞争层输出模式为：Bk=(b1k,b2k,…,bMk),k=1,…,P3、学习规则：Step1：初始化，按约束条件∑i=1,Nwij=1，赋予wij[0，1]内的随机值Step2：任选P个模式中的一个模式Ak提供给网络的输入层Step3：计算竞争层各神经元的输入值sj：sj=∑i=1,Nwijaiki=1,…,MStep4：按“胜者为王”的原则以sj(j=1,2,…,M)中最大值所对应的神经元作为胜者，将其输出状态置为1，而其它所有神经元的输出状态置为0，即：bj=1sjsi(i=1,2,…,M,i≠j)bi=0i≠j若出现sj=si的现象，则按统一约定取左边的神经元为获胜神经元Step5：修正与获胜神经元相连的各连接权，而其它所有连接权保持不变wij=wij+ΔwijΔwij=η(aik/m–wij)i=1,2,…,N,0η1η为学习系数，一般为0.01~0.03m为第k个学习模式向量Ak=(a1k,a2k,…,aNk)中元素为1的个数（归一化需要）Step6：选取另一个学习模式，回到3），直到P个学习模式全部提供给网络Step7：返回2），直到各连接权的调整量变得很小为止在网络回想时，就可以根据所记忆的学习模式，按4）对输入模式作出最邻近分类，即以竞争层获胜神经元表示分类结果当ai为1时，由于wij《1（∑i=1,Nwij=1），Δwij为正，wij向增大方向变化当ai为0时，Δwij为负，wij向减小的方向变化；所有连接权始终在（0，1）之间变化图当同一个学习模式反复提供给网络学习后，则这一模式前次所对应的竞争层获胜神经元的输入值sj会逐渐增大，继续保持胜者的地位当与这一模式非常近似的模式提供给网络时，也将促使同一神经元在竞争中获胜，即以竞争层获胜神经元表示分类结果对于分类结果的注意如果学习模式集合本身具有较明显的分类特征，则网络可对其进行正确的分类如果学习模式集合本身错乱无章，没有一定的分类规律，网络对输入模式的响应呈现振荡现象，对应同一输入模式，可能会激活不同的输出单元网络的分类性能与网络连接权的初始值、学习系数、及学习模式提供的顺序有关例：对三维模式组的分类P1=（1，0，1）P2=（1，0，0）P3=（0，1，0）P4=（0，1，1）要求分为两类计算P1~P4之间的汉明距离为：P1P2P3P4P10132P21023P33201P42310可见，P1，P2和P3，P4之间的汉明距离为1五、自组织特征映射NN1、自组织特征映射NN的基本思想人们通过大量的生理学实验发现，人的大脑皮层中存在着许多完成特定功能的网络区域在完成某一特定功能的网络区域中，不同部位的若干神经元对含有不同特征的外界刺激同时产生响应即人脑中的神经元并不是与记忆模式一一对应的，而是一组或一群对应一个模式另一方面，大脑神经网络中各神经细胞间的信息是通过神经键传递的，传递的结果有抑制与兴奋之分生理学基础实验表明，某一外界信息所引起的并不是对一个神经细胞的兴奋性刺激而是对以某一个细胞为中心的一个区域的神经细胞的刺激，且刺激的强度不是均一的，有强弱之分神经元受兴奋刺激的强度，以区域中心为最大，随着区域半径的增大，强度逐渐减弱，呈墨西哥帽形状1981年，由芬兰学者kohonen提出了一个比较完整的、分类性能较好的自组织特征映射（SelfOrganizingFeatureMap）网络（SOM网），也称kohonen特征映射网是无教师学习的代表例SOM网，可自动发现输入数据的类似度，将相似的输入配置在网络中相近的地方，即对应于输入数据，构成有选择地反应的网络2、自组织特征映射网络的结构2层结构：输入层、竞争层输入层各神经元与竞争层各神经元之间全连接，同层神经元间无连接输入层有N个神经元，竞争层有m*m=M个神经元，形成二维平面阵列设网络的输入模式为xk=（x1,x2,……xN），k=1,2,…..P。竞争层神经元向量为Bj=(bj1,bj2,……bjm),j=1,2,….m。网络连接权为{wji},i=1,2,….N；j=1,2,….M3、自组织特征映射NN学习过程设总学习次数为NNSTEP1：网络的初始化输入层与竞争层间的权值{wji}设定为较小的随机数（0，1间）STEP2：输入向量的输入：向输入层输入向量xk=（x1,x2,……xN）STEP3：在竞争层，计算各神经元的权值向量与输入向量间的距离。竞争层第j个神经元与输入向量的距离（Euclid距离）dj=[∑i=1，N(xi–wji)2]1/2，j=1,2,…,Mwji是输入层第i个神经元与竞争层第j个神经元间的权值STEP4：选择与权值向量距离最小的神经元，即确定获胜神经元j*j*=min[dj]，j=1,2,……MSTEP5：权值的学习对获胜神经元及其附近的神经元，按下式更新权值Δwji=ηh（j，j*）（xi–wji）η，正的常数，学习系数h（j，j*）：近旁函数（邻域函数）h（j，j*）=exp（-|j-j*|2/σ2）注意，|j-j*|表示的是j与j*之间的距离σ：反映了邻域的范围，随着学习的进行而逐渐变小STEP6：回到STEP2，反复进行2~5的动作，学习权值，直到P个学习模式全部提供一遍STEP7：更新σSTEP8：回到STEP2，反复进行2~6的动作，直到完成规定的学习次数NNSOM的学习过程SOM的学习规则有三个主要阶段：1）寻找与输入模式xk最接近的连接权向量Wj*=（wj*1,wj*2,…..,wj*N）2）将该连接权向量Wj*进一步朝向与输入模式xk接近的方向调整3）除调整连接权向量Wj*外，还调整邻域内的各个连接权向量，并随着学习次数的增加，逐渐缩小邻域范围图由Δwji的公式可知，获胜神经元与其附近的神经元，都与当时的输入向量相接近学习初期，通过h（j，j*）函数，多个神经元可看作相近，形成大致的映射随着学习的深入，由h（j，j*），优胜神经元周围的神经元个数减少，进行局部微调整近旁函数h（j，j*）所显示的区域除了圆形外，典型的还有正方形、六角形等一般是以j*为中心的均匀对称的区域4、近旁函数的作用由近旁函数可知，由于σ随着学习的进行而逐渐变小，为此，h（j，j*）的范围在学习初期较大。典型的初始范围一般是竞争层神经元阵列幅度的1/3~1/2，甚至可以覆盖整个竞争层随着学习的进行而逐渐狭小，即随着学习的进行，由粗调整变为微调整h（j，j*）起着使映射有效地形成的作用近旁函数h（j，j*）是墨西哥帽函数功能的一种具体实现关于连接权的调整网络的学习分为2个阶段第1个阶段为粗学习与粗调整阶段。这时，一般取η大于0.5（或0.5左右）当各模式有了相对稳定的映射位置后，则进入第2个阶段，即精学习与细调整阶段，η应不断减小第2阶段的学习次数是第1阶段的100~1000倍学习总次数在500~10000次之间较为适宜5、网络的回想SOM网经过学习后，按下式进行回想：bj*=1，dj*=min[dj]，j=1,..,Mbi=0,i=1,2,….M,i≠j*将需要分类的输入模式x=（x1,x2,……xN）提供给网络的输入层，按上面的公式寻找出竞争层中连接权向量与x最接近的神经元j*此时神经元j*有最大的激活值1，而其它神经元被抑制而取0值神经元j*表示对输入模式x的分类结果6、SOM网的自组织特性SOM网的自组织能力表现在，经过网络的学习，竞争层各神经元的连接权向量的空间分布，能够正确反映输入模式的空间概率分布作为网络这一特性的逆应用，当我们不知道一组输入模式的概率分布情况时，可以通过让网络对这组输入模式进行学习最后可由网络的连接权向量的空间分布，来表现这组输入模式的概率分布情况如果给定了由网络输入层N个神经元所形成的模式空间的模式概率分布函数，即预先知道了输入模式的分布情况，则通过对按给定的概率分布函数产生的输入模式的学习，网络竞争层各神经元连接权向量的空间分布密度将与给定的输入模式的概率分布趋于一致即学习后的网络连接权向量的空间分布将符合输入模式的空间概率分布，这些连接权向量可作为这类输入模式的最佳参考向量SOM生成例SOM网，输入层有两个神经元；竞争层有8*8（或10*10）个神经元。显然，输入模式空间为二维空间假设输入模式在1*1的矩形内均匀分布每次独立且随机地从中选取一点作为输入模式提供给网络学习首先对连接权向量初始化。设Wj=(wj1,wj2),j=1,2,….,64将竞争层各神经元所对应的二维连接权向量（wj1,wj2)决定的几何点描绘在边长为1的正方形内，并将相邻神经元所对应的几何点逐个用直线连接起来则网络的初始形状可画出来当学习1000次后、2000次、4000次、6000次后、10000次后的图形均可画出来最后，连接权向量几何点的排列与竞争层各神经元的自然排列基本上趋于一致连接权向量的空间分布已反映出输入模式的二维均匀分布情况三角形分布的输入，则连接权向量的空间分布也为三角形轮胎形分布的输入，则连接权向量的空间分布也为轮胎形如图7、SOM网小结SOM网根据其学习规则，对输入模式进行自动分类，在无教师示教的情况下，通过对输入模式的反复学习，捕捉住各个输入模式中所包含的模式特征，并对其进行自组织，在竞争层将分类结果表现出来该表现方式与其他类型的网络的区别：不是以一个神经元或一个神经元向量来反应分类结果，而是以若干个神经元同时反应分类结果与这若干个神经元相连接的连接权向量虽然略有差别，但这些神经元的分类作用基本上是并列的即其中任何一个神经元都可以代表分类结果或近似的分类结果即使某个神经元受损，剩下的神经元仍可保证所对应的记忆信息不会消失可见，SOM网完全模拟了大脑神经细胞对外界信息刺激的反应另外，网络对输入模式的记忆是通过反复学习完成的，将输入模式的统计特征溶解到各个连接权上，所以网络具有较强的抗干扰能力SOM网的局限1）网络的分类精度取决于提供给网络学习的输入模式的概率分布函数非均匀分布的输入学习模式将产生非均匀分布的网络连接权向量空间2）当学习模式较少时，网络的分类效果取决于输入模式的先后次序；网络连接权向量的初始状态对网络的收敛性能有很大影响3）SOM网不具备记忆的稳定性。对