SOM神经网络

第4章SOM自组织特征映射神经网络生物学研究表明，在人脑的感觉通道上，神经元的组织原理是有序排列的。当外界的特定时空信息输入时，大脑皮层的特定区域兴奋，而且类似的外界信息在对应的区域是连续映像的。生物视网膜中有许多特定的细胞对特定的图形比较敏感，当视网膜中有若干个接收单元同时受特定模式刺激时，就使大脑皮层中的特定神经元开始兴奋，输入模式接近，与之对应的兴奋神经元也接近；在听觉通道上，神经元在结构排列上与频率的关系十分密切，对于某个频率，特定的神经元具有最大的响应，位置相邻的神经元具有相近的频率特征，而远离的神经元具有的频率特征差别也较大。大脑皮层中神经元的这种响应特点不是先天安排好的，而是通过后天的学习自组织形成的。据此芬兰Helsinki大学的KohonenT.教授提出了一种自组织特征映射网络（Self-organizingfeatureMap，SOM），又称Kohonen网络[1-5]。Kohonen认为，一个神经网络接受外界输入模式时，将会分为不同的对应区域，各区域对输入模式有不同的响应特征，而这个过程是自动完成的。SOM网络正是根据这一看法提出的，其特点与人脑的自组织特性相类似。4.1竞争学习算法基础[6]4.1.1自组织神经网络结构1．定义自组织神经网络是无导师学习网络。它通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。2．结构层次型结构，具有竞争层。典型结构：输入层＋竞争层。如图4-1所示。竞争层输入层……图4-1自组织神经网络结构输入层：接受外界信息，将输入模式向竞争层传递，起“观察”作用。竞争层：负责对输入模式进行“分析比较”，寻找规律，并归类。4.1.2自组织神经网络的原理1．分类与输入模式的相似性分类是在类别知识等导师信号的指导下，将待识别的输入模式分配到各自的模式类中，无导师指导的分类称为聚类，聚类的目的是将相似的模式样本划归一类，而将不相似的分离开来，实现模式样本的类内相似性和类间分离性。由于无导师学习的训练样本中不含期望输出，因此对于某一输入模式样本应属于哪一类并没有任何先验知识。对于一组输入模式，只能根据它们之间的相似程度来分为若干类，因此，相似性是输入模式的聚类依据。2．相似性测量神经网络的输入模式向量的相似性测量可用向量之间的距离来衡量。常用的方法有欧氏距离法和余弦法两种。（1）欧式距离法设iXX,为两向量，其间的欧式距离TiiiXXXXXXd))((（4-1）d越小，X与iX越接近，两者越相似，当0d时，iXX；以Td（常数）为判据，可对输入向量模式进行聚类分析：由于312312,,ddd均小于T，465645,,ddd均小于T,而)6,5,4(1iTdi,)6,5,4(2iTdi,)6,5,4(3iTdi，故将输入模式654321,,,,,XXXXXX分为类1和类2两大类，如图4-2所示。（2）余弦法设iXX,为两向量，其间的夹角余弦iTXXXXcos（4-2）越小，X与iX越接近，两者越相似；当＝0时，cos＝1，iXX；同样以0为判据可进行聚类分析。X1X2X6类1类2TX3X5X4图4-2基于欧式距离法的模式分类3．竞争学习原理竞争学习规则的生理学基础是神经细胞的侧抑制现象：当一个神经细胞兴奋后，会对其周围的神经细胞产生抑制作用。最强的抑制作用是竞争获胜的“唯我独兴”，这种做法称为“胜者为王”（Winner-Take-All，WTA）。竞争学习规则就是从神经细胞的侧抑制现象获得的。它的学习步骤为：（1）向量归一化对自组织网络中的当前输入模式向量X、竞争层中各神经元对应的内星权向量jw(mj,,2,1)，全部进行归一化处理，如图4-3所示，得到Xˆ和jWˆ：XXXˆ,jjjˆ（4-3）jW1jWijX1XiXnWnjkjy……图4-3向量归一化（2）寻找获胜神经元将Xˆ与竞争层所有神经元对应的内星权向量),,2,1(ˆmjWj进行相似性比较。最相似的神经元获胜，权向量为*ˆjW：jnjjWXWXˆˆmin},,2,1{*TjjTjTTjjjWWXWXXWXWXWX******ˆˆˆˆ2ˆˆ)ˆ)(ˆ(ˆˆ)ˆˆ1(2*TjXW)ˆˆ(maxˆˆ*TjjTjXWXW（4-4）（3）网络输出与权调整按WTA学习法则，获胜神经元输出为“1”，其余为0。即：**01)1(jjjjtyj（4-5）只有获胜神经元才有权调整其权向量*jW。其权向量学习调整如下：*)(ˆ)1()ˆˆ()(ˆ)(ˆ)1(*****jjtWtWWXtWWtWtWjjjjjjj（4-6）10为学习率，一般随着学习的进展而减小，即调整的程度越来越小，趋于聚类中心。（4）重新归一化处理归一化后的权向量经过调整后，得到的新向量不再是单位向量，因此要对学习调整后的向量重新进行归一化，循环运算，直到学习率衰减到0。为了更好地说明竞争学习算法的聚类分析效果，下面以一具体实例进行计算[6]。【例4-1】用竞争学习算法将下列各模式分为两类)6.0,8.0(1X，)9848.0,1736.0(2X，)707.0,707.0(3X，)9397.0,342.0(4X，)8.0,6.0(5X，学习率＝0.5。【解】将上述输入模式转换为极坐标形式：89.3611X，8012X，4513X，7014X，13.5315X。如图4-4所示。1X2X3X4X5X1W2W图4-4模式向量图要求将各模式分为两类，则竞争层为两个神经元，设两个权向量，随机初始化为单元向量：01)0,1()0(1W，1801)0,1()0(2W，其竞争学习过程如下：（1）1X1d89.361)0(11WX，2d89.2161)0(21WX21dd，神经元1获胜，1W调整。43.18189.365.00))0(()0()1(1111WXWW1801)0()1(22WW（2）2X1d43.981)1(12WX，2d1001)1(22WX21dd，神经元1获胜，1W调整。8.301)43.1880(5.043.18))1(()1()2(1211WXWW1801)1()2(22WW（3）3X1d8.751)2(13WX，2d2251)2(23WX21dd，神经元1获胜，1W调整。71)8.3045(5.08.30))2(()2()3(1311WXWW1801)2()3(22WW（4）4X1d771)3(14WX，2d1101)3(24WX21dd，神经元1获胜，1W调整。5.311)770(5.07))3(()3()4(1411WXWW1801)3()4(22WW（5）5X1d63.841)4(15WX，2d87.1261)4(25WX21dd，神经元1获胜，1W调整。111)5.3113.53(5.05.31))4(()4()5(1511WXWW1801)4()5(22WW（6）1X1d89.251)5(11WX，2d89.2161)5(21WX21dd，神经元1获胜，1W调整。24189.255.011))5(()5()6(1111WXWW1801)5()6(22WW（7）2X1d1041)6(12WX，2d1001)6(22WX12dd，神经元2获胜，2W调整。1301)18080(5.0180))6(()6()7(2222WXWW241)6()7(11WW（8）3X1d211)7(13WX，2d1751)7(23WX21dd，神经元1获胜，1W调整。341)2445(5.024))7(()7()8(1311WXWW1301)7()8(22WW（9）4X1d1041)8(14WX，2d601)8(24WX12dd，神经元2获胜，2W调整。1001)13070(5.0130))8(()8()9(2422WXWW341)8()9(11WW（10）5X1d13.191)9(15WX，2d13.1531)9(25WX21dd，神经元1获胜，1W调整。441)3413.53(5.034))9(()9()10(1511WXWW1001)9()10(22WW一直循环运算下去，其前20次学习结果如表4-1所示。表4-1竞争学习结果学习次数W1W2学习次数W1W2118.43°180°1140.5°100°230.8°180°1240.5°90°37°180°1343°90°432°180°1443°81°511°180°1547.5°81°（续表）学习次数W1W2学习次数W1W2624°180°1642°81°724°130°1742°80.5°834°130°1843.5°80.5°934°100°1943.5°75°1044°100°2048.5°75°从表4-1可见，在运算学习20次后，网络权值1W，2W趋于稳定：75,4521WW。同时我们还可以得到如下结论：当1W调整时，2W不变，反之亦然，每次只有一个神经元获胜。531,,XXX属于同一模式，其中心向量为：45)(31321XXX，2X,4X属于同一模式类：751)(2142XX。若学习率为常数，1W,2W将在中心向量附近摆动，永远也不收敛。4.2SOM神经网络模型与算法[7]1．SOM网络的拓扑结构SOM网络共有两层：输入层和输出层。输入层：通过权向量将外界信息汇集到输出层各神经元。输入层的形式与BP网相同，节点数与样本维数相同。输出层：输出层也是竞争层。其神经元的排列有多种形式，分为一维线阵、二维平面阵和三维栅格阵。最典型的结构是二维形式，它更具大脑皮层的形象，如图4-5所示。输出层输入层图4-5二维SOM平面阵列输出层的每个神经元同它周围的其他神经元侧向连接，排列成棋盘状平面；输入层为单层神经元排列。2.SOM权值调整域SOM网采用的算法称为Kohonen算法，它是在“胜者为王”（Winner-Take-All，WTA）学习规则基础上加以改进的，主要区别是调整权向量与侧抑制的方式不同：WTA：侧抑制是“封杀”式的。只有获胜神经元可以调整其权值，其他神经元都无权调整。Kohonen算法：获胜的神经元对其邻近神经元的影响是由近及远，由兴奋逐渐变为抑制。换句话说，不仅获胜神经元要调整权值，它周围的神经元也要不同程度调整权向量。常见的调整方式有如下几种：墨西哥草帽函数：获胜节点有最大的权值调整量，临近的节点有稍小的调整量，离获胜节点距离越大，权值调整量越小，直到某一距离0d时，权值调整量为零；当距离再远一些时，权值调整量稍负，更远又回到零。如图4-6（a）所示。大礼帽函数：它是墨西哥草帽函数的一种简化，如图4-6（b）所示。厨师帽函数：它是大礼帽函数的一种简化，如图4-6（c）所示。)(a)(b)(c0rr0rr0rr)(rw)(rw)(rwRRRRRR000图4-6权值调整函数以获胜神经元为中心设定一个邻域半径R，该半径固定的范围称为优胜邻域。在SOM网学习方法中，优胜邻域内的所有神经元，均按其离开获胜神经元距离的远近不同程度调整权值。优胜邻域开始定的较大，但其大小随着训练次数的增加不断收缩，最终收缩到半径为零。3．SOM网络运行原理