自组织竞争神经网络与SOM网络kohonen网络

自组织竞争型神经网络葛莉2第四章自组织竞争型神经网络§4.1前言§4.2竞争学习的概念和原理§4.3自组织特征映射神经网络§4.4自组织特征映射神经网络的设计§4.5对偶传播神经网络§4.6小结3§4.1前言在生物神经系统中，存在着一种侧抑制现象，即一个神经细胞兴奋以后，会对周围其他神经细胞产生抑制作用。这种抑制作用会使神经细胞之间出现竞争，其结果是某些获胜，而另一些则失败。表现形式是获胜神经细胞兴奋，失败神经细胞抑制。自组织竞争型神经网络就是模拟上述生物神经系统功能的人工神经网络。4自组织竞争型神经网络是一种无教师监督学习，具有自组织功能的神经网络。网络通过自身的训练，能自动对输入模式进行分类。这一点与Hopfield网络的模拟人类功能十分相似，自组织竞争型神经网络的结构及其学习规则与其他神经网络相比有自己的特点。在网络结构上，它一般是由输入层和竞争层构成的两层网络。两层之间各神经元实现双向连接，而且网络没有隐含层。有时竞争层各神经元之间还存在横向连接。5在学习算法上，它模拟生物神经元之间的兴奋、协调与抑制、竞争作用的信息处理的动力学原理来指导网络的学习与工作，而不像大多数神经网络那样是以网络的误差或能量函数作为算法的准则。竞争型神经网络构成的基本思想是网络的竞争层各神经元竞争对输入模式响应的机会，最后仅有一个神经元成为竞争的胜者。这一获胜神经元则表示对输入模式的分类。6自组织竞争人工神经网络是基于上述生物结构和现象形成的。它能够对输入模式进行自组织训练和判断，并将其最终分为不同的类型。与BP网络相比，这种自组织自适应的学习能力进一步拓宽了人工神经网络在模式识别、分类方面的应用，另一方面，竞争学习网络的核心——竞争层，又是许多种其他神经网络模型的重要组成部分。7常用的自组织网络自组织特征映射(Self-OrganizingFeatureMap)网络对偶传播(Counterpropagation)网络返回8自组织神经网络的典型结构竞争层输入层§4.2竞争学习的概念与原理9分类——分类是在类别知识等导师信号的指导下，将待识别的输入模式分配到各自的模式类中去。聚类——无导师指导的分类称为聚类，聚类的目的是将相似的模式样本划归一类，而将不相似的分离开。§4.2竞争学习的概念与原理竞争学习的概念10•相似性测量＿欧式距离法)()(iTiiXXXXXX类1类2类1类2TT(a)基于欧式距离的相似性测量(b)基于余弦法的相似性测量两个模式向量的欧式距离越小，两个向量越接近，因此认为这两个模式越相似，当两个模式完全相同时其欧式距离为零。如果对同一类内各个模式向量间的欧式距离作出规定，不允许超过某一最大值T，则最大欧式距离T就成为一种聚类判据，同类模式向量的距离小于T，两类模式向量的距离大于T。11•相似性测量＿余弦法iiTXXXXcos类1类2类1类2TT(a)基于欧式距离的相似性测量(b)基于余弦法的相似性测量两个模式向量越接近，其夹角越小，余弦越大。当两个模式向量完全相同时，其余弦夹角为1。如果对同一类内各个模式向量间的夹角作出规定，不允许超过某一最大夹角a，则最大夹角就成为一种聚类判据。同类模式向量的夹角小于a，两类模式向量的夹角大于a。余弦法适合模式向量长度相同和模式特征只与向量方向相关的相似性测量。12竞争学习原理竞争学习规则——Winner-Take-All网络的输出神经元之间相互竞争以求被激活，结果在每一时刻只有一个输出神经元被激活。这个被激活的神经元称为竞争获胜神经元，而其它神经元的状态被抑制，故称为WinnerTakeAll。§4.2竞争学习的概念与原理131.向量归一化首先将当前输入模式向量X和竞争层中各神经元对应的内星向量Wj全部进行归一化处理；(j=1,2,…,m)Tnjjnnjjxxxx12121...ˆXXX14向量归一化之前****15向量归一化之后*****16竞争学习原理竞争学习规则——Winner-Take-All2.寻找获胜神经元当网络得到一个输入模式向量时，竞争层的所有神经元对应的内星权向量均与其进行相似性比较，并将最相似的内星权向量判为竞争获胜神经元。欲使两单位向量最相似，须使其点积最大。即：)ˆˆ(maxˆˆ},...,2,1{*XWXWTjmjTj17从上式可以看出，欲使两单位向量的欧式距离最小，须使两向量的点积最大。即：)ˆˆ(maxˆˆ},...,2,1{*XWXWTjmjTjjmjjWXWXˆˆminˆˆ,...,2,1*)ˆˆ()ˆˆ(ˆˆ***jTjjWXWXWXTjTjTjT***ˆˆˆˆ2ˆˆWWXWXX)ˆ1(2*XWTj竞争学习规则——Winner-Take-All183.网络输出与权值调整**01)1(jjjjtoj*****ˆˆˆˆ(1)()()()()jjjjjtttt)(ˆ)1(ttjjWWjj*步骤3完成后回到步骤1继续训练，直到学习率衰减到0。竞争学习规则——Winner-Take-All19****竞争学习的几何意义☻20*1Wˆ*ˆjW*)](ˆ)(ˆ)[()(*ttttjpWXW*┆)(ˆ*1tjW)(ˆtpXjWˆmWˆ*…***竞争学习的几何意义21例4.1用竞争学习算法将下列各模式分为2类：6.08.01X9848.01736.02X707.0707.03X9397.0342.04X8.06.05X解：为作图方便，将上述模式转换成极坐标形式：89.3611X8012X5.4413X7014X13.5315X竞争层设两个权向量，随机初始化为单位向量：0101)0(1W180101)0(2W22x5x3x1w2w1x2x4训练次数W1W2123456789101112131415161718192018.43-30.87-3211242434344440.540.5434347.5424243.543.548.5-180-180-180-180-180-180-130-130-100-100-100-90-90-81-81-81-80.5-80.5-75-7523x5x3x1w2x2x4w1训练次数W1W2123456789101112131415161718192018.43-30.87-3211242434344440.540.5434347.5424243.543.548.5-180-180-180-180-180-180-130-130-100-100-100-90-90-81-81-81-80.5-80.5-75-7524x5x3x1w2x2x4w1训练次数W1W2123456789101112131415161718192018.43-30.87-3211242434344440.540.5434347.5424243.543.548.5-180-180-180-180-180-180-130-130-100-100-100-90-90-81-81-81-80.5-80.5-75-7525x5x3x1w2x2x4w1训练次数W1W2123456789101112131415161718192018.43-30.87-3211242434344440.540.5434347.5424243.543.548.5-180-180-180-180-180-180-130-130-100-100-100-90-90-81-81-81-80.5-80.5-75-7526x5x3x1w2x2x4w1训练次数W1W2123456789101112131415161718192018.43-30.87-3211242434344440.540.5434347.5424243.543.548.5-180-180-180-180-180-180-130-130-100-100-100-90-90-81-81-81-80.5-80.5-75-7527x5x3x1w2x2x4w1训练次数W1W2123456789101112131415161718192018.43-30.87-3211242434344440.540.5434347.5424243.543.548.5-180-180-180-180-180-180-130-130-100-100-100-90-90-81-81-81-80.5-80.5-75-7528x5x3x1w2x2x4w1训练次数W1W2123456789101112131415161718192018.43-30.87-3211242434344440.540.5434347.5424243.543.548.5-180-180-180-180-180-180-130-130-100-100-100-90-90-81-81-81-80.5-80.5-75-7529x5x3x1x2x4w1w2训练次数W1W2123456789101112131415161718192018.43-30.87-3211242434344440.540.5434347.5424243.543.548.5-180-180-180-180-180-180-130-130-100-100-100-90-90-81-81-81-80.5-80.5-75-7530x5x3x1x2x4w1w2训练次数W1W2123456789101112131415161718192018.43-30.87-3211242434344440.540.5434347.5424243.543.548.5-180-180-180-180-180-180-130-130-100-100-100-90-90-81-81-81-80.5-80.5-75-7531x5x3x1x2x4w1w2训练次数W1W2123456789101112131415161718192018.43-30.87-3211242434344440.540.5434347.5424243.543.548.5-180-180-180-180-180-180-130-130-100-100-100-90-90-81-81-81-80.5-80.5-75-7532x5x3x1x2x4w1w2训练次数W1W2123456789101112131415161718192018.43-30.87-3211242434344440.540.5434347.5424243.543.548.5-180-180-180-180-180-180-130-130-100-100-100-90-9