自适应神经网络

•自组织神经网络（SONN）石伟SONN目录1.SONN概述2.竞争学习的概念3.竞争学习的原理4.自组织特征映射（SOM）神经网络SONN概述在人类的认识过程中，除了从教师那里得到知识外，还有一种不需要通过教师，自动向环境学习的能力，这种仅依靠环境刺激的“无师自通”的功能称为自组织学习方法。通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。自组织网络的自组织功能是通过竞争学习（competitivelearning）实现的。自组织神经网络的典型结构具有一个输入层和一个竞争层输入层负责接受外界信息并将输入模式向竞争层传递，起观察作用。竞争层负责对该模式进行分析比较”，找出规律以正确分类。这种功能是通过下面要介绍的竞争机制实现的。输入模式输出模式竞争层SONN概述竞争学习的概念竞争学习是自组织网络中最常用的一种学习策略，首先说明与之相关的几个基本概念。模式：一般当网络涉及识别、分类问题时，常用输入模式（而不称输入样本）；分类：将待识别的输入模式划分为各自的模式类中去；聚类：无导师指导的分类称为聚类，聚类的目的是将相似的模式样本划归一类；相似性：输入模式的聚类依据。竞争学习的概念相似性测量神经网络的输入模式用向量表示，比较不同模式的相似性可转化为比较两个向量的距离，因而可用模式向量间的距离作为聚类判据。模式识别中常用到的两种聚类判据是欧式最小距离法和余弦法。竞争学习的概念（1）欧式距离法X和Xi两向量欧式距离:两个模式向量的欧式距离越小，两个模式越相似，当两个模式完全相同时，其欧式距离为零。如果对同一类内各个模式向量间的欧式距离作出规定，不允许超过某一最大值T，则最大欧式距离T就成为一种聚类判据。)()(iTiiXXXXXX竞争学习的概念（2）余弦法计算两个模式向量夹角的余弦：两个模式向量越接近，其类角越小，余弦越大。当两个模式向量完全相同时，其夹角余弦为1。若同类内各模式向量间的夹角规定不大于ΨT，则Ψ成为一种聚类判据。余弦法适合模式向量长度相同或模式特征只与向量方向相关的相似性测量。iiTXXXXcos竞争学习原理（规则）实验表明，人眼的视网膜、脊髓和海马中存一种侧抑制现象，即，当一个神经细胞兴奋后，会对其周围的神经细胞产生抑制作用。最强的抑制关系是竞争获胜者“惟我独兴”，不允许其它神经元兴奋，这种抑制方式也称为胜者为王。竞争学习采用的规则是胜者为王，该算法可分为3个步骤。竞争学习原理（规则）(1)向量归一化将自组织网络中的当前输入模式向量X和竞争层中各神经元对应的内星权向量Wj(j=1,2,…m)全部进行归一化处理。得到：Xˆ),2,1(ˆmjWj竞争学习原理（规则）向量归一化之前向量归一化之后*********竞争学习原理（规则）（2）寻找获胜神经元当网络得到一个输入模式向量时，竞争层的所有神经元对应的内星权向量均与其进行相似性比较，并将最相似的内星权向量判为竞争获胜神经元。欲使两单位向量最相似，须两单位向量的欧式距离最小，即其点积最大。即：因此，求最小欧式距离的问题就转化为按此式求最大点积的问题，而且权向量与输入向量的点积正是竞争层神经元的净输入。)ˆˆ(maxˆˆ},...,2,1{*XWXWTjmjTj竞争学习原理（规则）3.网络输出与权值调整胜者为王竞争学习算法规定，获胜神经元输出为1，其余输出为零。即只有获胜神经元才有权调整其权向量，调整后权向量为应注意，归一化后的权向量经过调整后得到的新向量不再是单位向量，需要重新归一化。步骤（3）完成后回到步骤（1）继续训练，直到学习率衰减到零。**01)1(jjjjtoj)(ˆ)1()ˆˆ()(ˆ)(ˆ)1(*****tWtWWXtWWtWtWjjJjjjj**jjjj竞争学习原理（规则）例4.1用竞争学习算法将下列各模式分为2类：解：为作图方便，将上述模式转换成极坐标形式：归一化的初始权值为设为0.5,输入x1后,权值变化为:6.08.01X9848.01736.02X707.0707.03X9397.0342.04X8.06.05X89.3611X8012X5.4413X7014X13.5315X01)0(w01)0(21w01)1(w316.0948.0)1(21w竞争学习原理（规则）x5x3x1w2w1x2x4训练次数W1W2123456789101112131415161718192018.43-30.87-3211242434344440.540.5434347.5424243.543.548.5-180-180-180-180-180-180-130-130-100-100-100-90-90-81-81-81-80.5-80.5-75-75竞争学习原理（规则）x5x3x1w2x2x4w1训练次数W1W2123456789101112131415161718192018.43-30.87-3211242434344440.540.5434347.5424243.543.548.5-180-180-180-180-180-180-130-130-100-100-100-90-90-81-81-81-80.5-80.5-75-75竞争学习原理（规则）x5x3x1w2x2x4w1训练次数W1W2123456789101112131415161718192018.43-30.87-3211242434344440.540.5434347.5424243.543.548.5-180-180-180-180-180-180-130-130-100-100-100-90-90-81-81-81-80.5-80.5-75-75竞争学习原理（规则）x5x3x1w2x2x4w1训练次数W1W2123456789101112131415161718192018.43-30.87-3211242434344440.540.5434347.5424243.543.548.5-180-180-180-180-180-180-130-130-100-100-100-90-90-81-81-81-80.5-80.5-75-75竞争学习原理（规则）x5x3x1w2x2x4w1训练次数W1W2123456789101112131415161718192018.43-30.87-3211242434344440.540.5434347.5424243.543.548.5-180-180-180-180-180-180-130-130-100-100-100-90-90-81-81-81-80.5-80.5-75-75竞争学习原理（规则）x5x3x1x2x4w1w2训练次数W1W2123456789101112131415161718192018.43-30.87-3211242434344440.540.5434347.5424243.543.548.5-180-180-180-180-180-180-130-130-100-100-100-90-90-81-81-81-80.5-80.5-75-75自组织特征映射（SOM）神经网络1981年芬兰Helsink大学的T.Kohonen教授提出一种自组织特征映射网，简称SOM网，又称Kohonen网。Kohonen认为：一个神经网络接受外界输入模式时，将会分为不同的对应区域，各区域对输入模式具有不同的响应特征，而且这个过程是自动完成的。自组织特征映射正是根据这一看法提出来的，其特点与人脑的自组织特性相类似。自组织特征映射（SOM）神经网络4.2.1SOM网络的生物学基础生物学研究表明：人的大脑皮层中，存在许多不同功能的神经网络区域，每个功能区域完成各自的特定功能，如视觉、听觉、语言理解和运动控制等等。当人脑通过感官接受外界的特定时空信息时，将引起大脑皮层的特定区域兴奋。每个区域有若干神经元组成，当该区域兴奋时，总是以某一个神经元（细胞）为兴奋中心，呈现出墨西哥帽（MexicanHat）式兴奋分布。自组织特征映射（SOM）神经网络SOM网的拓扑结构SOM网络共有两层，输入层模拟感知外界输入信息的视网膜。输出层模拟做出响应的大脑皮层。输出层也是竞争层，网络拓扑结构形式常见有一维线阵和二维平面阵。…………(a)一维线阵(b)二维平面线阵自组织特征映射（SOM）神经网络SOM网络的运行原理SOM网络表现为：网络随机输入模式时，对某个特定的输入模式，输出层会有某个节点产生最大响应而获胜。按生物区域神经兴奋机制，获胜神经元对其邻近神经元存在一种侧抑制（竞争）机制。SOM网络的侧抑制方式是：以获胜神经元为中心权值调整量最强，且由近及远地逐渐递减程度不同的调整权向量直到抑制。以获胜神经元为中心设定一个邻域——优胜域。优胜邻域内的所有神经元均按其离开获胜神经元的距离远近不同程度地调整权值。优胜邻域开始可定义得较大，但其大小随着训练次数的增加不断收缩，最终收缩到半径为零。自组织特征映射（SOM）神经网络SOM网络的学习算法SOM网络采用的学习算法称Kohonen算法，是在胜者为王算法基础上加以改进而成。其主要区别在于调整权向量的侧抑制方式不同。胜者为王算法中，获胜神经元对周围神经元的抑制是“封杀”式的（只获胜神经调整权向量，周围其它无权调整）。Kohonen算法采用优胜域思想，模拟生物区域神经兴奋竞争机制。自组织特征映射（SOM）神经网络Kohonen学习算法程序流程初始化、归一化权向量W：jˆW，j=1,2,…m；建立初始优胜邻域Nj*(0)学习率(t)赋初始值输入归一化样本pˆX，p{1,2,…,P}计算点积pTjXWˆˆ，j=1,2,…m选出点积最大的获胜节点j*定义优胜邻域Nj*(t)对优胜邻域Nj*(t)内节点调整权值：)]()[()()(twxN,ttw1twijpiijiji=1,2,…njNj*(t)N)(tminY结束自组织特征映射（SOM）神经网络SOM网络的功能(1)保序映射——将输入空间的样本模式类有序地映射在输出层上。2)数据压缩——将高维空间的样本在保持拓扑结构不变的条件下投影到低维空间。如：输入样本空间为29维，通过SOM网后压缩为二维平面的数据。(3)特征抽取——高维空间的向量经过特征抽取后可以在低维特征空间更加清晰地表达。THANKS