SOM神经网络

SOM神经网络智能信息处理实验室目录神经网络基础知识SOM网一种改进思路文献神经网络基础知识芬兰赫尔辛基大学神经网络专家Kohonen“人工神经网络是由具有适应性的简单单元组成的广泛并行互联的网络，它的组织能够模拟生物神经系统对真实世界物体所做出的交互反应。”神经网络基础知识ANN发展状况1.探索时期（开始于20世纪40年代）1943年，神经生理学家麦克拉奇（W.McCulloch)和数学家匹茨（Pitts）合作，应用反馈机制建立了世界上第一个神经网络模型，即人工神经网络（ANN）；2.第一次热潮时期（20世纪50年代末——20世纪60年代初）1958年，罗森布.拉特（F.Rosenblatt）设计制作了“感知机”，它是一种多层的神经网络，这项工作首次把ANN的理论探讨付诸于工程实践；1959年，威德罗（Widrow）等提出了自适应线性元件网络，通过训练后可用于抵消通信中的回波赫噪声，在此基础上发展了非线性自适应网络；神经网络基础知识ANN发展状况3.低潮时期（20世纪60年代末——20世纪70年代）1969年，明斯基等在《percepetron》中对感知器的功能得出了悲观结论；1972年，T.Kohonen和J.Anderson分别提出能完成记忆的新型新网络；1976年，S.Grossberg在自组织神经网络的研究；4.第二次热潮（20世纪80年代至今）1982年，美国物理学家霍普菲尔德（J.Hopfield）陆续提出离散和连续的全互联神经网络模型，并成功求解旅行商问题（TSP）,引起巨大反响；1986年，Rumelhart和McCelland领导的科学家小组提出了（B-P）算法；1987年，首届国际ANN大会在圣地亚哥召开，国际ANN联合会成立，创办了多种ANN国际刊物；神经网络基础知识1.生物神经元构成神经系统的基本单元，简称神经元。包括细胞体、树突、轴突。神经网络基础知识细胞体的作用：接受和处理信息。树突的作用：它是神经元接受其他神经元信息的通道。突触：神经元之间传递信息的输入/输出接口。神经网络基础知识2.人工神经元结构模型由生物神经元传递信息的过程，可以看出神经元一般表现为一个多输入（即它的多个树突和细胞体与其他多个神经元轴突末梢突触连接）、单输出（每个神经元只有一个轴突作为输出通道）的非线性器件。神经网络基础知识可以看成是由三种基本元素组成：（1）一组连接连接强度由各连接上的权值表示，权值可以取正值也可以取负值，权值为正表示激活，权值为负表示抑制；（2）一个加法器用于求输入信号对神经元的相应突触加权之和；（3）一个激活函数用限制神经元输出振幅，激活函数也称为压制函数。因为他将输入信号压制（限制）到允许范围之内的一定值神经网络基础知识如图，神经元i：x1、x2......xn:神经元的输入；（来自前n个轴突的信息A）wi1、wi2......:分别是神经元I对输入x1、x2的权系数，处于激发状态为正，抑制状态为负；（突触传递效率）yi：神经元i的输出；f[.]:激励函数,它决定i神经元受到输入x1、x2...的共同刺激达到阈值时以何种方式输出。神经网络基础知识由生物神经元模型，可以得到人工神经元的数学模型表达式：是指神经单元的偏置（阈值）：根据其正负，相应的增加或降低激活函数的网络输入1()niijjijiiuwxYfu神经网络基础知识激活函数主要有以下三种形式：域值线性s型神经网络基础知识3.人工神经网络的模型(分类角度很多，主要说以下三种)第一种：按神经元的连接方式把人工神经网络分为不同的网络模型：（1）分层网络单纯的前向网络具有反馈的前向网络层内互联的前向网络（2）互联网络任意两个神经元之间可以互相连接。互连网络一直处于动态变化之中，最后到达某种稳定状态，也可能进入周期振荡。神经网络基础知识单纯的前向网络神经元分层排列(输入层、隐层和输出层)。各层之间的神经元全互联，各层内的神经元无连接。每一层只接受来自前一层的输入。神经网络基础知识从输出层到输入层有反馈的前向网络神经网络基础知识层内有互连接的网络同一层的神经元可以互相连接.神经网络基础知识第二种：按神经网络的学习方式把人工神经网络分为：（1）有导师学习（也叫监督学习）：网络训练往往给予一定数量的训练样本。在学习和训练过程中，网络根据实际输出与期望输出进行比较，进行连接权值和域值的调整。通常将期望输出称为教师信号，它是评价学习的标准。（2）无导师学习（无监督学习）：无教师信号提供给网络，网络根据其特有的结构和学习规则，进行连接权值和域值的调整。网络的学习评价标准隐含于其内部。（3）再励学习（强化学习）：这种学习介于上述两种情况之间，外部环境对系统输出结果只给出评定（奖和罚），而不是给出正确答案，学习系统通过强化那些受奖励的动作来改善自身性能。神经网络基础知识第三种.神经网络的学习规则1.Hebb规则2.基于记忆的学习规则3.纠错学习规则4.竞争学习规则5.随机学习规则自组织神经网络1.自组织神经网络的典型结构竞争层输入层自组织神经网络2.相似性测量＿欧式距离法)()(iTiiXXXXXX类1类2类1类2TT(a)基于欧式距离的相似性测量(b)基于余弦法的相似性测量自组织神经网络3.竞争学习的规则——Winner-Take-All网络的输出神经元之间相互竞争以求被激活，结果在每一时刻只有一个输出神经元被激活。这个被激活的神经元称为竞争获胜神经元，而其它神经元的状态被抑制自组织神经网络3.竞争学习的规则——Winner-Take-All(1).向量归一化首先将当前输入模式向量X和竞争层中各神经元对应的内星向量Wj全部进行归一化处理；(j=1,2,…,m)Tnjjnnjjxxxx12121...ˆXXX自组织神经网络归一化前归一化后*********自组织神经网络3.竞争学习的规则——Winner-Take-All(2).寻找获胜神经元当网络得到一个输入模式向量时，竞争层的所有神经元对应的内星权向量均与其进行相似性比较，并将最相似的内星权向量判为竞争获胜神经元。jmjjWXWXˆˆminˆˆ,...,2,1*)ˆˆ()ˆˆ(ˆˆ***jTjjWXWXWXTjTjTjT***ˆˆˆˆ2ˆˆWWXWXX)ˆ1(2*XWTj自组织神经网络从上式可以看出，欲使两单位向量的欧式距离最小，须使两向量的点积最大。即：)ˆˆ(maxˆˆ},...,2,1{*XWXWTjmjTj自组织神经网络3.竞争学习的规则——Winner-Take-All(3).网络输出与权值调整步骤3完成后回到步骤1继续训练，直到学习率衰减到0。**01)1(jjjjtoj)ˆˆ()()(ˆ)(ˆ)1(*****jjjjjttttWX)(ˆ)1(ttjjWWjj*自组织神经网络*1Wˆ*ˆjW*)](ˆ)(ˆ[()(*ttt)tjpWXWh*┆)(ˆ*1tjW)(ˆtpXjWˆmWˆ*…*自组织神经网络例：用竞争学习算法将下列各模式分为2类6.08.01X9848.01736.02X707.0707.03X9397.0342.04X8.06.05X自组织神经网络x5x3x1w2w1x2x4训练次数W1W2123456789101112131415161718192018.43-30.87-3211242434344440.540.5434347.5424243.543.548.5-180-180-180-180-180-180-130-130-100-100-100-90-90-81-81-81-80.5-80.5-75-75自组织神经网络x5x3x1x2x4w1w2训练次数W1W2123456789101112131415161718192018.43-30.87-3211242434344440.540.5434347.5424243.543.548.5-180-180-180-180-180-180-130-130-100-100-100-90-90-81-81-81-80.5-80.5-75-75SOM网研究背景1981年，T.Kohonen教授提出一种自组织特征映射网，简称SOM网，又称Kohonen网。Kohonen认为：一个神经网络接受外界输入模式时，将会分为不同的对应区域，各区域对输入模式具有不同的响应特征，而且这个过程是自动完成的。自组织特征映射正是根据这一看法提出来的，其特点与人脑的自组织特性相类似。SOM网研究背景•SOM神经网络有许多的不足之处，例如，它的最终权向量受输入样本序列的影响，易受噪声点和野值的影响，拓扑保持能力有限，缺乏理论上的收敛性证明等等，针对SOM网络的不足，许多学者开始做大量的改进工作，最具有代表性的有FKCN，KohonenSOFM．C，LVQ。•20世纪90年代中期出现了基于核的学习方法，该方法能够高效地分析处理非线性关系，而且这种方法的效率水平能与线性算法基本持平，使得研究人员前进了一大步。该方法在统计分析领域得到进一步发展之后，在高维特征空问内也能够达到比较高的效率，并且避免了过度拟合的危险。SOM网研究背景•近年来，神经网络正向模拟人类认知的道路上更加深入发展，与模糊系统、遗传算法、进化机制等结合，形成计算智能，成为人工智能的一个重要方向，将在实际应用中得到发展。自组织特征映射神经网络1.拓扑结构SOM网共有两层，输入层模拟感知外界输入信息的视网膜，输出层模拟做出响应的大脑皮层。…………(a)一维线阵(b)二维平面线阵自组织特征映射神经网络2.SOM网络的Kohonen算法SOM采用的是Kohonen算法，他在Winner-Take-All（WTA）学习规则的基础上加以改进，主要是调整权向量与侧抑制的方式不同。WTA：侧抑制是“封杀”式的，只有获胜神经元可以调整其权值。Kohonen：获胜神经元对其邻近神经元的影响是由近及远，由兴奋逐渐转变为抑制，因此不仅获胜神经元本身要调整权向量，它周围的神经元在其影响下也要程度不同地调整权向量。自组织特征映射神经网络以获胜神经元为中心设定一个邻域半径，该半径圈定的范围称为优胜邻域。在SOM网学习算法中，优胜邻域内的所有神经元均按其离开获胜神经元的距离远近不同程度地调整权值。常见的调整方法有以下几种自组织特征映射神经网络Kohonen学习算法:(1)初始化对输出层各权向量赋小随机数并进行归一化处理，得到Wˆj,j=1,2,…m；建立初始优胜邻域Nj*(0)；学习率h赋初始值。(2)接受输入从训练集中随机选取一个输入模式并进行归一化处理，得到X^p，p{1,2,…,P}。(3)寻找获胜节点计算Wˆj与X^p的点积，j=1,2,…m，从中选出点积最大的获胜节点j*。(4)定义优胜邻域Nj*(t)以j*为中心确定t时刻的权值调整域，一般初始邻域Nj*(0)较大，训练过程中Nj*(t)随训练时间逐渐收缩。优胜邻域开始定得很大，但其大小随着训练次数的增加不断收缩，最终收缩到半径为零。自组织特征映射神经网络自组织特征映射神经网络Kohonen学习算法:(5)调整权值对优胜邻域Nj*(t)内的所有节点调整权值：i=1,2,…njNj*(t)式中，是训练时间t和邻域内第j个神经元与获胜神经元j*之间的拓扑距离N的函数，该函数一般有以下规律：)]()[,()()1(twxNttwtwijpiijijh),(NthhhNt,自组织特征映射神经网络Kohonen学习算法:(6)结束检查学习率是否衰减到零或某个预定的正小数？算法流程图初始化、归一化权向量W：jˆW，j=1