神经网络_ART网络

自适应共振理论引言传统神经网络遇到的问题在样本数据训练的过程中，无论是监督式还是无监督式的训练，均会出现对新模式的学习，时刻面临着新知识的学习记忆荷对旧知识的退化忘却的问题在监督式的训练情况下，使网络逐渐达到稳定的记忆需要通过反复训练，从而对已学习过的模式的部分甚至是全部的忘却在无监督情况下，对新的数据的学习同样会产生对某种已经记忆的典型矢量的修改，造成对已学习数据的部分忘却理想情况能够学会新的知识，同时对已学过的知识没有不利影响在输入矢量特别大的情况下，很难实现。通常只能在新旧知识的取舍上进行某种折衷，最大可能地接受新的知识并较少地影响原有知识ART网络简介自适应共振理论(AdaptiveResonanceTheory,ART)网络可以较好地解决前述问题网络和算法具有较大地灵活性，以适应新输入的模式，同时极力避免对网络先前学习过地模式的修改记忆容量可以随样本的增加而自动增加，可以在不破坏原记忆样本的情况下学习新的样本ART是美国波士顿大学的A.Carpenter和Grossberg提出。具有两种形式ART1处理双极性（或二进制）数据ART2处理连续数据自适应共振理论（ART）历史1976年，美国Boston大学学者G.A.Carpenter提出自适应共振理论(AdaptiveResonanceTheory，缩写为ART)，他多年来一直试图为人类的心理和认知活动建立统一的数学理论，ART就是这一理论的核心部分。随后G.A.Carpenter又与S.Grossberg提出了ATR网络。共振现象的一些例子自适应共振理论共振现象鱼洗寺院无人敲而响的磬军队过桥雪崩人类认知（图像）当双手策动力的频率跟物体的固有频率相等时，振幅最大，这种现象叫共振。水中发出的嗡鸣声是铜盆腔内的振动和摩擦频率振动发生共振引起的。自适应共振理论ART网络学习算法的基本流程环境输入模式与储存的典型向量模式进行比较神经网络的连接权值选择最相似的作为该模式的代表类，并调整与该类别相关的权值，以使以后与该模式相似的输入再与该模式匹配时能得到更大的相似度。相似度的参考门限需要在网络中设立一个新的模式类，同时建立与该模式类相连的权值，用以代表和存储该模式以及后来输入的所有同类模式。G2R门限G1CReset输入XC——比较层R——识别层Reset——复位信号G1和G2——逻辑控制信号4.5.1.1网络系统结构4.5.1ARTⅠ型网络4.5.1.1网络系统结构R层……t1jtijtnjc1cicn……G1x1xIxn(1)C层结构该层有n个节点，每个节点接受来自3个方面的信号：来自外界的输入信号xi；来自R层获胜神经元的外星向量的返回信号Tj；来自G1的控制信号。C层节点的输出ci是根据2/3的“多数表决”原则产生的，即输出值ci与xi、tij、G13个信号中的多数信号值相同。G1=1，反馈回送信号为0，C层输出应由输入信号决定，有C=X。反馈回送信号不为0，G1=0，C层输出应取决于输入信号与反馈信号的比较情况，如果xi=tij，则ci=xi。否则ci=0。网络系统结构4.5.1.1网络系统结构r1rjrm……b11…b1j…b1mbn1…bnj…bnmbi1…bij…bim……C层（2）R层结构R层有m个节点，用以表示m个输入模式类。m可动态增长，以设立新模式类。由C层向上连接到R第j个节点的内星权向量用Bj=（b1j，b2j，…,bnj）表示。C层的输出向量C沿m个内星权向量Bj(j=1,2,…,m)向前传送，到达R层各个神经元节点后经过竞争在产生获胜节点j*，指示本次输入模式的所属类别。获胜节点输出=1，其余节点输出为0。R层各模式类节点的典型向量。网络系统结构4.5.1.2网络运行原理相似程度可能出现的两种情况：①相似度超过参考门限选该模式类作为当前输入模式的代表类。权值调整规则是，相似度超过参考门限的模式类调整其相应的内外星权向量，以使其以后遇到与当前输入模式接近的样本时能得到更大的相似度；对其它权值向量则不做任何变动。②相似度不超过门限值需在网络输出端设立一个代表新模式类的节点，用以代表及存储该模式，以便于参加以后的匹配过程。网络运行原理模式网络运行四个阶段：匹配阶段网络在没有输入模式之前处于等待状态，此时输入端X=0，因此信号G2=0，R0=0.当输入不全为0的模式X时，G2=1，R0=0，使G1=G2R0=1.G1为1时，允许输入模式直接从C层输出，并向前传至R层，与R层节点对应的所有内星向量Bj进行匹配计算：niiijTjjxbXBnet14.5.1.3网络的学习算法ARTⅠ网络可以用学习算法实现，学习算法从软件角度体现了网络的运行机制，与系统结构图并不一一对应。训练可按以下步骤进行：(1)网络初始化从C层向R层的内星权向量Bj赋予相同的较小数值，如(4.25)从R层到C层的外星权向量Tj各分量均赋1(4.26)nbij11)0(mjni,...,2,1,...,2,11ijtmjni,...,2,1,...,2,1注:用C#实现时,下标从0开始,i=0,1,2,…,n-1j=0,1,2,…,m-14.5.1.3网络的学习算法(2)网络接受输入给定一个输入模式，X＝(x1,x2,…，xn)，xi(0,1)n。(3)匹配度计算对R层所有内星向量Bj计算与输入模式X的匹配度：，j=1,2,…，m。niiijTjxb1XB(4)选择最佳匹配节点在R层有效输出节点集合J*内选择竞争获胜的最佳匹配节点j*，使得**01jjjjrj(5)相似度计算R层获胜节点j*通过外星送回获胜模式类的典型向量，C层输出信号给出对向量和X的比较结果，i=1,2,…,n，由此结果可计算出两向量的相似度为4.5.1.3网络的学习算法niicN10niixN11(6)警戒门限检验如果N0/N1ρ，表明X与的相似程度不满足要求，本次竞争获胜节点无效，因此从R层有效输出节点集合J*中取消该节点并使，训练转入步骤(7)；如果N0/N1ρ，表明X应归为代表的模式类，转向步骤(8)调整权值。4.5.1.3网络的学习算法(8)调整网络权值修改R层节点j*对应的权向量，网络的学习采用了两种规则，外星向量的调整按以下规则:i=1,2,…,n；j*J*(4.27)iijijxtttt)()1(**(7)搜索匹配模式类若有效输出节点集合J*不为空，转向步骤(4)重选匹配模式类；若J*为空集，需在R层增加一个节点。设新增节点的序号为nc，应使,i=1,2,…,n,此时有效输出节点集合为J*={1,2,…,m,m+1,…,m+nc},转向步骤(2)输入新模式。1,ccinntXBniijijniiijiijijttttxttxtttb11)1(5.0)1()(5.0)()1(*****内星向量的调整按以下规则:i=1,2,…,n(4.28)4.5.1.3网络的学习算法ART网络的特点：•非离线学习即不是对输入集样本反复训练后才开始运行，而是边学习边运行实时方式。•每次最多只有一个输出节点为l每个输出节点可看成一类相近样本的代表，当输入样本距某一个内星权向量较近时，代表它的输出节点才响应。•通过调整警戒门限的大小可调整模式的类数小，模式的类别少，大则模式的类别多。4个输入模式向量为：T)1,0,0,0,1,0,1,0,1,0,0,0,1,0,0,0,1,0,1,0,1,0,0,0,1(BXT)1,0,0,0,1,0,1,0,1,0,1,1,1,1,1,0,1,0,1,0,1,0,0,0,1(CXT)1,0,0,0,1,1,1,0,1,1,1,1,1,1,1,1,1,0,1,1,1,0,0,0,1(DXT)1,0,0,0,0,0,1,0,0,0,0,0,1,0,0,0,0,0,1,0,0,0,0,0,1(AX设=0.7，取初始权值bij=1/(1+n)=1/26,tij=1.例一模式分类例一模式分类4.5.1.4ARTⅠ网络的应用例一模式分类例一模式分类分类分类注意！ρ值的选择对分类过程的影响很大。ρ值过大，导致分类剧增。ρ值太小，则不同的模式均划为同一类别。例一模式分类例二带噪声模式分类实际分类结果样本序号期望分类结果ρ=0.95ρ=0.90ρ=0.85123456789101112123411223344123456787398123456777387123415263344例二带噪声模式分类ART网络结构从输入矢量到输出矢量的作用部分被称为识别层或R层（R－Recognition）从输出A作为输入返回到输入的层称为比较层或C层（C－Comparison）从结构上讲R层为一个竞争网络，具有s个节点，它代表了对输入模式的分类。该节点数能够动态地增长，以满足设立新模式地需要。C层为一个Grossberg网络ART运行过程将网络的训练与工作与工作过程有机技结合在一起自C层流向R层的识别阶段：输入新的矢量P，通过竞争得出输出A自R层流向C层的比较阶段按照一定地规则来确定这个新输入是否属于网络衷已经记忆地模式类别，判别标准为新输入模式与所有已记忆模式之间相似程度R＝F（WP＋B）如果R0,按照科荷伦学习规则修改竞争层权值以使该类权值更加接近于新输入模式如果R=0,在网络中设立一个新模式，用以代表和记忆新模式，并将其归结为已有的代表类别，成为R层的一个新的输出节点，作为以后可能输入的代表模式权值修正阶段当外界输入P与所激活的外星权矢量充分相似时，网络发生共振，本次学习与训练结束否则，进行特别的处理，直到共振现象发生时对本次输入的训练过程才最终结束