人工神经网络基础知识

2人工神经网络基础知识2.1人工神经网络的生物学基础人的智能来自于大脑，大脑是由大量的神经细胞或神经元组成的。每个神经元可以看作为一个小的处理单元，这些神经元按照某种方式互相连接起来，构成了大脑内部的生物神经元网络，他们中各神经元之间连接的强弱，按照外部的激励信号作自适应变化，而每个神经元又随着接收到的多个激励信号的综合大小呈现兴奋或抑制状态。据现在的了解，大脑的学习过程就是神经元之间连接强度随外部激励信息做自适应变化的过程，大脑处理信息的结果确由神经元的状态表现出来。显然，神经元是信息处理系统的最小单元。虽然神经元的类型有很多种，但其基本结构相似。•神经元是大脑处理信息的基本单元•人脑约由101l-1012个神经元组成，其中，每个神经元约与104-105个神经元通过突触联接，形成极为错纵复杂而且又灵活多变的神经网络•神经元以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干•主要由细胞体、树突、轴突和突触(Synapse，又称神经键)组成一、生物神经元生物神经元网络结构•树突是树状的神经纤维接收网络，它将电信号传送到细胞体•细胞体对这些输入信号进行整合并进行阈值处理•轴突是单根长纤维，它把细胞体的输出信号导向其他神经元•一个神经细胞的轴突和另一个神经细胞树突的结合点称为突触神经元的排列和突触的强度(由复杂的化学过程决定)确立了神经网络的功能。生物学研究表明一些神经结构是与生俱来的，而其他部分则是在学习的过程中形成的。在学习的过程中，可能会产生一些新的连接，也可能会使以前的一些连接消失。这个过程在生命早期最为显著。二、突触的信息处理•生物神经元传递信息的过程为多输入、单输出；•神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近；•当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质；•突触有两种类型，兴奋性突触和抑制性突触。前者产生正突触后电位，后者产生负突触后电位。抑制性---神经元虽然接收到其他神经元传递的信息，但没有向外传递信息，该神经元称“抑制性”的；兴奋性---当一个神经元的树突接收的兴奋信息累计超过阈值，该神经元被激活并传递出信息给其他神经元。三、信息传递功能与特点具有时空整合能力时间整合—各输入脉冲抵达神经元的先后时间不同，一个脉冲引起的突触后电位很小，但随着时间延续，另有脉冲到达，总的突触后电位就增大。空间整合—在同一时刻产生的刺激所引起的膜电位变化，大致等于各单独刺激引起的膜电位变化的代数和。这种累加求和称空间整合。不可逆性，脉冲只从突触前传到突触后，不逆向传递神经纤维传导的速度，即脉冲沿神经纤维传递的速度，在1—150m／s之间信息传递时延和不应期，一般为0.3～lms可塑性，突触传递信息的强度是可变的，即具有学习功能存在学习、遗忘或疲劳（饱和）效应–对应突触传递作用增强、减弱和饱和2、生物神经系统的六个基本特征：1）神经元及其联接；2）神经元之间的联接强度决定信号传递的强弱；3）神经元之间的联接强度是可以随训练改变的；4）信号可以是起刺激作用的，也可以是起抑制作用的；5）一个神经元接受的信号的累积效果决定该神经元的状态；6)每个神经元可以有一个“阈值”。2.２人工神经元模型人工神经网络是在现代神经生物学研究基础上提出的模拟生物过程以反映人脑某些特性的计算结构。它不是人脑神经系统的真实描写，而只是它的某种抽象、简化和模拟。根据前面对生物神经网络的研究可知，神经元及其突触是神经网络的基本器件。因此，模拟生物神经网络应首先模拟生物神经元。在人工神经网络中，神经元常被称为“处理单元”。有时从网络的观点出发常把它称为“节点”。人工神经元是对生物神经元的一种形式化描述，它对生物神经元的信息处理过程进行抽象，并用数学语言予以描述；对生物神经元的结构和功能进行模拟，并用模型图予以表达。目前人们提出的神经元模型已有很多，其中最早提出且影响最大的，是1943年心理学家McCulloch和数学家W．Pitts在分析总结神经元基本特性的基础上首先提出的M－P模型。该模型经过不断改进后，形成目前广泛应用的形式神经元模型。关于神经元的信息处理机制，该模型在简化的基础上提出以下6点约定进行描述：（1）每个神经元都是一个多输入单输出的信息处理单元；（2）突触分兴奋性和抑制性两种类型；（3）神经元具有空间整合特性和阈值特性；（4）神经元输入输出间有固定的时滞，主要取决于突触延搁；（5）忽略时间整合作用和不应期；（6）神经元本身是非时变的，即其突触时延和突触强度均为常数。MP模型：称为作用函数或激发函数•MP模型作用函数求和操作1()()niijijijyfxfwuijnjjiiuwx1•MP模型f(x)是作用函数(ActivationFunction)，也称激发函数。MP神经元模型中的作用函数为单位阶跃函数：其表达式为：0,00,1)(xxxf激发函数的基本作用–控制输入对输出的激活作用–对输入、输出进行函数转换–将可能无限域的输入变换成指定的有限范围内的输出可知当神经元i的输入信号加权和超过阈值时，输出为“1”，即“兴奋”状态；反之输出为“0”，是“抑制”状态。•MP模型例、实现逻辑函数“与门”（ANDgate）运算。1—真，0—假人工神经元的数学模型描述：第j个神经元，接受多个其它神经元i在t时刻的输入xi(t)，引起神经元j的信息输出为yj(t):nijijiijjtxwfty1})]({[)(式中wij—神经元i到j的突触连接系数，即加权值；θj—神经元j的阈值；τij—输入、输出间的突触时延；f()—神经元转移（激活）函数.为简单起见，将上式中的突触时延取为单位时间，则)(])([)1(1jnijiijjnetftxwftynijiijxw1式中netj—j单元激活值；netj=其它各单元对第j个单元的输入，通过加权，按某种运算把输入信号的综合作用整合起来，给出它们的总效果称净输入。净输入整合表达应有多种方式，人们探索到的人脑空间整合方式近似为线性求和。即单元净输入表为)(1'txwnetiniijj为简便起见，省去式中（t）,而且常用向量表示XWnetTjj'式中均为列向量：XWj和TnjTn]...[,]...[2121若令表为则激活值则有netxwwxjj,,.,10000XWxwnetTjniiijj0至此，人工神经元数学模型可简化为)()(XWfnetfyTjjj看到，人工神经元模型较全面表现了前述６点约定：（１）单输入多输出（显见）；（２）用突触的正负体现突触的“兴奋与抑制‘；（３）净输入关系net’和阈值θ，表现了空间整合特性和阈值特性；（４）y(t+1)与x(t)之间的单位时差表现了”突触延搁“；（５）没有考虑时间整合和不应期；（６）权系数与时间无关，体现了神经元的”非时变“。2.3人工神经元转移函数神经元的各种不同数学模型的主要区别在于采用了不同的转移函数，从而使神经元具有不同的信息处理特性。而神经元的信息处理特性、网络拓补结构和网络学习方式是决定人工神经网络整体性能的三大要素,因此转移函数的研究具有重要意义。神经元的转移函数反映了神经元输出与其激活状态之间的关系，目前提出了多种，最常用的转移函数有以下几种形式。1阈值型转移函数阈值型转移函数采用单位阶跃函数，也称硬限幅函数，用下式定义:01)(xf00xx神经元抑制神经元兴奋具有这一作用方式的神经元称为阈值型神经元，这是神经元模型中最简单的一种，经典的M—P模型就属于此类。硬限幅函数也可采用符号函数，如图，用下式定义f(x)1.0-1.0ox图硬限幅符号函数11)sgn()(xxf00xx2非线性转移函数常用的是单极性sigmoid函数，简称S函数，函数本身及其导数都连续，处理上十分方便，变化范围是0～1，如图所示,用下式定义xexf11)(有时也采用双极性S型函数（双曲正切函数tanh(x)）,其变化范围是-1～1，如图所示。其表达式为f(x)xo1.0-1.0图双极性S型函数xxeexthxf11)21(21)(3、线性函数（1）线性作用函数：输出等于输入，即xxfy)(（2）饱和线性作用函数110010)(xxxxxfy（3）对称饱和线性作用函数111111)(xxxxxfy4概率型转移函数采用概率型转移函数的神经元模型其输入与输出之间的关系是不确定的，需要用一个随机函数来描述输出状态的概率。如，设神经元输出为1的概率为TxeP/11)1(式中T称温度参数。采用这种转移函数的神经元输出状态分布的典型代表是Boltzmann机。5、高斯函数)(22)(xexf反映出高斯函数的宽度还有许多转移函数的数学模型，不一一介绍。2.4人工神经网络模型大量神经元组成庞大的神经网络，才能实现对复杂信息的处理与存储，并表现出各种优越的特性。神经网络的强大功能与其大规模并行互连、非线性处理以及互连结构的可塑性密切相关。因此必须按一定规则将神经元连接成神经网络，并使网络中各神经元的连接权按一定规则变化。生物神经网络由数以亿计的生物神经元连接而成，而人工神经网络限于物理实现的困难和为了计算简便，是由相对少量的神经元按一定规律构成的网络。人工神经元网络要显示出人脑的某些的基本特征:(1)分布存储和容错性(2)大规模并行处理(3)自学习、自组织和自适应(4)大量神经元群体行为,表现出复杂非线性系统特性人们对网络模型做了大量研究,目前人工神经网络的模型很多，已有近百种，可以按照不同的方法进行分类。按网络性能可分----连续性和离散性、确定性和随机性网络;按学习方式可分----有导师和无导师学习方式网络。常见的分类方法----按网络连接的拓扑结构分类和按网络内部的信息流向分类。如按网络内部的信息流向分类:前馈(向)型网络和反馈型网络.2.4.1网络拓扑结构类型网络拓扑结构的不同表现为神经元之间连接方式的不同。根据神经元之间的连接方式，可将神经网络结构分为层次型结构和互连型结构两大类。层次型结构层次型结构的神经网络将神经元按功能分成若干层，如输入层、中间层（也称为隐层）和输出层，各层顺序相连，如图所示。输入层各神经元负责接受来自外界的输入信息，并传递给中间各隐层神经元；隐层是神经网络的内部信息处理层，负责信息变换，根据信息变换能力的需要，隐层可设计为一层或多层；最后一个隐层传递到输出层各神经元的信息经进一步处理后即完成一次从输入到输出的信息处理，由输出层向外界（如执行机构或显示设备）输出信息处理结果。层次型网络结构有3种典型的结构形式。（1）单纯层次型网络结构神经元分层排列，各层神经元接受前一层输入并输出到下一层，层内神经元自身以及神经元之间不存在连接通路。单纯层次型网络结构（2）层内有互连的层次型网络结构这种结构的特点是在同一层内引入神经元间的侧向作用，使得能同时激活的神经元个数可控，以实现各层神经元的自组织。（3）输出层到输入层有连接的层次型网络结构输出层到输入层有连接路径,其输入层神经元既可接受输入，也具有信息处理功能。互连型结构对于互连型网络结构，网络中任意两个节点之间都可能存在连接路径，因此可以根据网络中节点的互连程度将互连型网络结构细分为全互连型网络、局部互连型网络、稀疏连接型网络3种情况。（1）全互连型网络每个节点均与所有其他节点连接。（2）局部互连型网络（3）稀疏连接型网络节点只与少数相距较远的节点相连。每个节点只与其邻近的节点有连接。2.4.2网络信息流向类型从神经网络内部信息传递方向来分，可分为两种类型：前馈型网络和反馈型网络。1前馈型网络单纯前馈型网络的结构特点前述的分层网络完全相同，前馈是因网络信息处理的方向是从输入层到各隐层再到输出层逐层进行而得名。从信息处理能力看，网络中的节