人工智能(第八章)23

1第八章人工神经网络28.1神经网络的基本概念及组成特性8.1.1生物神经元的结构与功能特性从广义上讲，神经网络通常包括生物神经网络与人工神经网络两个方面。生物神经网络是指由动物的中枢神经系统及周围神经系统所构成的错综复杂的神经网络，它负责对动物肌体各种活动的管理，其中最重要的是脑神经系统。人工神经网络是指模拟人脑神经系统的结构和功能，运用大量的软、硬件处理单元，经广泛并行互连，由人工方式建立起来的网络系统。生物神经元就通常说的神经细胞，是构成生物神经系统的最基本单元，简称神经元。神经元主要由三个部分构成，包括细胞体、轴突和树突，其基本结构如图所示。1.生物神经元的结构生物神经元结构3从生物控制论的观点来看，作为控制和信息处理基本单元的神经元，具有下列一些功能与特性。2.神经元的功能特性（1）时空整合功能神经元对于不同时间通过同一突触传入的信息，具有时间整合功能；对于同一时间通过不同突触传入的信息，具有空间整合功能。两种功能相互结合，使生物神经元具有时空整合的输入信息处理功能。（2）神经元的动态极化性尽管不同的神经元在形状及功能上都有明显的不同，但大多数神经元都是以预知的确定方向进行信息流动的。（3）兴奋与抑制状态神经元具有两种常规工作状态，即兴奋状态与抑制状态。（4）结构的可塑性突触传递信息的特性是可变的，随着神经冲动传递方式的变化，其传递作用可强可弱，所以神经元之间的连接是柔性的，这称为结构的可塑性。4（5）脉冲与电位信号的转换突触界面具有脉冲与电位信号的转换功能。（6）突触延期和不应期突触对信息的传递具有时延和不应期，在相邻的两次输入之间需要一定的时间间隔，在此期间，不影响激励，不传递信息，这称为不应期。（7）学习、遗忘和疲劳由于结构可塑性，突触的传递作用有增强、减弱和饱和，所以，神经细胞也具有相应的学习、遗忘或疲劳效应（饱和效应）。8.1.2人工神经网络的组成与结构人工神经网络（ArtificialNeuralNets,ANN)是由大量处理单元经广泛互连而组成的人工网络，用来模拟脑神经系统的结构和功能。这些处理单元称作人工神经元。人工神经网络可以看成是以人工神经元为节点，用有向加权弧连接起来的有向图。在有向图中，人工神经元就是对生物神经元的模拟，有向弧则是轴突－突触－树突对的模拟，有向弧的权值表示相互连接的两个人工神经元间相互作用的强弱。1.人工神经网络组成5如图所示为人工神经网络组成略图。它由多个人工神经元相互连接组成。图中，圆表示神经元的细胞体；x表示该神经元的外部输入；w为该神经元分别与各输入间的连接强度，称为连接权值。对ANN中的某个人工神经元来说，来自其他神经元的输入乘以权值，然后相加。把所有总和与阈值电平比较，当总和高于阈值电平时，其输出为1；否则，输出为0。6对于人工神经网络系统中的每个神经元来说，它可以接受一组来自系统中其他神经元的输入信号，每个输入对应一个权，所有输入的加权和决定该神经元的激活状态。这里，每个权就相当于突触的“连接强度”。2.人工神经元的工作过程对于某个神经元来说，假设来自其他神经元i的信息为xi，它们与本神经元的互相作用强度即连接权值为wi，i=0,1,…,n-1，神经元的内部阈值为θ。那么本神经元的输入为：∑−=10niiixw)(10∑−=−=niiixwfyθ神经元的输出为：式中，xi为第i个元素的输入，wi为第i个神经元与本神经元的互联权重。f称为激发函数或作用函数，它决定神经元的输出。神经元的输出为1或0取决于其输入之和大于或小于内部阈值θ。令，称为激活值。∑−=−=10niiixwθσ7激发函数一般具有非线性特性。常用的非线性激发函数有阈值型、分段线性型、Sigmoid函数型（简称S型）和双曲正切型，如图所示。阈值型函数又称阶跃函数，它表示激活值σ和其输出f(σ)之间的关系。这种二值型神经元，其输出状态取值1或0，分别代表神经元的兴奋和抑止状态。某一时刻，神经元的状态由激发函数f来决定。当激活值σ0时，该神经元被激活，进入兴奋状态，其状态f(σ)为1；当激活值σ0时，该神经元不被激活，进入抑止状态，其状态f(σ)为0。f(σ)σ10f(σ)σ10f(σ)σ10f(σ)σ10-1(a)阈值型(b)分段线性型(c)Sigmoid函数型(d)双曲正切型8分段线性函数可以看做是一种最简单的非线性函数，它的特点是将函数的值域限制在一定的范围内，其输入、输出之间在一定范围内满足线性关系，一直延续到输出为最大域值为止。但当达到最大值后，输出就不再增大。这个最大值称做饱和值。S型函数是一个有最大输出值的非线性函数，其输出值是在某个范围内连续取值的。以它为激活函数的神经元也具有饱和特性。双曲正切型函数实际只是一种特殊的S型函数，其饱和值是－1和1。在人工神经网络中，各神经元的不同连接方式就构成了网络的不同连接模型。3.人工神经网络的结构常见的连接模型有：前向网络从输入层到输出层有反馈的网络层内有互联的网络网络内任意两个神经元都可以互联的互联网络。9按网络的性能划分，可分为连续型和离散型网络，又可分为确定型和随机型网络；4.人工神经网络的分类及其主要特征按网络的拓扑结构划分，可分为反馈网络和无反馈网络；按网络的学习方法划分，可分为有教师的学习网络和无教师的学习网络；按连接突触的性质划分，可分为一阶线性关联网络和高阶非线性关联网络；从不同的角度进行划分，神经网络模型可以得到不同的分类结果：人工神经网络具有以下主要特征：（1）能较好的模拟人的形象思维；（2）具有大规模并行协同处理能力；（3）具有较强的学习能力；（4）具有较强的容错能力和联想能力；（5）是一个大规模自组织、自适应的非线性动力系统。108.2感知器模型及其学习算法8.2.1感知器模型感知器是一种最早被设计并实现的人工神经网络模型。1957年美国学者罗森勃拉特（Rosenblatt）提出一类具有自学习能力的神经网络模型——感知器模型，把神经网络的研究从纯理论探讨引向了工程上的实现。感知器模型又称单层感知器，由输入部分和输出层构成，输出层即为它的计算层。在该单层感知器模型中，输入部分的神经元与输出层的各种神经元间均有连接。当输入部分将输入数据传送给连接的神经元时，输出层就会对所有输入数据进行加权求和，经阈值型函数产生一组输出数据。如图所示为一个单层感知器模型。x1x2xn………y1ym…ωij输入数据可调节的连接权值输出数据mjxxynijiijnijiiji,...,3,2,10,00,111=⎪⎪⎩⎪⎪⎨⎧−≥−=∑∑==θωθω若若输入与输出满足下面的激发函数：118.2.2单层感知器模型的学习算法Rosenblatt提出感知器模型中连接权值参数的学习算法，其基本思想为：首先把连接权和阈值初始化为较小的非零随机数；然后把有n个连接权值的输入送入网络；经加权运算处理，得到的输出如果与所期望的输出有较大的差别，就对连接权值参数按照某种算法进行自动调整；经过多次反复，直到所得到的输出与所期望的输出间的差别满足要求为止。单层感知器具体学习算法（仅考虑只有一个输出的情况）：设xi(t)是时刻t感知器的输入(i=1,2,…,n)，ωi(t)是相应的连接权值，y(t)是实际的输出，d(t)是所期望的输出，且感知器的输出或者为1，或者为－1，则单层感知器的学习算法为：（1）初始化连接权和阈值。给ωi(t)(i=1,2,…,n)及θ分别赋予一个较小的非零随机数，作为它们的初始值。ωi(0)是时刻t=0时第i个输入的连接权值；θ是输出节点中的阈值。12（2）输入一个训练参数X＝(x1(t),x2(t),…,xn(t))和期望输出d(t)。（3）计算网络的实际输出（4）计算实际输出与期望输出的差值为DEL=d(t)-y(t)如果DELε（ε是一个很小的正数），则网络训练学习结束；否则转第（5）步。（5）调整连接权值为ωi(t+1)=ωi(t)+η[d(t)-y(t)]xi(t)(i=1,2,…,n)其中0η≤1,是一个增益因子，用于控制修改速度，也称为增益或学习速度。（6）返回（2）步。上述算法表明，网络连接权值的学习是一个迭代过程，在第（2）步～第（6）步间反复进行，直到网络的实际输出与所期望的输出间的误差达到要求时为止。这时，所得到的网络权值ωi(i=1,2,…,n)即是通过训练数据学习到的网络连接参数。),...,2,1())()(()(1nitxtftyniii=−=∑=θω138.2.3多层感知器在单层感知器的输入部分和输出层之间加入一层或多层处理单元，就构成了二层或多层感知器。其中，新加入的各层称为隐含层，隐含层中的处理单元称为隐单元。隐单元的作用相当于特定检测器，它提取输入模式中包含的有效特征信息，使输出单元所处理的模式是线性可分的。一个二层感知器的结构如图所示。……………y1ynx1x2xn权可调权固定输出层隐含层输入部分在该图中，感知器有两层连接权，输入部分与隐含层单元间的连接权值是随机设置的固定值，不可调节，只有输出层与隐含层单元间的一层连接权值是可调节的。14多层感知器可服了单层感知器的许多缺点，原来一些单层感知器无法解决的问题，在多层感知器中就可以解决。例如：应用二层感知器就可以解决异或逻辑运算问题，如图所示。其中，假设输出层神经元的阈值为0.5，各神经元间的连接权值如图中所标，则有x11=1×x10+(-1)×x20-0.5x21=1×x20＋(-1)×x10-0.5y=1×x11+1×x21-0.5yx10x20输出层隐含层输入部分x11x211-1-1111相应的识别区域如图所示。由于隐含层的每个神经元都可以有自己能识别的半平面，并且输出层神经元又对隐含层的输出作了“逻辑与”运算，因此其输出就可用来识别隐含层所识别的各半平面的交集所构成的凸多边形。A2B2A1B1158.3反向传播模型及其学习算法8.3.1反向传播模型及其网络结构反向传播模型也称B-P(Back-Propagation)模型，是一种用于前向多层神经网络的反向传播学习算法，由鲁梅尔哈特（D.Rumelhart）和麦克莱伦德（MeClelland）于1985年提出。B-P算法的网络结构是一个前向多层网络，网络中不仅含有输入节点和输出节点，而且含有一层或多层隐（层）节点，如图所示。x1x2xn………y1ym…y1当有信息向网络输入时，信息首先由输入层传递到隐层节点，经特性函数作用后，再传至下一隐层。这样一层一层传递下去，直到最终传至输出节点层进行输出。其间各层的激发函数要求是可微的，一般是选用S型函数。168.3.2反向传播网络的学习算法B-P算法的学习目的是对网络的连接权值进行调整，使得调整后的网络对任一输入都能得到所期望的输出。学习过程由正向传播和反向传播组成。正向传播用于对前向网络进行计算，即对某一输入信息，经过网络计算后求出它的输出结果；反向传播用于逐层传递误差，修改神经元间的连接权值，以使网络对输入信息经过计算后所得到输出能达到期望的误差要求。∑−=kkkyye2')(21的激活函数。是节点这里函数jxfIfOOWIjjiiij)()(==∑设Oi是网络中节点i的输出，Ij是节点j的输入，Wij是从节点i到节点j的连接权值，yk和yk’分别B-P网络输出层上节点k的实际输出和期望输出。对于节点j，如果节点i是它的上层节点，并且i连接到j，则实际输出与期望输出的误差e定义为：连接权值的修正公式：⎪⎩⎪⎨⎧′′−′−=−=∂∂⋅∂∂−=Δ∑mkmmkkkkjkjkkkjkkWIfkIfyyOWIIeW是隐含层节点时当是输出层节点时当这里δδβδβ)()()(k其中β为比例因子。（1）（2）（3）（4）17NY开始选择一组训练样例，每个样例由输入信息和期望的输出结果两部分组成从训练样本集中选一样例，把输入信息输入到网络中前向传播：计算网络各隐含层和输出层各神经元的输出结束按照式(3)前半部分计算输出层上各节点的δ值，并按公式调整隐含层上各神经元的连接权值反向传播：按照式(3)的后半部分逐层计算各隐含层上神经元的δ值，并按式(2)调