神经网络基本概念

二．神经网络控制§2.1神经网络基本概念一.生物神经元模型：1P7生物神经元,也称作神经细胞,是构成神经系统的基本功能单元。虽然神经元的形态有极大差异,但基本结构相似。本目从信息处理和生物控制的角度,简述其结构和功能。1.神经元结构神经元结构如图2－1所示图2－11)细胞体：由细胞核、细胞质和细胞膜等组成。2)树突：胞体上短而多分支的突起，相当于神经元的输入端，接收传入的神经冲动。3)轴突：胞体上最长枝的突起，也称神经纤维。端部有很多神经末梢，传出神经冲动。4)突触：是神经元之间的连接接口，每一个神经元约有104～106个突触，前一个神经元的轴突末梢称为突触的前膜，而后一个神经元的树突称为突触的后膜。一个神经元通过其轴突的神经末梢经突触，与另一个神经元的树突连接，以实现信息传递。由于突触的信息传递是特性可变的，随着神经冲动传递方式的变化，传递作用强弱不同，形成了神经元之间连接的柔性，称为结构的可塑性。5）细胞膜电位：神经细胞在受到电的、化学的、机械的刺激后能产生兴奋，此时细胞膜内外由电位差，称为膜电位。其电位膜内为正，膜外为负。2.神经元功能1）兴奋与抑制：传入神经元的冲动经整和后使细胞膜电位提高，超过动作电位的阈值时即为兴奋状态，产生神经冲动，由轴突经神经末梢传出。传入神经元的冲动经整和后使细胞膜电位降低，低于阈值时即为抑制状态，不产生神经冲动。2）学习与遗忘：由于神经元结构的可塑性，突触的传递作用可增强与减弱，因此神经元具有学习与遗忘的功能。二．人工神经元模型,2P96人工神经元是对生物神经元的一种模拟与简化。它是神经网络的基本处理单元。图2－2显示了一种简化的人工神经元结构。它是一个多输入单输出的非线形元件。图2－2其输入、输出的关系可描述为njijjiiQXWI12－1)I(fyii其中iX(j=1、2、……、n)是从其他神经元传来的输入信号；)(ixfiijW表示从神经元j到神经元i的连接权值；iQ为阈值；f（.）称为激发函数或作用函数。有时为了方便起见，常把－iQ也看成是恒等于1的输入0X的权值，这时（2－1式）的和式可写成njjjiiXWI02－2其中,0iiQW10X输出激发函数f（.）又称为变换函数，它决定神经元（节点）的输出。f（.）函数一般具有线性特性。图2－3表示了几种常见的激发函数，分述如下。（1）阈值型函数当iy取0或1时，)(If为图2－3（a）所示的阶跃函数：抑制状态兴奋状态0,00,1)(IIIf2-3当iy取－1或1时，)(If为图2－3（b）所示的sign函数（符号函数）0,10,1)()(IIIfIsign2-4（2）饱和型函数：图2－3（c）kIkIkkIkIIf1,111,1,1)(2-5（3）双曲函数：图2-3(d))tanh()(IIf2-6（4）S型函数：图2-3(e)神经元的状态与输入作用之间的关系是在（0，1）内连续取值的单调可微函数，称为sigmord函数，简称为S型函数：图2－3（e）Ie11)I(f0当趋于无穷时，S型曲线趋于阶跃函数，通常情况下，取值为1。IeIf1/1)(02-7对称型S函数：可微，可表示为图2-3(f)图2－3（f）IIeeIf11)(02-8(5)高斯函数图2-3(g)（c=0时）在径向基函数（RadialBasisFnnetion,RBF）构成的神经元网络中，神经元的结构可用高斯函数描述：22/)()(exeIf2-9图2－3（g）三．人工神经网络模型298页人工神经网络是以工程技术手段来模拟人脑神经网络的结构与特征的系统。利用人工神经元可以构成各种不同拓扑结构的神经网络，它是生物神经网络的一种模拟和近似。就神经网络的主要连接型式而言，目前已有数十种不同的神经网络模型，其中前馈型网络和反馈型网络是两种典型的结构模型。（1）前馈型神经网络又称前向网络（FeedforwardNN）。如图2-4可示，神经元分层排列，有输入层，隐层（亦称中间层，可有若干层）和输出层，每一层的神经元只接受前一层神经元的输入。图2－4从学习的观点来看，前馈网络是一种强有力的学习系统，其结构简单而易于编程；从系统的观点来看，前馈网络是—静态非线性映射，通过简单非线性处理单元的复合映射，可获得复杂的非线性处理能力。但从计算的观点看，缺乏丰（1）一维高斯RBF自变量u、中心c是一维，则有22)(21exp][cuR图(a)：15~10u，左高斯RBF：1,5c；右高斯RBF：3,2c。uy富的动力学行为。大部分前馈网络都是学习网络，它们的分类能力和模式识别能力一般都强于反馈网络，典型的前馈网络有感知器网络，BP网络等。1、径向基函数神经网络（RBF型）径向基函数（RBF）神经网络，是具有单隐层的三层前馈网络，结构见图2-6-1。由于它模拟了人脑中局部调整、相互覆盖接收域的神经网络结构，因此，是一种局部逼近网络，已证明它能以任意精度逼近任一连续函数。（2）反馈型神经网络（FeedbackNN）结构如图2-5所示。若总节点（神经元）数为N。则每个节点有N个输入和一个输出，也就是说，所有的节点都是一样的，它们之间都可相互连接。反馈神经网络是一种反馈动力学系统，它需要工作一段时间才能达到稳定。Hopfield神经网络是反馈网络中最简单且广泛的模型，它具有联想记忆（Contern—AddressibleMemory,CAM）的功能，如果将Lyapunov函数定义为寻优函数，Hopfield神经网络还可以用来解决快速寻优问题。图2－5输入层隐层输出层节点节点节点图RBF神经网络uyq2、局部递归（反馈）型)1(ty)(tu)(tcy)1(to基本Elman网络改进型Elman网络局部递归网络——外时延反馈型四、人工神经网络学习方法学习方法是体现人工神经网络智能特征的主要标志，离开了学习算法，人工神经网络就失去了诱人的自适性，自组织和自学习的能力。目前，神经网络的学习方法有多种，按有无导师来分，可分为有教师学习（SperrisedLearning）、无教师学习（UnsperrisedLearning）和再励学习（ReinforcementLearning）等几大类。在有教师的学习的学习方式中，网络的输出和期望的输出（即教师信号）进行比较，然后根据两者之间的差异调整网络的权值，最终使差异变小。在无教师的学习方式中，输入模式进入网络后，网络按照一预先设定的规则（如竞争规则）自动调整权值，使网络最终具有模式分类等功能。再励学习是介于上述两者之间的一种学习方式。下面介绍神经网络中常用的两种最基本的学习方法。1．Hebb学习规则Hebb学习规则是一种联想式学习方法。联想是人脑形象思维过程的一种表现形式。例如在空间和时间上相互接近的事物间，在性质上相似（或相反）的事物都容易在人脑中引起联想。生物学家D.O.Hebbian基于对生物学和心理学的研究，提出了学习行为的突触联系和神经群理论。认为突触前与突触后二者同时兴奋，即两个神经元同时处于激发状态时，它们之间的连接强度将得到加强，这一论述的数学描述被称为Hebb学习规则，即Wij(k+1)=Wij(k)+△Wij(k)=Wij(k)+IiIj其中，Wij(k)为连接从神经元i到神经元j的当前权值。Ii，Ij为神经元的激活水平。Hebb学习规则是一种无教师的学习方法，它只根据神经元连接间的激活水平改变权值，因此这种方法又称为相关学习或并联学习。当神经元由式（2－1）描述时，即)(ty)()(ntymtu多层前馈网络)(tu1z1z1z1zIi=∑WijXj－θjyi=f(Ii)=1/（1+e–Ii）Hebb学习规则可写成如下：Wij（k+1）=Wij（k）+YiYj0另外，根据神经元状态变化来调整权值的Hebb学习方法称为微分Hebb学习方法，可描述为：Wij（k+1）=Wij（k）+[Yik)－Yi(k－1)][Yj(k)－Yj(k－1)]2-102．Delta（δ）学习规则假设下列误差准则函数E=2121)(ppppyd=pp1Ep2-11其中，dp代表期望的输出（教师信号）；yp=f(wxp)为网络的实际输出；w为网络的所有权值组成的向量：W=(W0W1…….Wn)xp为输入模式：Xp=(X0pX1p……Xpn)T训练样本数p=1,2,3,…..,p现在的问题是如何调整权值W，使准则函数最小。可用梯度下降法来求解，其基本思想是误差E的负梯度方向不断修正W值，直到E达到最小，这种方法的数学表达式为Wi=iWEiWE=pp1ipWE2-13其中Ep=2121)(ppppyd用p表示WXp，则有ipWE=ppyEppyipw=－（dp－yp）f'()XipWi的修正规则为Wi=)(1ppppydf'(p)Xip上式称为δ学习规则，又称为误差修正规则。定义误差传播函数δ为：δ=ppE=－ppyEppy2-24δ规则实现了E的梯度下降，因此使误差函数达到最小值。但δ学习规则只适用于线性可分函数，无法用于多层网络。BP网络的学习算法称为BP算法，是在δ规则基础上发展起来的，可在多层网络上有效学习。从上述的两种学习规则不难看出，要使人工神经网络的知识结构变化，即使神经元网络的结合模式变化，这同把连接权向量用什么方法变化是等价的。所以，所谓神经网络的学习，目前主要是指通过一定的学习算法实现对突触结合强度（权值）的调整，使其达到具有记忆、识别、分类、信息处理和问题优化求解算法功能，这是一个正在发展中的研究课题。