神经网络基本原理

1神经网络2人工神经网络（ANN，ArtificialNeuralNetwork）也简称为神经网络（NN），是由大量的简单处理单元经广泛并行互连形成的一种网络系统。它是对人脑系统的简化、抽象和模拟，具有人脑功能的许多基本特征。目前，人工神经网络已成为许多高科技领域的一个热门话题。在人工智能领域，它已实际应用于决策支持、模式识别、专家系统、机器学习等许多方面。3由于神经网络是多学科交叉的产物，各个相关的学科领域对神经网络都有各自的看法，因此，关于神经网络的定义，在科学界存在许多不同的见解。目前使用得较广泛的是T.Koholen（芬兰赫尔辛基技术大学）的定义，即神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。4人脑的基本组成是脑神经细胞，大量脑神经细胞相互联接组成人的大脑神经网络，完成各种大脑功能。而人工神经网络则是由大量的人工神经细胞（神经元）经广泛互连形成的人工网络，以此模拟人类神经系统的结构和功能。了解人脑神经网络的组成和原理，有助于对人工神经网络的理解。5人工神经网络概述人体神经结构与特征•虽然神经元的形态各不相同，但是都由细胞体和突起两大部分组成，而突起又分树突和轴突。6•轴突是由细胞体向外延伸出的所有纤维中最长的一条分枝，用来向外传递神经元产生的输出信号。每个神经元只发出一条轴突，短的仅几个微米，其最大长度可达1m以上。7•突触，在轴突的末端形成了许多很细的分枝，这些分枝叫神经末梢。每一条神经末梢可以与其他神经元形成功能性接触，该接触部位称为突触。每个神经元大约有103～105个突触，换句话说，每个神经元大约与103～105个其它神经元有连接，正是因为这些突触才使得全部大脑神经元形成一个复杂的网络结构。所谓功能性接触，突触的信息传递特性可变，因此细胞之间的连接强度可变，这是一种柔性连接，也称为神经元结构的可塑性，这正是神经元之间传递信息的奥秘之一。8•树突是指由细胞体向外延伸的除轴突以外的其他所有分支。不同的神经元其树突的数量也不同，长度较短，但数量很多，它是神经元的输入端，用于接受从其他神经元的突触传来的信号。•细胞体是神经元的主体，胞体和树突表面是接受的其他神经元传来的信号的主要部位。9神经元中的细胞体相当于一个初等处理器，它对来自其他各个神经元的信号进行总体求和，并产生一个神经输出信号。由于细胞膜将细胞体内外分开，因此，在细胞体的内外具有不同的电位，通常是内部电位比外部电位低。细胞膜内外的电位之差被称为膜电位。在无信号输入时的膜电位称为静止膜电位。当一个神经元的所有输入总效应达到某个阈值电位时，该细胞变为活性细胞（激活），其膜电位将自发地急剧升高产生一个电脉冲。这个电脉冲又会从细胞体出发沿轴突到达神经末梢，并经与其他神经元连接的突触，将这一电脉冲传给相应的神经元。10•生物神经元的功能与特征根据神经生理学的研究，生物神经元具有如下重要功能与特性。（1）时空整合功能神经元对不同时间通过同一突触传入的神经冲动，具有时间整合功能。对于同一时间通过不同突触传入的神经冲动，具有空间整合功能。两种功能相互结合，使生物神经元对由突触传入的神经冲动具有时空整合的功能。（2）兴奋与抑制状态神经元具有兴奋和抑制两种常规的工作状态。当传入冲动的时空整合结果使细胞膜电位升高，超过动作电位的阈值时，细胞进入兴奋状态，产生神经冲动。相反，当传入冲动的时空整合结果使细胞膜电位低于动作电位阈值时，细胞进入抑制状态，无神经冲动输出。11（3）脉冲与电位转换突触界面具有脉冲/电位信号转化功能。沿神经纤维传递的信号为离散的电脉冲信号，而细胞膜电位的变化为连续的电位信号。这种在突触接口处进行的“数/模”转换，是通过神经介质以量子化学方式实现的如下过程：电脉冲→神经化学物质→膜电位（4）神经纤维传导速率神经冲动沿神经纤维传导的速度在1m/s～150m/s之间。其速度差异与纤维的粗细、髓鞘(包绕在神经元的轴突外部的物质，起绝缘作用)的有无有关。一般来说，有髓鞘的纤维，其传导速度在100m／s以上，无髓鞘的纤维，其传导速度可低至每秒数米。12•人脑神经系统的结构与特征（1）记忆和存储功能人脑神经系统的记忆和处理功能是有机地结合在一起的。神经元既有存储功能，又有处理功能，它在进行回忆时不仅不需要先找到存储地址再调出所存内容，而且还可以由一部分内容恢复全部内容。尤其是当一部分神经元受到损坏（例如脑部受伤等）时，它只会丢失损坏最严重部分的那些信息，而不会丢失全部存储信息。13•人脑神经系统的结构与特征（2）高度并行性人脑大约有1011～1012个神经元，每个神经元又有103～105个突触，即每个神经元都可以和其他103～105个神经元相连，这就提供了非常巨大的存储容量和并行度。例如，人可以非常迅速地识别出一幅十分复杂的图像。14（3）分布式功能人们通过对脑损坏病人所做的神经心理学研究，没有发现大脑中的哪一部分可以决定其余所有各部分的活动，也没有发现在大脑中存在有用于驱动和管理整个智能处理过程的任何中央控制部分。人类大脑的各个部分是协同工作、相互影响的，并没有哪一部分神经元能对智能活动的整个过程负有特别重要的责任。可见，在大脑中，不仅知识的存储是分散的，而且其控制和决策也是分散的。因此，大脑是一种分布式系统。15（4）容错功能容错性是指根据不完全的、有错误的信息仍能做出正确、完整结论的能力。大脑的容错性是非常强的。例如，我们往往能够仅由某个人的一双眼睛、一个背影、一个动作或一句话的音调，就能辨认出来这个人是谁。16（5）联想功能人脑不仅具有很强的容错功能，还有联想功能。善于将不同领域的知识结合起来灵活运用，善于概括、类比和推理。例如，一个人能很快认出多年不见、面貌变化较大的老朋友。（6）自组织和自学习功能人脑能够通过内部自组织、自学习能力不断适应外界环境，从而可以有效地处理各种模拟的、模糊的或随机的问题。17人工神经元及人工神经网络人工神经元的结构如同生物学上的基本神经元，人工的神经网络也有基本的神经元。人工神经元是对生物神经元的抽象与模拟。所谓抽象是从数学角度而言的，所谓模拟是从其结构和功能角度而言的。从人脑神经元的特性和功能可以知道，神经元是一个多输入单输出的信息处理单元，其模型如下图所示：神经元模型θx1x2xnyω1ω2ωn18人工神经元及人工神经网络神经元模型θx1x2xnyω1ω2ωn19人工神经元及人工神经网络M-P模型M-P模型属于一种阈值元件模型，它是由美国心理学家McCulloch和数学家Pitts提出的最早（1943）神经元模型之一。M-P模型是大多数神经网络模型的基础。20在如图所示的模型中，x1，x2，…，xn表示某一神经元的n个输入；ωi表示第i个输入的连接强度，称为连接权值；θ为神经元的阈值；y为神经元的输出。可以看出，人工神经元是一个具有多输入，单输出的非线性器件。神经元模型的输入是∑ωi*xi(i=1,2,……,n)输出是y=f(σ)=f(∑ωi*xi–θ)其中f称之为神经元功能函数（作用函数，转移函数，传递函数，激活函数）。注：可以令X0=-1，w0=θ，这样将阈值作为权值来看待。神经元模型θx1x2xnyω1ω2ωn21常用的人工神经元模型功能函数f是表示神经元输入与输出之间关系的函数，根据功能函数的不同，可以得到不同的神经元模型。常用的神经元模型有以下几种。（1）阈值型（Threshold）这种模型的神经元没有内部状态，作用函数f是一个阶跃函数，它表示激活值σ和其输出f(σ）之间的关系，如图5-3所示。σf(σ)10图5-3阈值型神经元的输入／输出特性0001)(f22阈值型神经元是一种最简单的人工神经元。这种二值型神经元，其输出状态取值1或0，分别代表神经元的兴奋和抑制状态。任一时刻，神经元的状态由功能函数f来决定。当激活值σ＞0时，即神经元输入的加权总和超过给定的阈值时，该神经元被激活，进入兴奋状态，其状态f(σ)为1；否则，当σ＜0时，即神经元输入的加权总和不超过给定的阈值时，该神经元不被激活，其状态f(σ)为0。23（2）分段线性强饱和型（LinearSaturation）这种模型又称为伪线性，其输入／输出之间在一定范围内满足线性关系，一直延续到输出为最大值1为止。但当达到最大值后，输出就不再增大。如图5-4所示。图5-4分段线性饱和型神经元的输入／输出特性f(σ)σ0124（3）S型（Sigmoid）这是一种连续的神经元模型，其输出函数也是一个有最大输出值的非线性函数，其输出值是在某个范围内连续取值的，输入输出特性常用S型函数表示。它反映的是神经元的饱和特性，如图5-5所示。σf(σ)图5-5S型神经元的输入／输出特性10ef11)(25（4）子阈累积型（SubthresholdSummation）这种类型的作用函数也是一个非线性函数，当产生的激活值超过T值时，该神经元被激活产生一个反响。在线性范围内，系统的反响是线性的，如图5－6所示。σf(σ)T01图5-6子阈累积型神经元的输入／输出特性26从生理学角度看，阶跃函数（阈值型）最符合人脑神经元的特点，事实上，人脑神经元正是通过电位的高低两种状态来反映该神经元的兴奋与抑制。然而，由于阶跃函数不可微，因此，实际上更多使用的是与之相仿的Sigmoid函数。27人工神经网络人工神经网络是对人类神经系统的一种模拟。尽管人类神经系统规模宏大、结构复杂、功能神奇，但其最基本的处理单元却只有神经元。人工神经系统的功能实际上是通过大量神经元的广泛互连，以规模宏伟的并行运算来实现的。基于对人类生物系统的这一认识，人们也试图通过对人工神经元的广泛互连来模拟生物神经系统的结构和功能。28人工神经网络人工神经元之间通过互连形成的网络称为人工神经网络。在人工神经网络中，神经元之间互连的方式称为连接模式或连接模型。它不仅决定了神经元网络的互连结构，同时也决定了神经网络的信号处理方式。29人工神经网络的分类目前，已有的人工神经网络模型至少有几十种，其分类方法也有多种。例如:1)按网络拓扑结构可分为层次型结构和互连型结构2)按信息流向可分为前馈型网络与有反馈型网络；3)按网络的学习方法可分为有教师的学习网络和无教师的学习网络；4)按网络的性能可分为连续型网络与离散型网络，或分为确定性网络与随机型网络；30•神经元的模型确定之后，一个神经网络的特性及能力主要取决于网络的拓扑结构及学习方法31人工神经网络的互连结构及其学习机理人工神经网络的拓扑结构建立人工神经网络的一个重要步骤是构造人工神经网络的拓扑结构，即确定人工神经元之间的互连结构。根据神经元之间连接的拓扑结构，可将神经网络的互连结构分为层次型网络和互连型网络两大类。层次型网络结构又可根据层数的多少分为单层、两层及多层网络结构。32人工神经网络的互连结构及其学习机理简单单级网……x1x2…xno1o2onwnmw11w1mw2mwn1输出层输入层33单层网络结构有时也称两层网络结构单层或两层神经网络结构是早期神经网络模型的互连模式，这种互连模式是最简单的层次结构。1）不允许属于同一层次间的神经元互连。2）允许同一层次间的神经元互连，则称为带侧抑制的连接（或横向反馈）。此外，在有些双层神经网络中，还允许不同层之间有反馈连接。输出层x1o1w11w1mx2o2w2m………xnomwn1输入层V34多层网络结构通常把三层和三层以上的神经网络结构称为多层神经网络结构。所有神经元按功能分为若干层。一般有输入层、隐层（中间层）和输出层。输出层隐藏层输入层o1o2om…x1x2xn………………35多层网络结构1）输入层节点上的神经元接受外部环境的输入模式，并由它传递给相连隐层上的各个神经元。2）隐层是神经元网络的内部处理层，这些神经元再在网络内部构成中间层，由于它们不直接与外部输入、输出打交道，故称隐层。人工神经网络所具有的模式变换能力主要体现在隐层的神经元上。3）输出层用于产生神经网络的输出模式。较有代表性的多层网络模型有