第四章 神经网络的基本理论

1第四章神经网络的基本理论2模糊控制从人的经验出发，解决了智能控制中人类语言的描述和推理问题，尤其是一些不确定性语言的描述和推理问题，从而在机器模拟人脑的感知、推理等智能行为方面迈出了重大的一步。模糊控制在处理数值数据、自学习能力等方面还远没有达到人脑的境界。人工神经网络从另一个角度出发，即从人脑的生理学和心理学着手，通过人工模拟人脑的工作机理来实现机器的部分智能行为。引言3人工神经网络（简称神经网络，NeuralNetwork）是模拟人脑思维方式的数学模型。神经网络是在现代生物学研究人脑组织成果的基础上提出的，用来模拟人类大脑神经网络的结构和行为。神经网络反映了人脑功能的基本特征，如并行信息处理、学习、联想、模式分类、记忆等。20世纪80年代以来，人工神经网络（ANN，ArtificialNeuralNetwork）研究取得了突破性进展。神经网络控制是将神经网络与控制理论相结合而发展起来的智能控制方法。它已成为智能控制的一个新的分支，为解决复杂的非线性、不确定、未知系统的控制问题开辟了新途径。引言4神经生理学和神经解剖学的研究表明，人脑极其复杂，由一千多亿个神经元交织在一起的网状结构构成，其中大脑皮层约140亿个神经元，小脑皮层约1000亿个神经元。人脑能完成智能、思维等高级活动，为了能利用数学模型来模拟人脑的活动，导致了神经网络的研究。神经系统的基本构造是神经元(神经细胞)，它是处理人体内各部分之间相互信息传递的基本单元。生物神经元5单个神经元的解剖图生物神经元每个神经元都由一个细胞体，一个连接其他神经元的轴突和一些向外伸出的其它较短分支—树突组成。6轴突功能是将本神经元的输出信号(兴奋)传递给别的神经元，其末端的许多神经末梢使得兴奋可以同时传送给多个神经元。生物神经元树突的功能是接受来自其它神经元的兴奋。神经元细胞体将接收到的所有信号进行简单地处理后，由轴突输出。神经元的轴突与另外神经元神经末梢相连的部分称为突触。7神经元的构成：（1）细胞体（主体部分）：包括细胞质、细胞膜和细胞核；（2）树突：用于为细胞体传入信息；（3）轴突：为细胞体传出信息，其末端是轴突末梢，含传递信息的化学物质；（4）突触：是神经元之间的接口（104~105个/每个神经元）。通过树突和轴突，神经元之间实现了信息的传递。生物神经元8神经元之间的联系主要依赖其突触的联接作用。这种突触的联接是可塑的，也就是说突触特性的变化是受到外界信息的影响或自身生长过程的影响。生理学的研究归纳有以下几个方面的变化：(1)突触传递效率的变化。首先是突触的膨胀以及由此产生的突触后膜表面积扩大，从而突触所释放出的传递物质增多，使得突触的传递效率提高。其次是突触传递物质质量的变化，包括比例成分的变化所引起传递效率的变化。(2)突触接触间隙的变化。在突触表面有许多形状各异的小凸芽，调节其形状变化可以改变接触间隙，并影响传递效率。生物神经元9(3)突触的发芽。当某些神经纤维被破坏后，可能又会长出新芽，并重新产生附着于神经元上的突触．形成新的回路。由于新的回路的形成，使得结合模式发生变化，也会引起传递效率的变化。(4)突触数目的增减。由于种种复杂环境条件的刺激等原因，或者由于动物本身的生长或衰老，神经系统的突触数目会发生变化，并影响神经元之间的传递效率。生物神经元10神经元对信息的接受和传递都是通过突触来进行的。单个神经元可以从别的细胞接受多个输入。由于输入分布于不同的部位，对神经元影响的比例(权重)是不相同的。另外，各突触输入抵达神经元的先后时间也不一祥。因此，一个神经元接受的信息，在时间和空间上常呈现出一种复杂多变的形式，需要神经元对它们进行积累和整合加工，从而决定其输出的时机和强度。正是神经元这种整合作用，才使得亿万个神经元在神经系统中有条不紊、夜以继日地处理各种复杂的信息，执行着生物中枢神经系统的各种信息处理功能。多个神经元以突触联接形成了一个神经网络。研究表明，生物神经网络的功能决不是单个神经元生理和信息处理功能的简单叠加，而是一个有层次的、多单元的动态信息处理系统。它们有其独特的运行方式和控制机制，以接受生物内外环境的输入信息，加以综合分折处理，然后调节控制机体对环境作出适当的反应。生物神经元11突触的信息处理生物神经元传递信息的过程为多输入、单输出神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质突触有两种类型，兴奋性突触和抑制性突触。前者产生正突触后电位，后者产生负突触后电位生物神经元12神经元具有如下功能：(1)兴奋与抑制：如果传入神经元的冲动经整合后使细胞膜电位升高，超过动作电位的阈值时即为兴奋状态，产生神经冲动，由轴突经神经末梢传出。如果传入神经元的冲动经整合后使细胞膜电位降低，低于动作电位的阈值时即为抑制状态，不产生神经冲动。(2)学习与遗忘：由于神经元结构的可塑性，突触的传递作用可增强和减弱，因此神经元具有学习与遗忘的功能。生物神经元13以上是从宏观上分析了人脑信息处理特点。从信息系统研究的观点出发，对于人脑这个智能信息处理系统，有如下一些固有特征：(1)并行分布处理的工作模式。实际上大脑中单个神经元的信息处理速度是很慢的，每次约1毫秒(ms)，比通常的电子门电路要慢几个数量级。每个神经元的处理功能也很有限，估计不会比计算机的一条指令更复杂。但是人脑对某一复杂过程的处理和反应却很快，一般只需几百毫秒。例如要判定人眼看到的两个图形是否一样，实际上约需400ms，而在这个处理过程中，与脑神经系统的一些主要功能，如视觉、记亿、推理等有关。按照上述神经元的处理速度，如果采用串行工作模式，就必须在几百个串行步内完成，这实际上是不可能办到的。因此只能把它看成是一个由众多神经元所组成的超高密度的并行处理系统。例如在一张照片寻找一个熟人的面孔，对人脑而言，几秒钟便可完成，但如用计算机来处理，以现有的技术，是不可能在短时间内完成的。由此可见，大脑信息处理的并行速度已达到了极高的程度。生物神经元14(2)神经系统的可塑性和自组织性。神经系统的可塑性和自组织性与人脑的生长发育过程有关。例如，人的幼年时期约在9岁左右，学习语言的能力十分强，说明在幼年时期，大脑的可塑性和柔软性特别良好。从生理学的角度看，它体现在突触的可塑性和联接状态的变化，同时还表现在神经系统的自组织特性上。例如在某一外界信息反复刺激下．接受该信息的神经细胞之间的突触结合强度会增强。这种可塑性反映出大脑功能既有先天的制约因素，也有可能通过后天的训练和学习而得到加强。神经网络的学习机制就是基于这种可塑性现象，并通过修正突触的结合强度来实现的。生物神经元15(3)信息处理与信息存贮合二为一。大脑中的信息处理与信息存贮是有机结合在一起的，而不像现行计算机那样．存贮地址和存贮内容是彼此分开的。由于大脑神经元兼有信息处理和存贮功能，所以在进行回亿时，不但不存在先找存贮地址而后再调出所存内容的问题，而且还可以由一部分内容恢复全部内容。(4)信息处理的系统性大脑是一个复杂的大规模信息处理系统，单个的元件“神经元”不能体现全体宏观系统的功能。实际上，可以将大脑的各个部位看成是一个大系统中的许多子系统。各个子系统之间具有很强的相互联系，一些子系统可以调节另一些子系统的行为。例如，视觉系统和运动系统就存在很强的系统联系，可以相互协调各种信息处理功能。生物神经元16(5)能接受和处理模糊的、模拟的、随机的信息。(6)求满意解而不是精确解。人类处理日常行为时，往往都不是一定要按最优或最精确的方式去求解，而是以能解决问题为原则，即求得满意解就行了。(7)系统的恰当退化和冗余备份(鲁棒性和容错性)。生物神经元17决定神经网络模型性能三大要素为：(1)神经元（信息处理单元）的特性；(2)神经元之间相互连接的形式—拓扑结构；(3)为适应环境而改善性能的学习规则。生物神经元184.1人工神经网络模型人工神经网络的数学模型人工神经网络是在结构和功能上对生物神经网络的某种程度的模拟和逼近。直观理解神经网络是一个并行和分布式的信息处理网络结构它一般由大量神经元组成•每个神经元只有一个输出，可以连接到很多其他的神经元•每个神经元输入有多个连接通道，每个连接通道对应于一个连接权系数19一、MP模型MP模型属于一种阈值元件模型，它是由美国McCulloch和Pitts提出的最早神经元模型之一。MP模型是大多数神经网络模型的基础。人工神经网络基本模型4.1人工神经网络模型20niiiiitxwfufv1)()()(fyx1x2xnw1w2wn···)(f标准MP模型4.1人工神经网络模型21wij——代表神经元i与神经元j之间的连接强度(模拟生物神经元之间突触连接强度)，称之为连接权；ui——代表神经元i的活跃值，即神经元状态；xj——代表神经元j的输出，即是神经元i的一个输入；θi——代表神经元i的阈值。函数f表达了神经元的输入输出特性。在MP模型中，f定义为阶跃函数/激发函数：0,00,1iiiuuv4.1人工神经网络模型22如果把阈值θi看作为一个特殊的权值，则可改写为:其中，w0i＝-θi，v0＝1为用连续型的函数表达神经元的非线性变换能力，常采用s型函数:该函数的图像如下图所示)(0jnjjiivwfviuieuf11)(4.1人工神经网络模型234.1人工神经网络模型24MP模型在发表时并没有给出一个学习算法来调整神经元之间的连接权。但是，我们可以根据需要，采用一些常见的算法来调整神经元连接权，以达到学习目的。下面介绍的Hebb学习规则就是一个常见学习算法。Hebb学习规则神经网络具有学习功能。对于人工神经网络而言，这种学习归结为神经元连接权的变化。调整wij的原则为：若第i和第j个神经元同时处于兴奋状态，则它们之间的连接应当加强，即：Δwij＝αuivj这一规则与“条件反射”学说一致，并已得到神经细胞学说的证实。α是表示学习速率的比例常数。4.1人工神经网络模型254.2神经网络的定义和特点神经网络是在现代生物学研究人脑组织成果的基础上提出的，用来模拟人类大脑神经网络的结构和行为，它从微观结构和功能上对人脑进行抽象和简化，是模拟人类智能的一条重要途径，反映了人脑功能的若干基本特征，如并行信息处理、学习、联想、模式分类、记忆等。定义神经网络系统是由大量的神经元，通过广泛地互相连接而形成的复杂网络系统。26特点（1）非线性映射逼近能力。任意的连续非线性函数映射关系可由多层神经网络以任意精度加以逼近。（2）自适应性和自组织性。神经元之间的连接具有多样性，各神经元之间的连接强度具有可塑性，网络可以通过学习与训练进行自组织，以适应不同信息处理的要求。（3）并行处理性。网络的各单元可以同时进行类似的处理过程，整个网络的信息处理方式是大规模并行的，可以大大加快对信息处理的速度。（4）分布存储和容错性。信息在神经网络内的存储按内容分布于许多神经元中，而且每个神经元存储多种信息的部分内容。网络的每部分对信息的存储具有等势作用，部分的信息丢失仍可以使完整的信息得到恢复，因而使网络具有容错性和联想记忆功能。（5）便于集成实现和计算模拟。神经网络在结构上是相同神经元的大规模组合，特别适合于用大规模集成电路实现。4.2神经网络的定义和特点274.3感知器模型感知器是一种早期的神经网络模型，由美国学者F.Rosenblatt于1957年提出.感知器中第一次引入了学习的概念，使人脑所具备的学习功能在基于符号处理的数学到了一定程度的模拟，所以引起了广泛的关注。1.简单感知器简单感知器模型实际上仍然是MP模型的结构，但是它通过采用监督学习来逐步增强模式划分的能力，达到所谓学习的目的。28其结构如下图所示感知器处理单元对n个输入进行加权和操作v即：其中，Wi为第i个输入到处理单元的连接权值θ为阈值。f取阶跃函数.)(0i