您好,欢迎访问三七文档
当前位置:首页 > 电子/通信 > 综合/其它 > 第四章-人工神经网络
2020/5/71第四章人工神经网络2020/5/724.1概述2020/5/73一、人工神经网络研究与发展40年代初,美国McCulloch和Pitts从信息处理的角度,研究神经细胞行为的数学模型表达,并提出了二值神经元模型。1949年心理学家Hebb提出著名的Hebb学习规则,即由神经元之间结合强度的改变来实现神经学习的方法。MP模型的提出开始了对神经网络的研究进程。虽然Hebb学习规则在人们研究神经网络的初期就已提出,但是其基本思想至今在神经网络的研究中仍发挥着重要作用。人工神经网络(简称神经网络)是利用物理器件来模拟生物神经网络的某些结构和功能。2020/5/7450年代末期,Rosenblatt提出感知机模型(Perceptron),首先从工程角度出发,研究了用于信息处理的神经网络模型。感知机虽然比较简单,却已具有神经网络的一些基本性质,如分布式存贮、并行处理、可学习性、连续计算等。这些神经网络的特性与当时流行串行的、离散的、符号处理的电子计算机及其相应的人工智能技术有本质的不同,由此引起许多研究者的兴趣,在60代掀起了神经网络研究第一次高潮。但是,当时人们对神经网络研究过于乐观,认为只要将这种神经元互连成一个网络,就可以解决人脑思维的模拟问题,然而,后来的研究结果却又使人们走到另一个极端上。2020/5/75在60年代末,美国著名人工智能专家Minsky和Papert对Rosenblatt的工作进行了深入研究,出版了有较大影响的(Perceptron)一书,指出感知机的功能和处理能力的局限性,甚至连XOR(异或)这样的问题也不能解决,同时也指出如果在感知器中引入隐含神经元,增加神经网络的层次,可以提高神经网络的处理能力,但是却无法给出相应的网络学习算法。另一方面,由于60年代以来集成电路和微电子技术日新月异的发展,使得电子计算机的计算速度飞速提高,加上那时以功能模拟为目标、以知识信息处理为基础的知识工程等研究成果,给人工智能从实验室走向实用带来了希望,这些技术进步给人们造成这样的认识:以为串行信息处理及以它为基础的传统人工智能技术的潜力是无穷的,这就暂时掩盖了发展新型计算机和寻找新的人工智能途径的必要性和迫切性。2020/5/76另外,当时对大脑的计算原理、对神经网络计算的优点、缺点、可能性及其局限性等还很不清楚。总之,认识上的局限性使对神经网络的研究进入了低潮。在这一低潮时期,仍有一些学者扎扎实实地继续着神经网络模型和学习算法的基础理论研究,提出了许多有意义的理论和方法。其中,主要有自适应共振理论,自组织映射,认知机网络模型理论,BSB模型等等,为神经网络的发展奠定了理论基础。进入80年代,首先是基于“知识库”的专家系统的研究和运用,在许多方面取得了较大成功。但在一段时间以后,实际情况表明专家系统并不像人们所希望的那样高明,特别是在处理视觉、听觉、形象思维、联想记忆以及运动控制等方面,传统的计算机和人工智能技术面临着重重困难。2020/5/77模拟人脑的智能信息处理过程,如果仅靠串行逻辑和符号处理等传统的方法来济决复杂的问题,会产生计算量的组合爆炸。因此,具有并行分布处理模式的神经网络理论又重新受到人们的重视。对神经网络的研究又开始复兴,掀起了第二次研究高潮。1982年,美国加州理工学院物理学家J.J.Hopfield提出了一种新的神经网络HNN。他引入了“能量函数”的概念,使得网络稳定性研究有了明确的判据。HNN的电子电路物理实现为神经计算机的研究奠定了基础,并将其应用于目前电子计算机尚难解决的计算复杂度为NP完全型的问题,例如著名的“巡回推销员问题”(TSP),取得很好的效果。从事并行分布处理研究的学者,于1985年对Hopfield模型引入随机机制,提出了Boltzmann机。2020/5/781986年Rumelhart等人在多层神经网络模型的基础上,提出了多层神经网络模型的反向传播学习算法(BP算法),解决了多层前向神经网络的学习问题,证明了多层神经网络具有很强的学习能力,它可以完成许多学习任务,解决许多实际问题。近十几年来,许多具备不同信息处理能力的神经网络已被提出来并应用于许多信息处理领域,如模式识别、自动控制、信号处理、决策辅助、人工智能等方面。神经计算机的研究也为神经网络的理论研究提供了许多有利条件,各种神经网络模拟软件包、神经网络芯片及电子神经计算机的出现,体现了神经网络领域的各项研究均取得长足进展。同时,相应的神经网络学术会议和神经网络学术刊物的大量出现,给神经网络的研究者们提供了许多讨论交流的机会。2020/5/79二、人脑信息处理机制生物神经系统是一个有高度组织和相互作用的数量巨大的细胞组织群体。人类大脑的神经细胞大约在1011一1013个左右。神经细胞也称神经元,是神经系统的基本单元,它们按不同的结合方式构成了复杂的神经网络。通过神经元及其联接的可塑性,使得大脑具有学习、记忆和认知等各种智能。人工神经网络的研究出发点是以生物神经元学说为基础的。生物神经元学说认为,神经细胞即神经元是神经系统中独立的营养和功能单元。2020/5/710生物神经系统,包括中枢神经系统和大脑,均是由各类神经元组成。其独立性是指每一个神经元均有自己的核和自己的分界线或原生质膜。生物神经元之间的相互连接从而让信息传递的部位被称为突触(Synapse)。突触按其传递信息的不同机制,可分为化学突触和电突触。其中化学突触占大多数,其神经冲动传递借助于化学递质的作用。生物神经元的结构大致描述如下图所示。2020/5/7112020/5/712神经元由细胞体和延伸部分组成。延伸部分按功能分有两类,一种称为树突,占延伸部分的大多数,用来接受来自其他神经元的信息;另一种用来传递和输出信息,称为轴突。神经元对信息的接受和传递都是通过突触来进行的。单个神经元可以从别的细胞接受多达上千个的突触输入。这些输入可达到神经元的树突、胞体和轴突等不同部位,但其分布各不相同,对神经元的影响也不同。人类大脑皮质的全部表面积约20104mm2,平均厚度约2.5mm,皮质的体积则约为50104mm3。如果皮质中突触的平均密度是6l09/mm3左右,则可认为皮质中的全部突触数为31015个。如果再按上述人脑所含的全部神经元数目计算,则每个神经元平均的突触数目可能就有1.5—3.0万个左右。2020/5/713神经元之间的联系主要依赖其突触的联接作用。这种突触的联接是可塑的,也就是说突触特性的变化是受到外界信息的影响或自身生长过程的影响。神经元对信息的接受和传递都是通过突触来进行的。多个神经元以突触联接形成了一个神经网络。它们有其独特的运行方式和控制机制,以接受生物内外环境的输入信息,加以综合分析处理,然后调节控制机体对环境作出适当的反应。2020/5/714(1)并行分布处理的工作模式。(2)神经系统的可塑性和自组织性。神经系统的可塑性和自组织性与人脑的生长发育过程有关。神经网络的学习机制就是基于这种可塑性现象,并通过修正突触的结合强度来实现的。(3)信息处理与信息存贮合二为一。(4)信息处理的系统性。(5)能接受和处理模糊的、模拟的、随机的信息。(6)求满意解而不是精确解。(7)系统的恰当退化和冗余备份(鲁棒性和容错性)。人脑智能信息处理系统的固有特征2020/5/715四、人工神经网络研究与应用的主要内容神经网络原型研究,即大脑神经网络的生理结构、思维机制。(1)人工神经网络模型的研究易于实现的神经网络计算模型。利用物理学的方法进行单元间相互作用理论的研究,如:联想记忆模型。神经网络的学习算法与学习系统。神经元生物特性如时空特性、不应期、电化学性质的人工模拟。2020/5/716(2)神经网络基本理论研究神经网络的非线性特性,包括自组织、自适应等作用。神经网络的基本性能,包括稳定性、收敛性、容错性、鲁棒性、动力学复杂性。神经网络的计算能力与信息存贮容量。开展认知科学的研究:探索包括感知、思考、记忆和语言等的脑信息处理模型。采用诸如连接机制等方法,将认知信息处理过程模型化,并通过建立神经计算学来代替算法论。2020/5/717(3)神经网络智能信息处理系统的应用认知与人工智能:包括模式识别、计算机视觉与听觉、特征提取、语音识别语言翻译、联想记忆、逻辑推理、知识工程、专家系统、故障诊断、智能机器人等。优化与控制:包括优化求解、决策与管理、系统辨识、鲁棒性控制、自适应控制、并行控制、分布控制、智能控制等。信号处理:自适应信号处理(自适应滤波、时间序列预测、谱估计、消噪、检测、阵列处理)和非线性信号处理(非线性滤波、非线性预测、非线性谱估计、非线性编码、中值处理)。传感器信息处理:模式预处理变换、信息集成、多传感器数据融合。2020/5/718(4)神经网络的软件模拟和硬件实现在通用计算机、专用计算机或者并行计算机上进行软件模拟,或由专用数字信号处理芯片软件模拟的优点是网络的规模可以较大,适合于用来验证新的模型和复杂的网络特性。构成神经网络仿真器。由模拟集成电路、数字集成电路或者光器件在硬件上实现神经芯片。硬件实现的优点是处理速度快,但由于受器件物理因素的限制,根据目前的工艺条件,网络规模不可能做得太大。仅几千个神经元。但代表了未来的发展方向,因此特别受到人们的重视。2020/5/719(5)神经网络计算机的实现计算机仿真系统。专用神经网络并行计算机系统。数字、模拟、数—模混合、光电互连等。光学实现。生物实现。2020/5/7204.2人工神经元模型2020/5/721f()j-1x1xnwj1wjn···yj典型的人工神经元模型2020/5/722第j个神经元模型的输入输出关系为:)()1,(0001jjjjniijijniijijsfywxxwxws),2,1(nixi为输入信号;),2,1(niwji为神经元j的权值;j称为阈值;f()为输出变换函数;yj为神经元j的输出。2020/5/723几种常见的变换函数ssfy)((2)符号函数:0101)(sssfsy0sy1-10(1)比例函数:2020/5/724(3)饱和函数:sy1-10kskskkskssf111111)(0001)(sssf(4)阶跃函数:sy10常称此种神经元为M-P模型。2020/5/725(5)双曲函数sy1-10)exp(1)exp(1)(sssf(6)Sigmoid函数sy10.50)exp(11)(ssf它具有平滑和渐近性,并保持单调性,相对于其它类函数,Sigmoid函数最为常用。这两类函数也称为S形函数2020/5/7264.3人工神经网络结构、工作方式及学习方法2020/5/727一、人工神经网络(ANN)结构与工作方式除单元特性外,网络的拓扑结构也是ANN的一个重要特征。人工神经网络是一个并行和分布式的信息处理网络结构,该网络结构一般由多个神经元组成,每个神经元有一个单一的输出,它可以连接到很多其它的神经元,其输入有多个连接通路,每个连接通路对应一个连接权系数。从连接方式看,ANN主要有两种:前馈型神经网络和反馈型网络。2020/5/728·········前馈型网络(a)···反馈型网络(b)典型的神经网络结构图2020/5/729前馈型神经网络主要是函数映射,用于模式识别和函数逼近。按对能量函数的所有极小点的利用情况,可将反馈型神经网络分两类:一类是能量函数的所有极小点都起作用,主要用作各种联想存储器;另一类只利用全局极小点,主要用于求解优化问题。两种网络的应用2020/5/730ANN的工作过程第一个阶段是学习期,此时各计算单元状态不变,各连线上的权值通过学习来修改;第二阶段是工作期,此时连接权固定,计算单元状态变换,以达到某种稳定状态。主要分为两个阶段:2020/5/731二、神经网络的学习方式和学习规则1、学习方式通过向环境学习获取知识并改进自身性能是NN的一个重要特点。在一般情况下,性能的改善
本文标题:第四章-人工神经网络
链接地址:https://www.777doc.com/doc-5252750 .html