李亚非老师的神经网络教程

人工神经网络ArtificialNeuralNetwork目录第1章概述1．1人工神经网络研究与发展1．2生物神经元1．3人工神经网络的构成第2章人工神经网络基本模型2．1MP模型2．2感知器模型2．3自适应线性神经元第3章EBP网络(反向传播算法）3．1含隐层的前馈网络的学习规则3．2Sigmoid激发函数下的BP算法3．3BP网络的训练与测试3．4BP算法的改进3．5多层网络BP算法的程序设计多层前向网络BP算法源程序第4章Hopfield网络模型4．1离散型Hopfield神经网络4．2连续型Hopfield神经网络Hopfield网络模型源程序4．3旅行商问题(TSP)的HNN求解Hopfield模型求解TSP源程序第5章随机型神经网络5．1模拟退火算法5．2Boltzmann机Boltzmann机模型源程序5．3Gaussian机第6章自组织神经网络6．1竞争型学习6．2自适应共振理论(ART)模型6．3自组织特征映射(SOM)模型6．4CPN模型目录第7章联想记忆神经网络7．1联想记忆基本特点7．2线性联想记忆LAM模型7．3双向联想记忆BAM模型7．4时间联想记忆TAM模型Hopfield模型联想记忆源程序第8章CMAC模型8．1CMAC模型8．2CMAC映射算法8．3CMAC的输出计算8．4CMAC控制器模型目录神经网络研究与发展40年代初，美国McCulloch和PiMs从信息处理的角度，研究神经细胞行为的数学模型表达．提出了二值神经元模型。MP模型的提出开始了对神经网络的研究进程。1949年心理学家Hebb提出著名的Hebb学习规则，即由神经元之间结合强度的改变来实现神经学习的方法。虽然Hebb学习规则在人们研究神经网络的初期就已提出，但是其基本思想至今在神经网络的研究中仍发挥着重要作用。50年代末期，Rosenblatt提出感知机模型(Perceptron)，首先从工程角度出发，研究了用于信息处理的神经网络模型.这是一种学习和自组织的心理学模型，它基本符合神经生理学的原理。感知机虽然比较简单，却已具有神经网络的一些基本性质，如分布式存贮、并行处理、可学习性、连续计算等。这些神经网络的特性与当时流行串行的、离散的、符号处理的电子计算机及其相应的人工智能技术有本质上的不同，由此引起许多研究者的兴趣，在60代掀起了神经网络研究的第一次高潮。但是，当时人们对神经网络研究过于乐观，认为只要将这种神经元互连成一个网络，就可以解决人脑思维的模拟问题，然而，后来的研究结果却又使人们走到另一个极端上。在60年代末，美国著名人工智能专家Minsky和Papert对Rosenblatt的工作进行了深人研究，出版了有较大影响的(Perceptron)一书，指出感知机的功能和处理能力的局限性，甚至连XOR(异或)这样的问题也不能解决，同时也指出如果在感知器中引入隐含神经元，增加神经网络的层次，可以提高神经网络的处理能力，但是却无法给出相应的网络学习算法。因此Minsky的结论是悲观的。另一方面，由于60年代以来集成电路和微电子技术日新月异的发展，使得电子计算机的计算速度飞速提高，加上那时以功能模拟为目标、以知识信息处理为基础的知识工程等研究成果，给人工智能从实验室走向实用带来了希望，这些技术进步给人们造成这样的认识：以为串行信息处理及以它为基础的传统人工智能技术的潜力是无穷的，这就暂时掩盖了发展新型计算机和寻找新的人工智能途径的必要性和迫切性。另外，当时对大脑的计算原理、对神经网络计算的优点、缺点、可能性及其局限性等还很不清楚。总之，认识上的局限性使对神经网络的研究进入了低潮。在这一低潮时期，仍有一些学者扎扎实实地继续着神经网络模型和学习算法的基础理论研究，提出了许多有意义的理论和方法。其中，主要有自适应共振理论，自组织映射，认知机网络模型理论，BSB模型等等，为神经网络的发展奠定了理论基础。进入80年代，首先是基于“知识库”的专家系统的研究和运用，在许多方面取得了较大成功。但在一段时间以后，实际情况表明专家系统并不像人们所希望的那样高明，特别是在处理视觉、听觉、形象思维、联想记忆以及运动控制等方面，传统的计算机和人工智能技术面临着重重困难。模拟人脑的智能信息处理过程，如果仅靠串行逻辑和符号处理等传统的方法来济决复杂的问题，会产生计算量的组合爆炸。因此，具有并行分布处理模式的神经网络理论又重新受到人们的重视。对神经网络的研究又开始复兴，掀起了第二次研究高潮。1982年，美国加州理工学院物理学家J．J．Hopfield提出了一种新的神经网络HNN。他引入了“能量函数”的概念，使得网络稳定性研究有了明确的判据。HNN的电子电路物理实现为神经计算机的研究奠定了基础，并将其应用于目前电子计算机尚难解决的计算复杂度为NP完全型的问题，例如著名的“巡回推销员问”(TSP)，取得很好的效果。从事并行分布处理研究的学者，于1985年对Hopfield模型引入随机机制，提出了Boltzmann机。1986年Rumelhart等人在多层神经网络模型的基础上，提出了多层神经网络模型的反向传播学习算法(BP算法)，解决了多层前向神经网络的学习问题，证明了多层神经网络具有很强的学习能力，它可以完成许多学习任务，解决许多实际问题。近十几年来，许多具备不同信息处理能力的神经网络已被提出来并应用于许多信息处理领域，如模式识别、自动控制、信号处理、决策辅助、人工智能等方面。神经计算机的研究也为神经网络的理论研究提供了许多有利条件，各种神经网络模拟软件包、神经网络芯片以及电子神经计算机的出现，体现了神经网络领域的各项研究均取得了长足进展。同时，相应的神经网络学术会议和神经网络学术刊物的大量出现，给神经网络的研究者们提供了许多讨论交流的机会。虽然人们已对神经网络在人工智能领域的研究达成了共识，对其巨大潜力也毋庸置疑，但是须知，人类对自身大脑的研究，尤其是对其中智能信息处理机制的了解，还十分肤浅。因而现有的研究成果仅仅处于起步阶段，还需许多有识之士长期的艰苦努力。概括以上的简要介绍，可以看出，当前又处于神经网络理论的研究高潮，不仅给新一代智能计算机的研究带来巨大影响，而且将推动整个人工智能领域的发展。但另一方面，由于问题本身的复杂性，不论是神经网络原理自身，还是正在努力进行探索和研究的神经计算机，目前,都还处于起步发展阶段。为了了解ANN，我们首先分析一下现行计算机所存在的问题。尽管冯·诺依曼型计算机在当今世界发挥着巨大的作用，但它在智能化信息处理过程中存在着许多局限性。我们简单分析一下冯·诺依曼型计算机求解某个问题所采用的方法。(1)根据该问题的特点，建立合适的数学模型。(2)根据所建立的数学模型的原始数据资料，生成适合于输入计算机的程序和数据。(3)计算机的控制器命令输入器将计算步骤的初始数据记录到存贮器中。(4)控制器根据计算步骤的顺序，依次按存贮器地址读出第一个计算步骤，然后根据读出步骤的规定，控制运算器对相应数据执行规定的运算操作。(5)反馈器从反馈信号中得知运算器操作完毕，把所得的中间结果记录到存贮器某个确定位置存贮好。(6)反馈信号通知控制器再取第二个计算步骡，然后重复上述的执行过程。一直到整个运算完成后，控制器就命令输出器把存贮器中存放的最终结果用打印、显示或绘图等方式输出。将以上整个计算过程概括起来，可以看出现行冯·诺依曼计算机有以下三个主要特点：(1)它必须不折不如地按照人们已经编制好的程序步骤来进行相应的数值计算或逻辑运算，它没有主动学习的能力和自适应能力，因此它是被动的。(2)所有的程序指令都要调入CPU一条接一条地顺序执行。因此．它的处理信息方式是集中的、串行的。(3)存贮器的位置(即地址)和其中历存贮的具体内容无关。因此，在调用操作的指令或数据时，总是先找它所在存贮器的地址，然后再查出所存贮的内容。这就是说，存贮内容和存贮地址是不相关的。由于现行计算机的上述特点，一方面它在像数值计算或逻辑运算这类属于顺序性(串行性)信息处理中，表现出远非人所能及的速度；另一方面，在涉及人类日常的信息活动，例如识别图形、听懂语言等，却又显得那样低能和笨拙。实际上．脑对外界世界时空客体的描述和识别，乃是认知的基础。认知问题离不开对低层次信息处理的研究和认识。虽然符号处理在脑的思维功能模拟等方面取得了很大进展，但它对诸如视觉、听觉、联想记忆和形象思维等问题的处理往往感到力不从心。所以符号处理不可能全面解决认知问题和机器智能化问题．它对高层次脑功能的宏观模拟很有效，而对一些低层次的模式处理则至今还有许多困难。正是由于认识到传统的冯·诺依曼计算机在智能信息处理中的这种难以逾越的局限性．使得人们考虑到有必要进一步了解分析人脑神经系统信息处理和存贮的机理特征．以便寻求一条新的人工神经网络智能信息处理途径。人工神经网络研究是采用自下而上的方法，从脑的神经系统结构出发来研究脑的功能，研究大量简单的神经元的集团信息处理能力及其动态行为。目前，神经网络的研究使得对多年来困扰计算机科学和符号处理的一些难题可以得到比较令人满意的解答，特别是对那些时空信息存贮及并行搜索、自组织联想记亿、时空数据统计描述的自组织以及从一些相互关联的活动中自动获取知识等一般性问题的求解，更显示出独特的能力。由此引起了智能研究者们的广泛关注，并普遍认为神经网络方法适合于低层次的模式处理。人脑信息处理机制生物神经系统是一个有高度组织和相互作用的数量巨大的细胞组织群体。人类大脑的神经细胞大约在1011一1013个左右。神经细胞也称神经元，是神经系统的基本单元，它们按不同的结合方式构成了复杂的神经网络。通过神经元及其联接的可塑性，使得大脑具有学习、记忆和认知等各种智能。人工神经网络的研究出发点是以生物神经元学说为基础的。生物神经元学说认为，神经细胞即神经元是神经系统中独立的营养和功能单元。生物神经系统．包括中枢神经系统和大脑，均是由各类神经元组成。其独立性是指每一个神经元均有自己的核和自己的分界线或原生质膜。10生物神经元之间的相互连接从而让信息传递的部位披称为突触(Synapse)。突触按其传递信息的不同机制，可分为化学突触和电突触、其中化学突触占大多数，其神经冲动传递借助于化学递质的作用。生物神经元的结构大致描述如下图所示。神经元由细胞体和延伸部分组成。延伸部分按功能分有两类，一种称为树突，占延伸部分的大多数，用来接受来自其他神经元的信息；另一种用来传递和输出信息，称为轴突。神经元对信息的接受和传递都是通过突触来进行的。单个神经元可以从别的细胞接受多达上千个的突触输入。这些输入可达到神经元的树突、胞体和轴突等不同部位，但其分布各不相同．对神经元的影响也不同。人类大脑皮质的全部表面积约有20×104mm2，平均厚度约2．5mm，皮质的体积则约为50×104mm3。如果皮质中突触的平均密度是6×l09／mm3左右，则可认为皮质中的全部突触数为3×1015个。如果再按上述人脑所含的全部神经元数目计算，则每个神经元平均的突触数目可能就有1．5—3．0万个左右。神经元之间的联系主要依赖其突触的联接作用。这种突触的联接是可塑的，也就是说突触特性的变化是受到外界信息的影响或自身生长过程的影响。生理学的研究归纳有以下几个方面的变化：(1)突触传递效率的变化。首先是突触的膨胀以及由此产生的突触后膜表面积扩大，从而突触所释放出的传递物质增多，使得突触的传递效率提高。其次是突触传递物质质量的变化，包括比例成分的变化所引起传递效率的变化。(2)突触接触间隙的变化。在突触表面有许多形状各异的小凸芽，调节其形状变化可以改变接触间隙，并影响传递效率。(3)突触的发芽。当某些神经纤维被破坏后，可能又会长出新芽，并重新产生附着于神经元上的突触．形成新的回路。由于新的回路的形成，使得结合模式发生变化，也会引起传递效率的变化。(4)突触数目的增减。由于种种复杂环境条件的刺激等原因，或者由于动物本身的生长或衰老，神经系统的突触数目会发生变化，并影响神经元之间的传递效率。神经元对信息的接受和传递都是通过突触来进行的。单个神经元可以从