神经网络

题目BP神经网络的现状及应用综述作者：潘高超学号：15120017指导教师：吴建国完成日期：2016年5月1日摘要BP神经网络作为人工神经网络的重要分支，是促进该学科发展的重要力量，体现出这门科学的理论精华。BP神经网络具有完善的理论体系，清晰的算法流程，强大的数据识别和模拟功能。在解决非线性系统问题时，优势明显，突显出巨大的实际应用价值。在当今社会，BP神经网络是现实应用中展为广泛的，它具有神经网络的基本特征，所以本文以BP神经网络作为研究对象。研究的内容主要有：首先，对生物神经元与人工神经元之间的关系和BP神经网络的基本原理及推导过释进行阐述。其次，对BP神经网络的参数选择和流程步骤进行了研究。关键词：神经网络，非线性系统，数据识别第一章目的和意义人工神经网络(ArtificialNeuralNetwork，ANN)是由大量计算单元构成的非线性系统，它模仿人脑神经系统对外界信号接收、处理、存储的过程。具有强大的智能处理信息的功能。19世纪40年代初，心理学家Mcculloch和数学家Pitts从信息处理和数学建模的角度出发，对信号在神经元间的传递进行研究，提出神经元形式的MP数学模型，发出利用神经科学作为逻辑数学工具研究客观世界的先声。随后国外许多学者参与神经网络的研究工作，提出大量新理论和学习算法，如无导师学习、感知器模型、反向传播算法、最小均方规则、玻耳兹曼机、模拟退火算法、竞争学习以及运动控制等学习模型。这些学习模型改进了神经网络的学习结构，完善了原有的理论，增强其处理各类信息的能力，体现了神经网络的一些显著特点及优势：具有非线性映射能力，擅于从输入和输出信号中寻找规律，不需要精确的数学模型，并行计算能力强，易于进行软硬件的编程计算。因此，神经网络作为模仿生物的新型数学模型，被尝试性地运用去解决一些传统方法不能解决的问题。1985年Rumelhart在误差反向传播理论的基础上提出反向传播(Back-Propagation)学习算法，即BP神经网络算法。BP神经网络构建在多层前馈网络的基础上，由输入、输出、隐含层组成。输入信号在各层神经元问传递，通过各神经元激活函数的作用，完成正向传播。根据正向传播的误差信号，BP神经网络利用梯度下降法进行有导师式反向传播学习，通过反复的正向、反向学习，使误差信号达到最小。1988年Cybenko指出，当各节点均采用Sigmoid型函数时，一个隐含层就足以实现任意的判决分类问题，两个隐含层则足以表示输入图形的任意输出函数。这反映出BP神经网络具有强大的数据识别和模拟能力，在解决非线性系统问题时，优势明显，是一种可以被推广应用的前沿理论与技术。近年来国内外学者对ANN模型的研究大多聚焦在前馈反向传播网络上，BP神经网络是前馈反向传播网络精华的部分，应用程度最广，因而得到学者们的格外关注。目前BP神经网络的应用领域主要有：模式识别、智能控制、故障诊断、图像识别处理、优化计算、信息处理、金融预测、市场分析与企业管理等。第二章研究动态神经网络是一个由大量简单的处理单元广泛连接组成的系统．用来模拟人脑神经系统的结构和功能。它从开始研究到发展并不是一帆风顺的，经历了兴起到低潮。再转入新的高潮的曲折发展道路。20世纪80年代中期以来，在美国、日本等一些西方工业发达国家里，掀起了一股竞相研究、开发神经网络的热潮。近十多年来人工神经网络的发展也表明了，这是一项有着广泛的应用前景的新型学科，它的发展对目前和未来科学技术水平的提高将有重要影响。神经网络诞生半个多世纪以来，经历了以下几个发展阶段。(1)初期阶段美国心理学家WilliamJames(1890)发表了《心理学原理》一书，论述了相关学习，联想记忆的基本原理．对人脑功能作了创见性地工作。他指出：当前基本的脑细胞曾经一起相继被激活过．其中一个受到刺激重新激活时，会将刺激传播到另一个。同时．James认为：在大脑皮层上任意点的刺激量，是其他所有发射点进入该点的总和。美国心理学家W.S.Mcculloh与数学家W.H.Pirts(1943)合作，用逻辑数学工具研究客观事件在形成神经网络中的数学模型表达，从此开创了对神经网络的理论研究(阎平凡，2002)。心里学家D.O.Hebb(1949)出版《行为构成》一书，首先建立了被称为Hebb算法的连接权训练规则，Hebb学习规则开始时作为假设提出来的，正确性在30年后才得到证实。他认为学习过程就发生在两个神经细胞相互连接的突触处，并首先提出了神经元权值的修改方案了，Hebb学习规则至今仍产生深刻影响。F.Rosenblatt(1957)首次提出并设计制作了著名的感知器，提出了一种具有三层网络的结构，第一次从理论研究转入工程现实阶段，从工程角度出发，研究了用信息处理神经网络模型。BernardWidrow和MarcianHoff(1962)提山了一种连续取值的线性加权求和阈值网络，即自适应线性元件网络，也可以看成是感知器的变形，它成功地应用于自适应信号处理和雷达天线控制等连续可调过程。他们在人工神经网络理论上创造了一种被人们熟知的Widrow．Hoff学习训练算法，并用硬件电路实现人工神经网络方面的工作．为今天用大规模集成电路实现神经网络计算机奠定了基础(袁曾任，1999)。(2)低潮阶段MarbinMinsky和SeymourPapert(1969)出版了一本名为《感知器》的专著，书中指出线性感知器功能是有限的，简单的神经网络只能进行线性分类和求解一阶谓词问题，而一不能进行非线性分类和解决比较复杂的高阶谓词问题(韩力群，2002)。他还指出，与高阶谓词问题相应的应该是具有隐含单元的多层神经网络。在当时的技术条件下，他们认为在加隐含单元后，想找到一个多层网络的有效学习算法是极其困难的。对神经网络的研究及其发展产生了恶劣的影响，有些学者把研究兴趣转移到人工智能和数字计算机有关的理论和应用方面。这样，推动了人工智能的发展，使它占了主导地位。美国在此后15年里从未资助神经网络研究课题，前苏联有关研究机构也受到感染，终止了已经资助的神经网络研究的课题。虽然从事神经网络研究的人员和发表的论文大幅度减少，但仍然有学者继续进行研究。美国波士顿大学自适应中心的StephenGrossberg和Carpenter(1969)提出了著名的自适应共振理论模型，其中论述到，若在全部神经结点中有一个节点特别兴奋．其周围的所有结点将受到抑制。(3)复苏阶段在20世纪70年代后，虽然神经网络研究仍然处于低潮时期，但是有不少科学家在极其困难的条件下坚持不懈地研究，提出了各种不同的网络模型。日本学者KunihikoFukushima(1970)研究了视觉系统的空间和时空的人工神经系统模型以及脑的空间和时空的人工神经系统模型，提出了神经认识网络理论。Fukushima网络包括人上神经认识机和基于人工神经认识机的有选择注意力的识别两个模型。芬兰的T.Kohonen(1972)教授提出了自组织映射理论，并称神经网络结构为“联想存储器”。同一时期，美国生理和心理学家J.Anderson提出另一个类似的神经网络,称为“交互存储器”。他们在网络结构、学习算法和传递函数方面的技术几乎完全相同。T．Kohonen的自组织映射模型是一种无导师学习网络，主要刚于模式识别和分类、语言识别等场合。随后还研究出了联想记忆网络。T．Kohonen主要是针对网络结构与训练算法的生物仿真模型的研究。TerrenceSejnowski和Hinton、Ackley(1984)用统计物理学的概念和方法研究神经网络，提出了波尔兹曼机，首次采用了多层网络的学习算法，并用模拟退火过程来模拟外界环境。它的拓扑结构与一般两层前馈网络相似，其运行过程也与BP算法的感知器相类似，但学习算法不同。美国加州理工学院物理学家JohnJHopfield教授(1982)发表的一篇具有里程碑性的论文，他提出一种递归网络——Hopfield网络，将网络作为一个动态系统，引入能量函数训练该系统，使网络稳定性的研究有了明确的判据，并证明了一个互连单元的神经网路系统将达到能量损耗最小的原理，也就是说，系统地动态性保证稳于某个极小值。若将约束和指标考虑到适当形式的能量函数中，则可利用Hopfield网络的神经计算能力来解决约束优化问题，从而开辟了神经网络用于联想记忆和优化计算的新途径。Hopfield还指出，神经动态方程可以用运算放大器来实现(韩力群，2002)。(4)新高潮阶段1987年6月在美国胜地亚哥召开了第一届国际神经网络学术会议，宣告了国际神经网络协会正式成立。会上不但宣告了神经网络计算机学科的诞生，而且还展示了有关公司、大学所开发的神经网络计算机方面的产品和芯片，掀起了人类向生物学习、研究和开发及应用神经网络的新热潮(周开利，2005)。在这之后，每年都要召开神经网络和神经计算机的国际性和地区性会议，促进神经网络的研制、开发和应用。美国波士顿大学的StephenOrossberg教授、芬兰赫尔辛基技术大学的TenvoKohonen教授及日本东京大学的甘利俊教授，首次创办了世界第一份神经网络杂志。接着国际电气工程师与电子工程师学会相继也成立了神经网络协会，予1990年3月出版神经网络会刊。从此以后浦现出各种神经网络的期刊，将神经网络的研究与开发推向新的热潮。(5)新发展阶段从神经网络的发展历程来看，它的高潮阶段是很容易度过的。IJCN91大会主席Rumelhart意识到这一点，在他的开幕词中有一个观点，神经网络的发展已剑了一个转折的时期，它的范围正在不断地扩大，其应用领域几乎包括各个方面。90年代初，对神经网络的发展产生了很大的影响是诺贝尔奖获得者Edelamn提出了Darwinism模型。他建立了一种神经网络系统理论，例如，Darwinism的结构包括Dawin网络和Nallance网络，并且这两个网络是并行的，而他们又包含了不同功能的一些子网络。他采用了Hebb权值修正规则，当一定的运动刺激模式作用后，系统通过进化，学会扫描和跟踪目标。Narendra和Parthasarathy(1990年)提出了一种推广的动态神经网络系统及其连接权的学习算法，它可表示非线性特性，增强了鲁棒性。他们给出了一种新的辨识与控制方案，以multilayer网络与recarrent网络统一的模型描述非线性动态系统，并提出了动态BP参数在线调节方法。Bulsari(1993年)提出以乘积函数作为激发函数，给出了非线性系统用神经网络逼近的构造描述，得到了节点数目的一个上界估计。从上述各个阶段发展历程来看，神经网络理论有较强的数学性质和生物学特性，尤其是神经科学、心理学和认识科学等方面提出一些重大问题，是向神经网络理论研究的新挑战，因而也是它发展的最大机会。第三章神经网络的基本原理单层感知器模型是BP神经网络的结构基础，它试图模拟人脑神经元记忆、学习和认知的过程，采用阈值激活函数对一组输入向量的响应达到0或1的目标输出。人脑神经元的形态各异，但有共性的组织结构，下图是典型神经元的基本结构与其他神经元发生连接的基本结构示意图。神经网络结构示意图神经元在结构上由细胞体、树突、轴突和突触四部分组成。细胞体由细胞核、细胞质和细胞膜等组成。树突是精致的管状延伸物，是细胞体向外延伸山的许多较短的分支，围绕细胞体形成灌木丛状，他们的作用是接受来自四面八方传入的神经冲击信息，相当于细胞的“输入端”，信息流从树突出发，经过细胞体，然后由轴突传出。轴突是由细胞体向外伸出的最长的一条分支，形成一条通路，信号能经过此通路从细胞体长距离地传送到脑神经系统的其他部分。其相当于细胞的“输出端”。1943年心理学家McCelland和数学家W．Pitts在分析人脑神经系统结构的基础上，提出MP模型。该模型经过不断改进，形成现在的BP神经元模型。构成BP神经元模型的三要素是：(1)具有一组突触或连接。常用ij表示神经元i和神经元j之间的连接强度，即权值。(2)具有反映生物神经元时空整合功能的输入信号累加器。(3)具有一个激励函数朋丁限制神经元输出。通