神经网络技术综述

神经网络技术综述1引言人工神经网络(ArtificialNeuralNetwork，ANN)简称为神经网络〔NN)，是由大量的神经处理单元广泛地相互连接而形成的复杂网络，它是从微观结构和功能上对人脑的简化、抽象和模拟。它具有大规模并行模拟处理、连续时间动力学和网络全局等特点，可以大大提高工作速度。信息的存储体现在神经元之间连接的分布上神经网络有很强的自适应和学习能力、鲁棒性和容错能力，从而可以替代复杂的传统算法，使信号处理更接近于人类的思维活动。神经网络的研究涉及众多学科领域，这些领域互相结合、相互渗透并相互推动。早在本世纪四十年代，人们己经开始了人工神经网络的研究工作。1943年，心理学家McCulloch和数学家Pitts一起提出了神经元模型(MP模型)，神经网络科学的研究从此开始。1957年，Rosenblatt设计出感知器，第一次把神经网络的研究付诸工程实现。我国关于神经网络的研究起步于八十年代后期，1989年10月在北京召开了一个非正式的神经网络会议。1987年6月在美国圣地亚哥召开了第一届世界神经网络会议，标志着神经网络在世界范围内形成高潮。美国国防部预研计划管理局于1988年11月开始一项投资达数亿美元的发展神经网络及其应用研究的计划，并将基于神经网络的自动目标识别、声纳信号处理、语音识别、地震勘探信号处理等作为为研究的重中之重，并认为这些是最有前景并能取得重大突破的应用领域。目前，我国实施的有关自然科学基金重大项目也将基于神经网络的智能信号处理作为重点研究内容。日本、法国、加拿大等国家也制订了相应计划发展神经网络，并将神经网络在信号处理的应用研究作为重点研究方向。2．神经网络的基本特征及模型人工神经网络是由许多简单处理单元组成的网络，每个处理单元可能有一定量的局部存储器；单元间由通信通道相连，通信通道上载有数据以用于不同的目的；这种单元只对局部数据和由通信通道传来的输入进行操作，而在人工神经网络的训练中这种限制往往被放松。2.1神经网络的基本特征神经网络之所以受到人们的重视，主要是因为它具有如下特点：1）学习能力。学习能力是神经网络具有智能的重要表现，即通过训练课抽象出训练样本的主要特征，表现出强大的自适应能力。2）分布式。在传统的串行运行体系计算机中，信息分布在独立的存储单元中，任何部分内存的损坏都将导致整个信息的无效。而神经网络中，信息则分散分布在神经元的连接上，单个的连接权值和神经元都没有多大的用途，但它们组合起来，就能从宏观上反映出一定的信息特征。对个别神经元和连接权值的损坏，并不会对信息特征造成太大的影响，表现了神经网络强大的鲁棒性（受干扰时自动稳定的特性）和容错能力。在输入信号受到一定干扰时，输出也不会有较大的畸变。神经网络的信息分布特性，还使经过训练的神经网络具有强大的联想能力。3）并行性。神经网络是对人脑结构和功能的模拟，但更偏重对结构的模拟。各种神经元在处理信息时是各自独立的，它们分别接受输入，作用后产生输出。这种并行计算的处理使得它有可能用于适时快速处理信息，成为下一代智能计算机的基础。4）非线性。神经网络可有效地实现输入空间到输出空间的非线性映射。寻求输入到输出间的非线性关系模型，是工程界普遍面临的问题。对大部分无模型的非线性系统，神经网络都能很好地模拟。因此，神经网络成为非线性系统研究的重要工具。从上面几点可以看出，神经网络的优点，也正是传统的基于串行计算机的符号运算推理难以实现的。因此，神经网络受到重视是必然的。2.2神经网络的分类神经网络发展几十年来，形成了数十种网络，包括多层感知器，Kohomen自组织特征映射，Hopfield网络，自适应共振理论，ART网络，RBF网络，及近年来出现的小波神经网络，概率神经网络，小脑模型神经网络等。这些网络，由于结构不同，应用范围页各不相同。人工神经网络模型有两种分类方式。按照神经元的连接方式，神经网络可分为前馈型与反馈型两类。根据网络网络不同，神经网络又可分为连续性与离散型，确定型与随机型，静态与动态网络。按学习方式分，神经网络分为有导师的学习和无导师的学习。2.3神经网络的学习人工神经网络的功能特性由其连接的拓扑结构和突触连接强度，即连接权值决定。神经网络能够通过对样本的学习训练，不断改变网络的连接权值以及拓扑结构，以使网络的实际输出不断地接近所期望的输出。神经网络的学习方式改变权值的规则称为学习规则或学习算法。神经网络的学习算法一类是有导师学习，一类为无导师学习。有导师学习在学习训练过程中需要不断给网络成对提供一个输入模式和一个期望网络正确输出的模式，称为“导师信号”。当网络的输出与期望的教师信号不符时，则调整权值，能产生所期望的输出。无导师学习需要不断给网络提供动态输入信息，网络能根据自有的学习规则和这些输入信息调整权值。这种模式中，网络的权值调整不取决于外来教师信号的影响，网络的学习评价标准隐含于网络的内部。3人工神经网络的应用人工神经网络以其独特的结构和处理信息的方法，在自动控制、图像处理、模式识别、传感器信号处理、机器人控制、信号处理、焊接、地理、数据挖掘、电力系统、军事、交通、矿业、农业和气象等许多实际应用领域展现出了卓越性能。下面介绍几种常用神经网络的应用:3.1BP神经网络的应用BP网络的应用大体有分类、函数逼近、优化预测等方面。例如，心电图分类和胃电图分类，对函数的最小二乘逼近，对工业过程或自然科学数据的拟合，电力负荷或多媒体中信息流的预测等等[9]。尤其是对时间序列的预测更有实用价值，像国民经济和人口发展等计算都用BP网络来建模与拟合。由于BP网络较简单，因此在工业上得到广泛应用。在控制系统中,BP网络作为一个神经元控制部件，可以用于装置的控制系统或信息流控制系统中。BP网络的优点[10]:BP网络在分类与识别方面的性能优越，可以快速高效的对机械故障进行诊断，比传统的谱分析诊断技术效率大大提高型。存在的不足有:①网络的容错性和鲁棒性差,难以保证在线实时机械故障诊断、监测和预报的精准度。②BP算法的收敛速度较慢，且网络隐层节点个数的选取尚缺少统一而完整的理论[11]。3.2ART网络的应用ART网络在语音、图像、文字、识别等模式识别领域的应用广泛[12];在工业系统控制中也有应用，如用于故障检测、故障诊断、事故报警等复杂生产流程的质量控制;ART网络还可以应用与数据挖掘，从大量数据中搜索并发现稳定而有意义的模式。其优点是:聚类效果好、稳定性强、对于环境变化有良好的自适应能力、算法简单高效。不足之处:ART网络为确定合理的诊断模型和参数，网络结构须进一步学习和优化。3.3RBF网络的应用RBF神经网络已经成功地应用于函数近似、模式分类、系统建模、模式识别、信号处理等领域。RBF的优点是与其网络结构简单、非线性逼近能力强、收敛速度快以及全局收敛等优点。RBF在函数逼近方面还有许多方面需要进一步研究，特别是如何选取径向基函数的个数、中心仍是要深入研究的重要问题[13]。3.4Hopfield网络的应用Hopfield是一种反馈神经网络模型，具有在高度连接下的神经网络依靠集体协同能自发产生计算行为。其应用领域有图像识别，加工车间调度，电力系统最佳消耗计算，LSI优化布局，线性系统模型参数估计，最佳调节器设计，电磁场并行计算，并行运动估计等[14]。Hopfield网络的优点有：在线性规划问题中，霍普菲尔德回避了用纯数学方法(单纯形法)来研究该问题。在模数转化时，一旦硬件电路实现后，如果在输入端加入模拟电压值，那么在其几个神经元上立即(实时)地显示出所对应的输出数字信号。3.5模糊神经网络的应用模糊神经网络集合了模糊理论和神经网络的优点，由其独特的应用特性，是目前研究的热点之一。目前模糊神经网络在窑炉、工业机器人控制等领域应用较广[15]。其存在的问题有[16]:①自适应和自调整性能差，抗干扰能力弱，难以实现实时控制;②缺乏实用的开发平台，限制模糊神经网络的应用。4人工神经网络的发展与应用展望随着神经网络理论的不断深入发展，在信号处理、模式识别、自动控制、优化处理、人工智能等领域显示出优越性能越来越受重视。然而人工神经网络还存在缺点和不足，需进一步研究和发展的有以下几个方面:人工神经网络就是对人脑的模拟，随着神经网络研究的发展，人们对人脑部分功能的认识已有很大的提高，如视觉处理网络的研究，对存储与记忆问题的研究等都取得一定的成功。当神经网络理论的发展至今,已经客观要求有关数学领域必须有所发展，并大胆预期一种更简洁、更完善和更有效的非线性系统表达与分析的数学方法是这一领域数学发展的主要目标。制造技术与科学技术是相辅相成的，在科学技术不断推动制造技术发展的同时，制造技术也不断使科学技术加速发展。神经网络技术也要求神经网络制造技术的不断发展，因为目前在单片上集成上百个神经元已不能满足神经网络应用的要求要。因此，神经网络的芯片制造技术也是神经网络技术需要发展的一个方面。任何方法都有其局限性，为了推动神经网络理论的发展，除了神经网络理论本身要不断完善和发展，也要注重与其他科学的结合。如将量子力学、混沌理论等学科与神经网络技术相结合，这也将是神经网络技术发展的方面之一。5结束语经过半个多世纪的研究，神经计算目前已成为一门日趋成熟、应用面日趋广泛的学科。本文首先对人工神经网络的发展历史作了回顾，简要介绍了人工神经网络的结构和特性，详细阐述了常用几种网络的应用范围和优缺点。最后，对人工神经网络的发展和应用作了展望。人工神经网络以其独特的作用，随着各个方面的研究不断深入，其发展和应用空间必将日益广阔。参考文献[1]徐丽娜.神经网络控制［M］.北京：电子工业出版社，2003.[2]韩力群.人工神经网络理论、设计及应用[M].北京：化学工业出版社，2004[3]张乃尧，阎平凡.神经网络与模糊控制[M].北京：清华大学出版社，1998[4]王永骥，神经元网络控制[M].北京：机械工业出版社，1998[5]谢承泮，神经网络发展综述[J].科技情报开发与经济，2006,12（16）[6]周政BP神经网络的发展现状综述[J].山西电子技术，2008，2[7]李恒嵬，模糊神经网络研究现状综述[J]辽宁科技学院学报，2010，6（2）[8]吴新余.人工神经网络的研究与应用[J].电子工程师,1999,3:426.[9]柴燕茹,马岩.浅谈BP人工神经网络[J].学理论,2008,22:39240.[10]曲杨,宫爱玲.三种常用的人工神经网络[J].内江科技,2008,12:22223.[11]张新海,雷勇.BP神经网络在机械故障诊断中的应用[J].噪声与振动控制,2008,5:95297.[12]高晓红.ART神经网络的发展与应用[J].电脑知识与技术,2007(20):5092526.[13]郭风,王思选,催红军.基于RBF神经网络的航空发动机故障多断研究[J].航空计算技术,2007,2(37):23226.[14]郭鹏.Hopfield网络在优化计算中的应用[J].计算机仿真,2002(11):22225.[15]刘普寅.模糊神经网络理论研究综述[J].模糊系统与数学,1998(21):31233.[16]焦李成.神经网络系统理论[M].西安:西安科技大学出版社,1990.