人工神经网络论文

人工神经网络及其应用1.人工神经网络发展前景人工神经网络（ArtificialNeuralNetworks，NN）是由大量的、简单的处理单元（称为神经元）广泛地互相连接而形成的复杂网络系统，它反映了人脑功能的许多基本特征，是一个高度复杂的非线性动力学系统。神经网络具有大规模并行、分布式存储和处理、自组织、自适应和自学习能力，特别适合处理需要同时考虑许多因素和条件的、不精确和模糊的信息处理问题。神经网络的发展与神经科学、数理科学、认知科学、计算机科学、人工智能、信息科学、控制论、机器人学、微电子学、心理学、微电子学、心理学、光计算、分子生物学等有关，是一门新兴的边缘交叉学科。神经网络具有非线性自适应的信息处理能力，克服了传统人工智能方法对于直觉的缺陷，因而在神经专家系统、模式识别、智能控制、组合优化、预测等领域得到成功应用[2]。神经网络与其他传统方法相组合，将推动人工智能和信息处理技术不断发展。近年来，神经网络在模拟人类认知的道路上更加深入发展，并与模糊系统、遗传算法、进化机制等组合，形成计算智能，成为人工智能的一个重要方向。1.1人工神经网络的研究背景和意义人工神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应[5]。人工神经网络就是模拟人思维的一种方式，是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。近年来通过对人工神经网络的研究，可以看出神经网络的研究目的和意义有以下三点：（1）通过揭示物理平面与认知平面之间的映射，了解它们相互联系和相互作用的机理，从而揭示思维的本质，探索智能的本源。（2）争取构造出尽可能与人脑具有相似功能的计算机，即神经网络计算机。（3）研究仿照脑神经系统的人工神经网络，将在模式识别、组合优化和决策判断等方面取得传统计算机所难以达到的效果。人工神经网络特有的非线性适应性信息处理能力，克服了传统人工智能方法对于直觉，如模式、语音识别、非结构化信息处理方面的缺陷，使之在神经专家系统、模式识别、智能控制、组合优化、预测等领域得到成功应用。人工神经网络与其它传统方法相结合，将推动人工智能和信息处理技术不断发展。近年来，人工神经网络正向模拟人类认知的道路上更加深入发展，与模糊系统、遗传算法、进化机制等结合，形成计算智能，成为人工智能的一个重要方向，将在实际应用中得到发展。将信息几何应用于人工神经网络的研究，为人工神经网络的理论研究开辟了新的途径。神经计算机的研究发展很快，已有产品进入市场。光电结合的神经计算机为人工神经网络的发展提供了良好条件。1.2神经网络的发展与研究现状1.2.1神经网络的发展神经网络起源于20世纪40年代，至今发展已半个多世纪，大致分为三个阶段【7】。1）20世纪50年代-20世纪60年代：第一次研究高潮自1943年M-P模型开始，至20世纪60年代为止，这一段时间可以称为神经网络系统理论发展的初期阶段。这个时期的主要特点是多种网络的模型的产生与学习算法的确定。2）20世纪60年代-20世纪70年代：低潮时期到了20世纪60年代，人们发现感知器存在一些缺陷，例如，它不能解决异或问题，因而研究工作趋向低潮。不过仍有不少学者继续对神经网络进行研究。Grossberg提出了自适应共振理论；Kohenen提出了自组织映射；Fukushima提出了神经认知网络理论；Anderson提出了BSB模型；Webos提出了BP理论等。这些都是在20世纪70年代和20世纪80年代初进行的工作。3）20世纪80年代-90年代：第二次研究高潮进入20世纪80年代，神经网络研究进入高潮。这个时期最具有标志性的人物是美国加州工学院的物理学家JohnHopfield。他于1982年和1984年在美国科学院院刊上发表了两篇文章，提出了模拟人脑的神经网络模型，即最著名的Hopfield模型。Hopfield网络是一个互连的非线性动力学网络，它解决问题的方法是一种反复运算的动态过程，这是符号逻辑处理方式做不具备的性质。20世纪80年代后期到90年代初，神经网络系统理论形成了发展的热点，多种模型、算法和应用被提出，研究经费重新变得充足，使得研究者们完成了很多有意义的工作。1.2.2神经网络的现状进入20世纪90年代以来，神经网络由于应用面还不够宽，结果不够精确，存在可信度问题，从而进入了认识与应用研究期。1）开发现有模型的应用，并在应用中根据实际运行情况对模型、算法加以改造，以提高网络的训练速度和运行的准确度。2）充分发挥两种技术各自的优势是一个有效方法。3）希望在理论上寻找新的突破，建立新的专用/通用模型和算法。4）进一步对生物神经系统进行研究，不断地丰富对人脑的认识。1.3神经网络的研究内容和目前存在的问题1.3.1神经网络的研究内容神经网络的研究内容相当广泛，反映了多科学交叉技术领域的特点。目前，主要的研究工作集中在以下四方面[6]：（1）生物原型研究：从生理学、心理学、解剖学、脑科学、病理学生物科学方面研究神经细胞、神经网络、神经系统的生物原型结构及其功能机理。（2）建立理论模型：根据生物圆形的研究，建立神经元、神经网络的理论模型，其中包括概念模型、知识模型、物理化学模型、数学模型等。（3）网络模型与算法研究：在理论模型研究的基础上构成具体的神经网络模型，以实现计算机模拟或准备制作硬件，包括网络学习算法的研究。这方面的工作也称为技术模型研究。（4）神经网络应用系统：在网络模型与算法研究的基础上，利用神经网络组成实际的应用系统，例如，完成某种信号处理或模式识别的功能、构成专家系统、制成机器人等。1.3.2神经网络研究目前存在的问题人工神经网络的发展具有强大的生命力。当前存在的问题是智能水平还不高，许多应用方面的要求还不能得到很好的满足；网络分析与综合的一些理论性问题还未得到很好的解决。例如，由于训练中稳定性的要求学习率很小，所以梯度下降法使得训练很忙动量法因为学习率的提高通常比单纯的梯度下降法要快，但在实际应用中还是很慢[7]。针对千变万化的应用对象，各类复杂的求解问题，编制一些特定的程序、软件求解，耗费了大量的人力和物力。而这些软件往往只针对某一方面的问题有效，并且在人机接口、用户友好性等诸多方面存在一定的缺陷。在微机飞速发展的今天，很多都已不能满足发展的需要。2.人工神经网络种类及其应用领域2.1人工神经网络种类2.1.1小波神经网络小波神经网络是20世纪90年代初结合小波分析理论和神经网络两者的优点而提出的一种前馈型神经网络。其基本思想是用小波元代替神经元，通过仿射变换建立起小波变换与网络系数之间的连接，并应用于逼近L(Rn)中的函数f(x)。结合小波变换良好的时频局域化性质和传统神经网络的自学习功能，使得小波神经网络具有如下特点：小波基元及整个网络的确定有可靠的理论依据，可以避免BP网络等结构设计的盲目性；网络权系数和学习目标函数的凸性，使网络从根本上避免了局部最优等非线性化问题；有较强的函数学习能力和推广能力。小波分析的基本思想是用一簇数去表示或逼近一函数或信号，这簇函数称为小波函数系。它是通过一母波(motherwavelet)函数的伸缩和平移构成的。小波神经网络由于把神经网络的自学习特性和小波的局部特性结合起来，具有自适应分辨性和良好的容错能力，因此特别适合应用在函数逼近、系统辩识、数据压缩等领域。但是，小波网络也还有待改进。例如在高维数据处理方面小波神经网络的研究还很少，这是由于多维小波理论构造比较复杂所决定的。所以小波网络的发展还取决于小波理论的进一步研究。智能研究的实践表明,单纯依赖某种理论和技术是不现实的。因此今后小波神经网络的研究应注意结合吸收模糊、分形、混沌、进化计算等交叉学科的研究成果,以开拓小波神经网络研究的更为广阔的前景。2.1.2模糊神经网络模糊神经网络这一新兴领域的开拓者应该归功为美国南加利福尼亚大学信号和图像处理研究所长B.kosko教授。1987年，B.kosko率先将模糊数学与神经网络相结合,提出了模糊神经网络的概念。在这之后短短的几年时间内，模糊神经网络的理论及应用获得了迅速的发展，各种新的模糊神经网络模型的提出以及与其相适应的学习算法的研究不仅加速了模糊神经网络理论的完善，而且在实际中得到了广泛的应用，其成果层出不穷。近年来，各种杂志、刊物发表了大量有关模糊神经网络的文献,IEEETranaonNeuralNetwork还出版了有关这方面的专辑，并涌现了不少的专著。模糊神经网络主要有三种结构(1)输入信号为普通变量,连接权为模糊变量；(2)输入信号为模糊变量,连接权为普通变量;(3)输入信号与连接权均为模糊变量。根据网型及学习算法中的点积运算是使用模糊逻辑运算(fuzzylogicoperations)还是使用模糊算术运算(fuzzyarithmeticoperations)，而分成常规型(regular)和混合型(hybrid)模糊神经网络。近年来,模糊神经网络的研究已取得了一些成果，主要体现在以下几个方面:(1)模糊系统与神经网络系统作为一般自适应模型无关估计的研究。我们所处理的任何过程与系统均可用激励与响应的映射来表征,即任何对象都可以用一自适应模型无关函数估计器特性来概述。神经网络作为一般函数估计器,已被广泛地适用于各种应用领域。模糊系统作度逼近一个紧致域上的任意连续函数,Wang利用Stone-Weiestrass定理证明了具有积推理、中心反模糊化、高斯型隶属函数的模糊系统也能以任意的精度逼近任一闭子集上的实连续函数。(2)利用神经网络对模糊控制规则的获取、细化等方面的研究。模糊控制器设计的关键就是模糊建模,然而经典方法都很难有效地辨识规则和细调隶属函数,对于专家难以表达的可采用聚类(或矢量量化)的方法从专家的行为特性中获取有用的启发知识。Kosko利用矢量量化对积空间进行聚类,以获得模糊规则。在专家知识无法用语言表达时,采用无导师的规则聚类算法从经验数据中获取知识是十分必要的，这就使得研究成功的规则获取算法成为目前模糊神经网络研究的重要方法之一。然后,还要利用实际目标系统对所获得的规则进行细化。(3)在神经网络学习算法中引入模糊控制技术的研究。传统的神经网络学习算法(特别是BP算法)存在学习周期长,甚至常常陷入局部极小值点的缺陷,为了加快学习速度，改善学习算法的性能，可以对网络的学习性能进行分析，利用获取适当的启发式知识来控制学习算法，在学习算法中引入模糊控制技术，就能动态地调整网络的学习过程,使传统的静态学习算法动态化,如Arabshahi等人给出的层状感知器的后向传播算法的模糊逻辑控制技术，Choi等人利用启发式知识的模糊逻辑控制器来调整传统神经网络训练中的网络参数,且将注意力集中在ART和BP的学习参数的控制中。近年来，国内有很多学者对于神经网络的训练算法进行了研究,主要集中在解决神经网络训练的快速性、全局优化技术和泛化能力上。王凌等提出了全局训练算法(IBPM)以及退火策略，李杰等对神经网络的泛化能力进行了研究。模糊神经网络融合了神经网络和模糊逻辑特点，它从提高神经网络的启发性、透明性和鲁棒性出发,将模糊化概念与模糊推理规则引入神经网络的神经元、连接权和网络学习中。模糊神经网络可以有效地发挥模糊逻辑与神经网络的各自优势,弥补各自的不足。正如模糊集合论创立者Zadeh教授在第6届IFAC世界大会中指出的那样，“工业过程软测量中模糊逻辑与神经网络的融合技术必将是今后发展的重点，它越来越受到学术界和工程界的广泛关注”。虽然目前国内外对模糊神经网络的研究较多，但绝大多数均集中于BP神经网络与模糊逻辑融合的模糊神经网络，由于BP网络本身存在的一些固有缺陷，造成了融合后的网络也存在着一些缺陷。这些缺陷主要有：学习收敛速度慢,容易陷入局部极小，实时学习能力差和泛化能力有待增强。因此，当前迫切需要根据工业过程实时控制的要求，进一步开拓研究新型模糊神经网络，并探讨其在工业过程