神-经-网-络-综-述

神经网络综述摘要作为一门活跃的边缘性交叉学科，神经网络的研究与应用正成为人工智能、认识科学、神经生理学、非线性动力学等相关专业的热点。近十几年来，针对神经网络的学术研究大量涌现，它们当中提出上百种的神经网络模型，其应用涉及模式识别﹑联想记忆、信号处理、自动控制﹑组合优化﹑故障诊断及计算机视觉等众多方面，取得了引人注目的进展。关键词：神经网络，研究与应用，发展引言人类关于认知的探索由来已久。早在公元前400年左右，希腊哲学家柏拉图（Plato）和亚里士多德（Asidtole）等，就曾对人类认知的性质和起源进行过思考，并发表了有关记忆和思维的论述。在此及以后很长的一段时间内，由于科学技术发展水平所限，人们对人脑的认识主要停留在观察和猜测的基础之上，缺乏有关人脑内部及其工作原理的科学依据，因而进展缓慢。直到20世纪40年代，随着神经解剖学、神经生理学以及神经元的电生理过程等的研究取得突破性进展，人们对人脑的结构、组成及最基本工作单元有了越来越充分的认识，在此基本认识的基础上，以数学和物理方法以及信息处理的角度对人脑神经网络进行抽象，并建立简化的模型，称为人工神经网络ANN（ArtificialNeuralNetwork），为叙述方便将人工神经网络直接称之为神经网络。1神经网络的定义目前，关于神经网络的定义尚不统一，按美国神经网络学家HechtNielsen的观点，神经网络的定义是：“神经网络是由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算机系统，该系统靠其状态对外部输入信息的动态响应来处理信息”。综合神经网络的来源﹑特点和各种解释，它可简单地表述为：人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。2神经网络的基本模型人工神经元的研究源于脑神经元学说，19世纪末，在生物、生理学领域，Waldeger等人创建了神经元学说。人们开始认识到，复杂的神经系统是由数目繁多的神经元组合而成。神经元由细胞及其发出的许多突起构成。细胞体内有细胞核，突起的作用是传递信息。作为引入输入信号的若干个突起称为“树突”或“晶枝”(dendrite)，而作为输出端的突起只有一个称为“轴突”(axon)。树突是细胞体的延伸部，它由细胞体发出后逐渐变细，全长各部位都可与其它神经元的轴突末稍相互联系，形成所谓“突触”(synapse)。突触可分为兴奋性与抑制性两种类型，它相应于神经元之间耦合的极性。每个神经元的突触数目有所不同，最高可达105个，各神经元之间的连接强度和极性有所不同，并且都可调整，基于这一特性，人脑具有存储信息的功能。对于这样一种多输入、单输出的基本单元可以进一步从生物化学、电生物学、数学等方面给出描述其功能的模型。从信息处理观点考察，为神经元构作了各种形式的数学模型。利用大量神经元相互连接组成的人工神经网络，将显示出人脑的若干特征，人工神经网络也具有初步的自适应与自组织能力。同一网络因学习方式及内容不同可具有不同的功能。人工神经网络是一个具有学习能力的系统，可以发展知识，以至超过设计者原有的知识水平。通常，它的学习(或训练)方式可分为两种，一种是有监督(supervised)或称有导师的学习，这时利用给定的样本标准进行分类或模仿；另一种是无监督(unsupervised)学习或称无导师学习，这时，只规定学习方式或某些规则，而具体的学习内容随系统所处环境(即输入信号情况)而异，系统可以自动发现环境特征和规律性，具有更近似于人脑的功能。3人工神经网络的特性人工神经网络与人脑以及冯·诺依曼计算机相比有如下特点：1）大规模并行处理人脑神经元之间传递脉冲信号的速度远低于冯·诺依曼计算机的工作速度，前者为毫秒量级，后者的时钟频率通常可达108Hz或更高的速率。但是，由于人脑是一个大规模并行与串行组合处理系统，因而在许多问题上可以做出快速判断、决策和处理，其速度可以远高于串行结构的冯·诺依曼计算机。人工神经网络的基本结构模仿人脑，具有并行处理的特征，可以大大提高工作速度。2）分布式存储人脑存储信息的特点是利用突触效能的变化来调整存储内容，也即信息储存在神经元之间连接强度的分布上，存储区与运算区合为一体。虽然人脑每日有大量神经细胞死亡，但不影响大脑的功能，局部损伤可能引起功能衰退，但不会突然丧失功能。冯·诺依曼计算机具有相互独立的存储器和运算器，知识存储与数据运算互不相关，只有通过人的编程给出指令使之沟通，这种沟通不能超越程序编写者的预想。元件的局部损伤或程序中的微小错误都可能引起严重的失常。3）自适应(学习)过程人类大脑有很强的自适应与自组织特性。后天的学习与训练可以开发许多各具特色的活动功能。如盲人的听觉和触觉非常灵敏，聋哑人善于运用手势，训练有素的运动员可以表现出非凡的运动技巧等等。冯·诺依曼计算机强调程序编写，系统的功能取决于程序给出的知识和能力。显然，对于上述智能活动要加以总结并编制程序将十分困难。人工神经网络也具有初步的自适应与自组织能力。在学习和训练过程中改变突触权重值，以适应周围环境的要求。同一网络因学习方式及内容不同可具有不同功能。人工神经网络是一个有学习能力的系统，可以发展知识，以致超过设计者原有的知识水平。4人工神经网络的基本功能人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。因此，它在功能上具有某些智能特点。1）联想记忆功能由于神经网络具有分布存储信息和并行计算的性能，因此它具有对外界刺激和输入信息进行联想记忆的能力。这种能力是通过神经元之间的协同结构及信息处理的集体行为而实现的。神经网络通过预先存储信息和学习机制进行自适应训练，可以从不完整的信息和噪声干扰中恢复原始的完整的信息。这一功能使神经网络在图像复原﹑语音处理﹑模式识别与分类方面具有重要的应用前景。2）分类与识别功能神经网络对外界输入样本有很强的识别与分类能力。对输入样本的分类实际上是在样本空间找出符合分类要求的分割区域，每个区域内的样本属于一类。3）优化计算功能优化计算是指在已知的约束条件下，寻找一组参数组合，使该组合确定的目标函数达到最小。将优化约束信息（与目标函数有关）存储于神经网络的连接权矩阵之中，神经网络的工作状态以动态系统方程式描述。设置一组随机数据作为起始条件，当系统的状态趋于稳定时，神经网络方程的解作为输出优化结果。优化计算在TSP及生产调度问题上有重要应用。4）非线性映射功能在许多实际问题中，如过程控制﹑系统辨识﹑故障诊断﹑机器人控制等诸多领域，系统的输入与输出之间存在复杂的非线性关系，对于这类系统，往往难以用传统的数理方程建立其数学模型。神经网络在这方面有独到的优势，设计合理的神经网络通过对系统输入输出样本进行训练学习，从理论上讲，能够以任意精度逼近任意复杂的非线性函数。神经网络的这一优良性能使其可以作为多维非线性函数的通用数学模型。如小脑模型神经网络在线辨识算法，就是一种典型的非线性映射。5人工神经网络的应用领域1988年，在Darpa的“神经网络研究报告”中列举了各种神经网络的应用。其中第一个应用就是大约在1984年的自适应频道均衡器。这个设备在商业上取得了极大的成功。它用一个单神经元网络来稳定电话系统中长距离传输的声音信号。Darpa报告还列出了其它一些神经网络在商业领域的应用，如单词识别器﹑过程监控器﹑声纳分类器﹑风险分析系统等。目前神经网络的应用领域正在不断扩大，它不仅可以广泛应用于工程﹑科学和数学领域，也可广泛应用于医学﹑商业﹑金融甚至于文学领域。1）信息领域神经网络作为一种新型智能信息处理系统，其应用贯穿信息的获取﹑传输﹑接收与加工利用等各个环节。①信号处理②模式识别③数据压缩2）自动化领域20世纪80年代以来，神经网络和控制理论相结合，发展为自动控制领域的一个前沿学科――神经网络控制。它是智能控制的一个重要分支，为解决复杂的非线性﹑不确定﹑不确知系统的控制问题开辟了一条新的途径。神经网络用于控制领域，已取得了以下主要进展。①系统辨识②神经控制器③智能监测3）工程领域20世纪80年代以来神经网络的理论研究已在众多的工程领域取得了丰硕的应用成果。①汽车工程②军事工程③化学工程④水利工程⑤制造工程⑥航空航天工程⑦气象工程4）医学领域①检测数据分析②生物活性研究③医学专家系统④生物信息学5）经济领域①信贷分析②市场预测6人工神经网络发展展望经过近半个世纪的发展，神经网络理论在模式识别、自动控制、信号处理、辅助决策、人工智能等众多研究领域取得了广泛的成功。关于学习、联想和记忆等具有智能特点过程的机理及其模拟方面的研究正受到越来越多的重视。目前神经网络研究与发展主要集中在以下几个方面：1）神经生理学、神经解剖学研究的发展通过神经网络研究的发展，我们对人脑一些局部功能的认识已经有所提高，如对感知器的研究，对视觉处理网络的研究，对存储与记忆问题的研究等都取得一定的成功，但遗憾的是，这些成功一方面还远不够完善，另一方面，在对人脑作为一个整体的功能的解释上还几乎起不上任何帮助。科学家已经积累了大量关于大脑组成、大脑外形、大脑运转基本要素等知识，但仍无法解答有关大脑信息处理的一些实质问题。整体功能决不是局部功能的简单组合而是一个质的飞跃，人脑的知觉和认知等过程是包含着一个复杂的动态系统中对大量神经元活动进行整合的统一性行动。由于我们对人脑完整工作过程几乎没有什么认识，连一个稍微完善的令人可以接受的假设也没有，这造成神经网络研究始终缺乏一个明确的大方向。这方面如果不能有所突破，神经网络研究将始终限于模仿人脑局部功能的缓慢的摸索过程当中，而难以达到研究水平的质的飞跃。2）与之相关的数学领域的研究与发展神经元的以电为主的生物过程在认识上一般采用非线性动力学模型，其动力学演变过程往往是非常复杂的，神经网络这种强的生物学特征和数学性质，要求有更好的数学手段。而我们知道，对解决非线性微分方程这样的问题，稍微复杂一些的便没有办法利用数学方法求得完整的解。这使得在分析诸如一般神经网络的自激振荡、稳定性、混沌等问题时常常显得力不从心，更不用说，当我们面对人脑这样的由成千上万个神经元网络子系统组成的巨系统，而每个子系统（具有某种特定功能）又可能由成千上万个神经元组成，每个神经元本身是一个基本的非线性环节。因此可以认为，当今神经网络理论的发展，已经客观要求有关数学领域必须有所发展，并大胆预期一种更简洁、更完善和更有效的非线性系统表达与分析的数学方法是这一领域数学发展的主要目标之一。3）神经网络应用的研究与发展从神经网络发展过程来看，理论研究经常走在前列，有时会超出实际使用阶段。虽然说理论研究和实际应用可以相辅相成，但实际需求总是科技发展的主要推动力。目前，在神经网络实用上，虽然有不少实际应用成果报道，如智能控制﹑模式识别﹑机器人控制及故障诊断等。但真正成熟的应用还比较少见。4）神经网络硬件的研究与发展要真正实现神经网络计算机，则神经网络芯片设计与生产技术必须有实质性的进展。目前，在单片上集成数百个神经元的制作技术已经没有困难，但这种水平与神经网络实际应用的要求尚有较大距离。神经网络硬件设计和理论研究相比，要落后很多。因此，这也是神经网络研究发展的重要方向之一。在这方面，光学技术是实现神经网络及神经计算机的一个比较理想的选择。因为光学技术具有非常好的固有特性，主要体现在：高驱动性﹑较高的通信带宽﹑以光速并行传递信息等。虽然光学神经计算机实现技术目前还不成熟，其商品化大规模实现还有待时日，但一些光学神经元器件﹑光电神经计算机研究已表现出广阔的发展和应用潜力，并引起相应领域的充分关注。5）新型神经网络模型的研究为了推动神经网络理论的发展，除了期待神经生理学等研究突破外，将神经网络与其他理论交叉结合，研究新型神经网络模型，也是神经网络研究发展方向之一。如将之与混沌理论相结合产生的混沌神经网络理论；再如将量子力学与神经网络的结合，研究量子神经网络，实现功能强大的量子神经计算就是目前神经网络研究的热点之一。人工神经网络的研究涉及相当广泛的应用数学工具，除线性代数﹑集合论﹑微分与差分方程﹑状态空间及数值分析等基本方法外，往往需要运用非线性动态系统稳定性理论