神经网络应用综述

人工神经网络应用综述一、引言人工神经网络是模仿生理神经网络的结构和功能而设计的一种信息处理系统。它从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络[1]。大量的人工神经元以一定的规则连接成神经网络，神经元之间的连接及各连接权值的分布用来表示特定的信息。神经网络分布式存储信息，具有很高的容错性。每个神经元都可以独立的运算和处理接收到的信息并输出结果，网络具有并行运算能力，实时性非常强。神经网络对信息的处理具有自组织、自学习的特点，便于联想、综合和推广。神经网络以其优越的性能应用在人工智能、计算机科学、模式识别、控制工程、信号处理、联想记忆等极其广泛的领域[2]。二、人工神经网络概述(一)定义：关于它的定义有很多种，而Hecht-Nielsen给出的神经网络定义最具有代表意义：神经网络是一种并行的分布式信息处理结构，它通过称为连接的单向信号通路将一些处理单元互连而成。每一个处理单元都有一个单输出到所期望的连接。每一个处理单元传送相同的信号即处理单元输出信号。处理单元的输出信号可以是任一种所要求的数学类型。在每一个处理单元中执行的信息处理在它必须完全是局部的限制下可以被任意定义，即它必须只依赖于处理单元所接受的输入激励信号的当前值和处理单元本身所存储记忆的值[3-5]。(二)基本原理：1、人工神经元模型神经元是人工神经网络的基本处理单元，是生物神经元的抽象、简化和模拟。抽象是从数学角度而言，模拟是以神经元的结构和功能而言。2、神经网络结构神经网络结构和工作机理基本上是以人脑的组织结构和活动规律为背景的，它反映了脑的某些基本特征，但并不是要对人脑部分的真正实现，可以说它是某种抽象、简化或模仿。如果将大量功能简单的形式神经元通过一定的拓扑结构组织起来，构成群体并行分布式处理的计算结构，那么这种结构就是人工神经网络，在不引起混淆的情况下，统称为神经网络。(三)人工神经网络的基本属性1、非线性：人脑的思维是非线性的，故人工神经网络模拟人的思维也应是非线性的。2、非局域性：非局域性是人的神经系统的一个特性，人的整体行为是非局域性的最明显体现。神经网络以大量的神经元连接模拟人脑的非局域性，它的分布存储是非局域性的一种表现。3、非定常性：神经网络是模拟人脑思维运动的动力学系统，它应按不同时刻的外界刺激对自己的功能进行修改，故而它是一个时变的系统。4、非凸性：神经网络的非凸性即是指它有多个极值，也即系统具有不只一个的较稳定的平衡状态，这种属性会使系统的演化多样化。三、人工神经网络模型模型(一)人工神经网络模型的分类1、按照网络的结构区分，则有前向网络和反馈网络。2、按照学习方式区分，则有教师学习和无教师学习网络。3、按照网络性能区分，则有连续型和离散性网络,随机型和确定型网络。4、按照突触性质区分，则有一阶线性关联网络和高阶非线性关联网络。5、按对生物神经系统的层次模拟区分[6]，则有神经元层次模型，组合式模型，网络层次模型，神经系统层次模型和智能型模型。通常人们较多地考虑神经网络的互连结构。神经网络有分层网络、层内连接的分层网络、反馈连接的分层网络、互连网络等4种互连结构[7]。(二)几种主要模型1、BP网络的数学模型一个典型的三层前馈型BP网络的拓扑结构如图所示。从结构上讲，三层BP网络是一个典型的前馈型层次网络，它被分为输入层LA，隐含层LB和输出层LC。同层节点间无关联，异层神经元间前向连接。其中，LA层含m个节点，对应于BP网络所感知的m个输入；LC层含有n个节字，与BP网络的n种输出相对应，LB层节点的数目可根据需要设置。BP网络是误差反向传播(BackPropagation)网络。误差反向传播神经网络模型有三层或多层构成，它是有导师学习。在学习时，需要输入一批学习样本，根据输入数据值和指定的算法，经过中间层转换函数的计算后，计算的结果与期望输出值比较，若没达到要求的精确度，则误差反向传播到各层神经元，并在反向传播过程中修正权值，再进行网络训练，直到达到要求的精确度为止。误差反向传播神经网络模型的输出仅由当前输入和权值决定，而与网络先前的输出状态无关[8]。2、Hopfield网络的数字模型1982年，美国加州工学院霍普菲尔特（Hopfield）教授发表了一篇对神经网络研究颇具影响的论文，提出了一种后来被人们称之为Hopfield网络的神经网络模型。Hopfield网络是由相同的神经元构成的单层，并且不具学习功能的自联想网络。这一模型是一个由N个节点全部互联网而构成的一个反馈型动态网络，由它可以实现联想记忆，并能进行优化问题求解，因而受到人们的高度重视。3、随机型BM网络BM网络是一种具有对称联接权的随机神经网络。从结构上讲，BM网络可看成写Hopfield网络的推广与变形。4、自适应共振神经网络模型（ART）自适应共振神经网络(AdaptiveResonanceTheory)是1976年由G.A.Carpenter和S.Grossbery提出的，它是一种能对任意序列输入模式产生的识别代码进行自动化的神经网络机构。四、人工神经网络在不同领域的应用(一)人工神经网络在信息领域中的应用在处理许多问题中，信息来源既不完整，又包含假象，决策规则有时相互矛盾，有时无章可循，这给传统的信息处理方式带来了很大的困难，而神经网络却能很好的处理这些问题，并给出合理的识别与判断。1、信息处理现代信息处理要解决的问题是很复杂的，人工神经网络具有模仿或代替与人的思维有关的功能，可以实现自动诊断、问题求解，解决传统方法所不能或难以解决的问题[9]。人工神经网络系统具有很高的容错性、鲁棒性及自组织性，即使连接线遭到很高程度的破坏，它仍能处在优化工作状态，这点在军事系统电子设备中得到广泛的应用。现有的智能信息系统有智能仪器、自动跟踪监测仪器系统、自动控制制导系统、自动故障诊断和报警系统等。2、模式识别模式识别是对表征事物或现象的各种形式的信息进行处理和分析，来对事物或现象进行描述、辨认、分类和解释的过程。该技术以贝叶斯概率论和申农的信息论为理论基础，对信息的处理过程更接近人类大脑的逻辑思维过程。现在有两种基本的模式识别方法，即统计模式识别方法和结构模式识别方法。人工神经网络是模式识别中的常用方法，近年来发展起来的人工神经网络模式的识别方法逐渐取代传统的模式识别方法。经过多年的研究和发展，模式识别已成为当前比较先进的技术，被广泛应用到文字识别、语音识别、指纹识别、遥感图像识别、人脸识别、手写体字符的识别、工业故障检测、精确制导等方面[10]。(二)人工神经网络在经济领域的应用1、市场价格预测对商品价格变动的分析，可归结为对影响市场供求关系的诸多因素的综合分析。传统的统计经济学方法因其固有的局限性，难以对价格变动做出科学的预测，而人工神经网络容易处理不完整的、模糊不确定或规律性不明显的数据，所以用人工神经网络进行价格预测是有着传统方法无法相比的优势。从市场价格的确定机制出发，依据影响商品价格的家庭户数、人均可支配收入、贷款利率、城市化水平等复杂、多变的因素，建立较为准确可靠的模型。该模型可以对商品价格的变动趋势进行科学预测，并得到准确客观的评价结果。2、风险评估风险是指在从事某项特定活动的过程中，因其存在的不确定性而产生的经济或财务的损失、自然破坏或损伤的可能性[11]。防范风险的最佳办法就是事先对风险做出科学的预测和评估。应用人工神经网络的预测思想是根据具体现实的风险来源，构造出适合实际情况的信用风险模型的结构和算法，得到风险评价系数，然后确定实际问题的解决方案。利用该模型进行实证分析能够弥补主观评估的不足，可以取得满意效果。(三)人工神经网络在控制领域中的应用人工神经网络由于其独特的模型结构和固有的非线性模拟能力，以及高度的自适应和容错特性等突出特征，在控制系统中获得了广泛的应用。其在各类控制器框架结构的基础上，加入了非线性自适应学习机制，从而使控制器具有更好的性能。基本的控制结构有监督控制、直接逆模控制、模型参考控制、内模控制、预测控制、最优决策控制等。(四)人工神经网络在交通领域的应用今年来人们对神经网络在交通运输系统中的应用开始了深入的研究。交通运输问题是高度非线性的，可获得的数据通常是大量的、复杂的，用神经网络处理相关问题有它巨大的优越性。应用范围涉及到汽车驾驶员行为的模拟、参数估计、路面维护、车辆检测与分类、交通模式分析、货物运营管理、交通流量预测、运输策略与经济、交通环保、空中运输、船舶的自动导航及船只的辨认、地铁运营及交通控制等领域并已经取得了很好的效果。五、人工神经网络的计算机实现(一)用软件在通用计算机上模拟神经网络在SISD（单指令流、单数据流，如经典个人计算机）、SIMD（单指令流、多数据流，如连接机制机器）或MIMD（多指令流、多数据流，如在Transputer网络上）结构的计算机上仿真。这种用软件实现神经网络的方法，灵活而且不需要专用硬件，但是基于此方法实现的神经网络计算机速度较慢，一般仅适合人工神经网络的研究，另一方面，它在一定程度上使神经网络计算机失去了它的本质，体现不出并行处理信息的特征[12]。(二)对神经网络进行功能上的仿真以多个运算单元节点进行运算，在不同时间模拟各异不同的神经元，串并行地模拟神经网格计算。换句话说，即用M个物理单位去模拟N个神经元，而MN。基于并行计算机和阵列机的神经网络虚拟实现，具有一定的通用性。虚拟实现的神经网络计算机主要可分为协处理机、并行处理机阵列及现有的并行计算机等。目前已经有多种产品及系统问世，包括MARKV神经计算机、GAPP系统、GFⅡ、基于Transputer系统以及基于DSP系统[13]。(三)利用全硬件实现1、基于通用处理器单元的计算机实现基于通用处理器单元的计算机实现采用一个处理器单元来实现一个或多个神经元。该方法需要多个处理器系统，一般只适用于小规模的神经网络，并且只适合运行特定的算法，开发周期长且性价比低。如：在BP神经网络的实现上文献[14]采用多片TMS32OC4ODSP处理器构成的并行系统来实现，文献[15]通过采用单DSP处理器配以相应的协处理器实现了BP算法。文献[16]中提出了采用多个简单的处理器单元配以相应的存储器构成Hopfield神经网络的方法。2、基于VLSI技术的实现方法基于VLSI技术的实现方法主要包括了模拟实现、数字实现和模数混合实现三种。1）采用模拟技术实现的人工神经网络，其突触和神经元电路简单，便于集成和与外界连接，具有集成芯片的面积小、速度快和功耗低等优点。但由于模拟电路对器件参数的变化敏感，使得权值的存储和修改存在困难。因此，该实现方式适用于结构己经固定的神经网络，不能用于实现神经网络的学习过程。如：文献[17]采用VLSI技术实现了HOPfield神经网络。而文献[18]是基于CMOS电路实现了RBF神经网络。2）神经网络的数字实现是目前的一个研究热点，该实现方式具有可靠性和精度高、灵活性强，易于更新和存储权值信息、便于与微机相连、实现串并行处理等优点。尽管在早期当神经网络规模较大时，VLSI技术会存在难度大、成本高等问题。但随着数字电子技术的发展，在国外已经出现了商业化的数字神经网络系统[19]，主要实现的神经网络有多层前馈网络、RBF网络等。大多的产品无法实现自适应的学习过程，而数据精度和速度、网络规模和突触个数也各不相同。由于这些产品都是针对不同的用户需求来设计的，不具有通用性。3）模数混合实现技术是神经网络的内部部分或全部采用模拟电流实现，外部的输入输出采用数字实现。比较典型的是贝尔实验室发明的ANNA（AnalogueNeuralNetworkAccelerator）模拟神经网络加速器[20]。ANNA由8个神经元共4096个突触组成，在数字神经网络状态信号控制下进行模拟运算，权值以动态模拟电压形式存储，需要周期性的刷新。六、人工神经网络的展望人工神经网络或许无法代替人类的大脑，但是它拓展了人们对外部环境的认识与控制能力。它特有的非线性适应性信息处理能力[21]，使之在智能控制、