BP神经网络的发展现状综述

山西电子技术©1994-2008ChinaAcademicJournalElectronicPublishingHouse.Allrightsreserved.神经网络的发展现状综述周政(太原市自来水公司技术处,山西太原030009)摘要:讨论目前人工神经网络领域中BP神经网络的特点、改进算法以及在实际中的应用。主要包括模式识别及分类、故障智能诊断、图像处理、函数拟合、最优预测等方面的应用。最后对目前人工神经网络的存在问题和发展前景做了初步探讨。关键词:神经网络;BP网络;应用;发展现状中图分类号:TP183文献标识码:A0引言人工神经网络(简称神经网络)具有复杂模式和进行联想、推理记忆的功能,它是解决某些传统方法所无法解决的问题的有力工具。目前,它日益受到重视,同时其他学科的发展,为其提供了更大的机会。1986年,Romelhart和Mc2clelland提出了误差反向传播算法(ErrorBackPropagationAlgorithm,简称BP算法),由于多层前馈网络的训练经常采用误差反向传播算法,人们也常把多层前馈网络称为BP网络。由于具有结构简单、工作状态稳定、易于硬件实现等优点,在众多的神经网络模型中,BP网络的应用最为广泛,尤其是在模式识别及分类、系统仿真、故障智能诊断、图像处理、函数拟合、最优预测等方面1。1BP网络的描述BP算法的基本思想是,学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时,输入样本从输图1BP网络模型Ok=f(netk)k=1,2,⋯,r(1)m入层传入,经各隐层逐层处理后,传向输出层。若输出层的实际输出与期望的输出(教师信号)不符,则转入误差的反向netk=6j=0wikyjk=1,2,⋯,r(2)传播阶段。误差反传是将输出误差以某种形式通过隐层向输入层逐层反传,并将误差分摊给各层的所有单元,从而获yj=f(netj)j=1,2,⋯,m(3)n得各层单元的误差信号,此误差信号作为修正各单元权值的依据。这种信号正向传播与误差反向传播的各层权值调整netj=6i=0其中转移函数:vijxij=1,2,⋯,m(4)过程,是周而复始地进行的。权值不断调整的过程,也就是网络学习训练过程。此过程一直进行到网络输出的误差减少到可接受的程度,或进行到预先设定的学习次数为止。BP网络模型中如图1所示的单隐层网络(三层前馈网)的应f(x)=11+e-x以上算式(1)～(5)为三层前馈网的数学模型。BP学习算法的权值调整计算公式为:(5)用最为普遍。主要包括输入层、隐层和输出层。Δwjk=ηδ0jkkkkj三层前馈网中,输入向量为X=(x1,x2,⋯,xi,⋯,ky=η(drΔvij=η(6δ0w-0)o(1-o)y)y(1-y)x(6)(7)xn)T,如加入x0=-1,可为隐层神经元引入阈值;隐层输出k=0kjkjji向量为Y=(y1,y2,⋯,yj,⋯,ym)T,如加入y0=-1,可为输出层神经元引入阈值;输出层输出向量为O=(o1,o2,⋯,ok,⋯or)T。期望输出向量为d=(d1,d2,⋯,dk,⋯dr)T。输入层到隐层之间的权值矩阵用V表示,V=(V1,V2,⋯,Vj,⋯Vm),其中列向量Vj为隐层第j个神经元对应的权向量;隐层到输出层之间的权值矩阵用W表示,W=(W1,W2,⋯,WK,⋯,Wr),其中列向量WK为输出层第k个神经元对应的权向量。它们之间的关系为:山西电子技术©1994-2008ChinaAcademicJournalElectronicPublishingHouse.Allrightsreserved.其中η∈(0,1),表示学习率。2BP网络存在的问题将BP算法用于具有非线性转移函数的三层前馈网络,可以以任意精度逼近任何非线性函数,这一非凡优势使三层前馈网络得到越来越广泛的应用。然而标准的BP算法在应用中暴露出不少内在的缺陷:1)易形成局部极小而得不到全局最优;2)训练次数多使得学习效率低,收敛速度慢;收稿日期:2007-11-22作者周政男40岁工程师©1994-2008ChinaAcademicJournalElectronicPublishingHouse.Allrightsreserved.期周政:BP神经网络的发展现状综述913)隐节点的选取缺乏理论指导;4)训练时学习新样本有遗忘旧样本的趋势。3目前有效改进算法由于传统的BP算法存在着以上问题,国内外已提出不少有效的改进算法:3.1增加动量项一些学者指出,标准BP算法在调整权值时,只按t时刻误差的梯度降方向调整,而没有考虑t时刻前的梯度方向,从而常使训练过程发生震荡,收敛缓慢。为了提高网络的训练速度,可以在权值调整公式中增加一动量项。3.2自适应调节学习率学习率也称为步长,在标准的BP算法定为常数,然而在实际应用中,很难确定一个从始至终都合适的最佳学习率。从误差曲面可以看出,在平坦区域内学习率太小会使训练次数增加,因而希望增大学习率;而在误差变化剧烈的区域,学习率太大会因调整量过大而跨过较窄的“坑凹”处,使训练出现震荡,反而使迭代次数增加。为了加速收敛过程,一个较好的思想是自适应改变学习率,使其该大时增大,该小时减小。3.3引入陡度因子误差曲面上存在着平坦区域。权值调整进入平坦区的原因是神经元输出进入了转移函数的饱和区。如果在调整进入平坦区域后,设法压缩神经元的净输入,使其输出退出转移函数的饱和区,就可以改变误差函数的形状,从而使调整脱离平坦区。实现这一思路的具体作法是在原转移函数中引入一个陡度因子。4BP网络的应用图2用于图像压缩编码的BP网将BP网络用于人脸识别,建立了人脸识别模型,通过对输入图像实行图像压缩、图像抽样及输入矢量标准化等图像预处理,将标准化矢量输入BP神经网络进行训练。BP网络用于人脸识别时,网络的每一个输入节点对应样本的一个特征,而输出节点数等于类别数,一个输出节点对应一个类。在训练阶段,如果输入训练样本的类别标点是i,则训练时的期望输出假设第i个节点为1,而其余输出节点均为0。在识别阶段,当一个未知类别样本作用到输入端时,考察各输出节点对应的输出,并将这个样本类别判定为具有最大值的输出节点对应的类别。如果有最大值的输出节点与其它节点之间的距离较小(小于某个阈值),则作出拒绝判断。经过竞争选择,获得识别结果。4.3故障诊断对于故障诊断而言,其核心技术是故障模式识别。而人工神经网络由于其本身信息处理特点,如并行性、自学习、自组织性、联想记忆等,使得能够出色地解决那些传统模式识别难以圆满解决的问题,所以故障诊断是人工神经网络的重要应用领域之一,已有不少应用系统的报道。总的说来,神经网络在诊断领域的应用研究主要集中在两个方面:一是从模式识别的角度应用作为分类器进行故障诊断,其基本思想是:以故障征兆作为人工神经网络的输入,诊断结果作为输出;二是将神经网络与其他诊断方法相结合而形成的混合诊3BP网络作为一种很重要的神经网络模型在许多领域都断方法。对用解析方法难以建立系统模型的诊断对象,人得到了应用。4.1图像压缩编码Ackley和Hinton等人提出了利用BP网络实现数据编码的基本思想。其原理是,把一组输入模式通过少量的隐层节点映射到一组输出模式,并使输出模式等同与输入模式。当中间隐层的节点数比输入模式维数少时,就意味着隐层能更有效地表现输入模式,并把这种表现传给输出层。在这个过程中,输入层和隐层的变换可以看成是压缩编码的过程;而隐层和输出层的变换可以看成是解码过程。用多层前馈网实现图象压缩时,只需一个隐层,网络结果如图2所示。输入层和输出层均含有n×n个神经元,每个神经元对应于n×n个图像分块中的一个像素。隐层神经元的数量由图像压缩比决定,如n=16时,取隐层神经元数为m=8,则可将256像素的图像块压缩为8像素。设用于学习的图像有N×N个像素,训练时从中随机抽取n×n图像块作为训练样本,并使教师模式和输入模式相等。通过调整权值使训练集图像的重建误差达到最小。训练后的网络就可以用来执行图像的数据压缩任务了,此时隐层输出向量便是数据压缩结果,而输出层的输出向量便是图像重建结果。4.2人脸识别对人脸识别是人类最伟大的视觉功能之一,神经网络受动物神经系统启发,利用大量简单处理单元互联而构成的复杂系统,以解决复杂模式识别和行为控制问题。文献2中©1994-2008ChinaAcademicJournalElectronicPublishingHouse.Allrightsreserved.工神经网络有着很好的研究和应用前景。4.4最优预测目前,前景预测已经成为许多行业不可避免的一个难题。由于预测涉及的因素很多,往往很难建立一个合理的模型。人工神经网络模拟人的大脑活动,具有极强的非线性逼近、大规模并行处理、自训练学习、容错能力以及外部环境的适应能力。所以利用人工神经网络进行预测已经成为许多项目首选的方法。目前利用BP网络进行预测的应用已经很多。例如,可以用来建立公共卫生事件监测与预警系统、旅游业趋势预测系统、物流预测系统、资源调度系统等方面。设计涉及训练样本集设计、网络结构设计和训练与测试三个方面。BP网络在应用于预测预报前,需要一个网络学习过程。其学习过程包括信息正向传播和误差反向传播两个反复交替的过程。网络根据输入的训练(学习)样本进行自适应、自组织,确定各神经元的连接权W和阈值,经过多次训练后,网络就具有了对学习样本的记忆和联想的能力。4.5分类早在20世纪50年代,研究人员就开始模拟动物神经系统的某些功能,他们采用软件或硬件的办法,建立了许多以大量处理单元为结点,处理单元间实现(加权值的)互联的拓扑网络,进行模拟。称之为人工神经网络。这种方法可以看作是对原始特征空间进行非线性变换,产生一个新的样本空间,使得变换后的特征线性可分。同传统统计方法相比,其分类器是与概率分布无关的。©1994-2008ChinaAcademicJournalElectronicPublishingHouse.Allrightsreserved.网络可以看成是输入到输出的高度非线性映射,即G:Rn→Rm,g(y)=x,对于样本集合,输入yi∈Rn、输出xi∈Rm,可以认为存在某一映射h,使h(yi)=xi(I=1,2,⋯,n)。现须求出映射g,通常在最小二乘意义下,g是h的最佳逼近。神经网络通过对简单的非线性函数进行数次复合,可近似任意复杂的函数或映射。5展望近年来,人工神经网络无论在理论研究上,还是在实际应用中,都取得了突飞猛进的发展。但必须清醒地认识到,人工神经网络只是对人脑的简单模拟,尚有许多问题有待解决。为了改善人工神经网络的应用,解决各学科中存在的大量不确定性和模糊性问题,可以采取以下3条途径:1)与专家系统相结合,实现符号处理与数值处理相结合,使知识的提取、存储、推理和解释更接近人脑;2)把不同类型的人工神经模型以不同形式组合在一起,构成一个新的综合性人工神经系统;3)将模糊数学、数理逻辑、拓扑数学等结合到人工神经网络的学习规则中,使其具有求解不确定性、模糊性和似然性推理等问题的能力。此外,研究人工神经网络硬件芯片以提高运行速度也是有待解决的重要问题。随着大规模集成电路、光学与分子器件的发展、人工神经计算机的研制,人工神经网络必将会得到越来越广泛的应用和迅猛发展。参考文献1韩力群.人工神经网络理论、设计及应用M.北京:化学工业出版社,2004.2甘俊英,张有为.基于BP神经网络的人脸识别J.系统工程与电子技术,2003,25(1).3林康红,施惠昌,卢强,等.基于神经网络的传感器非线性误差校正J.传感器技术,2002,21(1).SurveyofCurrentProgressinBPNeuralNetworkZhouZheng(T