BP神经网络概述

BP神经网络概述材科1303徐心怡0121301090747摘要：BP神经网络是误差反传误差反向传播算法的学习过程，由信息的正向传播和误差的反向传播两个过程组成。它是目前应用较多的一种神经网络结构。它能以任意精度逼近任意非线性函数，而且具有良好的逼近性能，并且结构简单，是一种性能优良的神经网络。理论研究的深入也促进多种对其的改进方法。关键字：BP网络模型算法缺点改进正文：BP神经网络是1986年提出的一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。1BP神经网络模型BP网络模型包括其输入输出模型、作用函数模型、误差计算模型和自学习模型。1.1节点输出模型隐节点输出模型：Oj=f(∑Wij×Xi-qj)输出节点输出模型：Yk=f(∑Tjk×Oj-qk)其中：f-非线形作用函数；q-神经单元阈值。1.2作用函数模型作用函数是反映下层输入对上层节点刺激脉冲强度的函数又称刺激函数，一般取为(0,1)内连续取值Sigmoid函数：f(x)=1/(1+e-x)1.3误差计算模型误差计算模型是反映神经网络期望输出与计算输出之间误差大小的函数：Ep=1/2×∑(tpi-Opi)2其中：tpi-i节点的期望输出值；Opi-i节点计算输出值。1.4自学习模型神经网络的学习过程，即连接下层节点和上层节点之间的权重拒阵Wij的设定和误差修正过程。BP网络有师学习方式-需要设定期望值和无师学习方式-只需输入模式之分。自学习模型为：△Wij(n+1)=h×Фi×Oj+a×△Wij(n)其中：h-学习因子；Фi-输出节点i计算误差；Oj-输出节点j的计算输出；a-动量因子2BP算法BP算法由数据流的前向计算（正向传播）和误差信号的反向传播两个过程构成。正向传播时，传播方向为输入层→隐层→输出层，每层神经元的状态只影响下一层神经元。输入层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元；中间层是内部信息处理层，负责信息变换，根据信息变化能力的需求，中间层可以设计为单隐层或者多隐层结构；最后一个隐层传递到输出层各神经元的信息，经进一步处理后，完成一次学习的正向传播处理过程，由输出层向外界输出信息处理结果。若在输出层得不到期望的输出，则转向误差信号的反向传播流程。周而复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程。在权向量空间执行误差函数梯度下降策略，动态迭代搜索一组权向量，使网络误差函数达到最小值，从而完成信息提取和记忆过程。2.1正向传播过程隐含层第i个节点的输入neti：隐含层第i个节点的输出yi：输出层第k个节点的输入netk：输出层第k个节点的输出ok：2.2误差信号的反向传播过程对于每一个样本p的二次型误差准则函数为Ep：系统对P个训练样本的总误差准则函数为：根据误差梯度下降法依次修正输出层权值的修正量Δwki，输出层阈值的修正量Δak，隐含层权值的修正量Δwij，隐含层阈值的修正量。输出层权值调整公式：输出层阈值调整公式：1Miijjijnetwx1()()Miiijjijynetwx111()qqMkkiikkiijjikiijnetwyawwxa111()()()qqMkkkiikkiijjikiijonetwyawwxa211()2LpkkkETo2111()2PLppkkpkETokikiwEwkkEaaijijEwwiiEkikkkkkikkkikiwnetnetooEwnetnetEwEw隐含层权值调整公式：隐含层阈值调整公式：又因为：所以最后得到以下公式：3BP算法的缺点与改进3.1BP算法的缺点BP算法理论具有依据可靠、推导过程严谨、精度较高、通用性较好等优点，但由于它采用非线性规划中的最速下降方法，按误差函数的负梯度方向修改权值，因而通常存在以下问题：在权值调整上采用梯度下降法作为优化算法，极易陷入局部极小；学习算法的收敛速度很慢，收敛速度还与初始权值和传输函数的选择有关；网络的结构设计，即隐节点数的选择，尚无理论指导，具有很大的盲目性；新加入的样本对已经学好的样本影响较大，且每个输入样本的特征数目要求相同，泛化能力较差。3.2BP算法的改进BP算法理论具有依据可靠、推导过程严谨、精度较高、通用性较好等优点，但标准BP算法存在以下缺点：收敛速度缓慢；容易陷入局部极小值；难以确定隐层数和隐层节点个数。在实际应用中，BP算法很难胜任，因此出现了很多改进算法。3.2.1利用动量法改进BP算法标准BP算法实质上是一种简单的最速下降静态寻优方法，在修正W(K)时，只按照第K步的负梯度方向进行修正，而没有考虑到以前积累的经验，即以前时刻的梯度方向，从而常常使学习过程发生振荡，收敛缓慢。动量法权值调整算法的具体做法是：将上一次权值调整量的一部分迭加到按本次误差计算所得的权值调整量上，作为本次的实际权值调整量。种方法所加的动量因子实际上相当于阻尼项，它减小了学习过程中的振荡趋势，从而改善了收敛性。动量法降低了网络对于误差曲面局部细节的敏感性，有效的抑制了网络陷入局部极kkkkkkkkkknetonetEEEaanetaonetaiiiijijiijiiijnetynetEEEwwnetwynetwiiiiiiiiiinetynetEEEnetynet11()PLppkkpkkEToo11()'PLppkikkkipkwTonety11()'PLppkkkkpkaTonet11()'()PLppijkkkkiijpkwTonetwnetx小。3.2.2共轭梯度法共轭梯度法是重要的无约束最优化方法。其基本思想就是使得最速下降方向具有共轭性，并据此搜索目标函数极值，从而提高算法的有效性和可靠性。它基于数值优化的算法不仅利用了目标函数的一阶导数信息，而且往往利用了目标函数的二阶导数信息。它可以统一描述为：)())((min)()()()()1()()()1(kkkkkkkkXsXXXsXfXf其中，X(k)为网络的所有权值和阈值组成的向量，S(X(k))为由X各分量组成的向量空间的搜索方向，a(k)为在S(X(k))方向上使达到极小的步长。共轭梯度法力图避免梯度下降法收敛速度较慢和计算复杂的缺点，比大多数常规的梯度法收敛快，并且只需增加很少的存储量和计算量。对于权值很多的网络，采用共轭梯度法不失为一种较好的选择。总结：BP神经网络具有完善的理论体系,清晰的算法流程,强大的数据识别和模拟功能。在解决非线性系统问题时,优势明显,突显出巨大的实际应用价值。随着对BP神经网络研究和应用的深入,BP算法自身也暴露出一些明显的缺陷。但随进BP神经网络的理论成熟,它也同时其具有很高的实际应用价值。BP神经网络的改进工作仍然需要根据实际应用情况不断地深入进行,这样不仅能取得理论的长远发展，也能在更多领域获得更大的发展空间。参考文献：[1]高红.BP神经网络学习率的优化方法[J].长春师范学院学报(自然科学版).2010(04)[2]黄丽.BP神经网络算法改进及应用研究[D].重庆师范大学2008[3]何伟,谭骏珊,王楚正,刘小风.BP神经网络的改进算法及应用[J].信息与电脑(理论版).2009(10)[4]李晓峰,刘光中.人工神经网络BP算法的改进及其应用[J].四川大学学报(工程科学版).2000(02)[5]储琳琳,郭纯生.浅析BP神经网络算法的改进和优化[J].科技创新导报.2009(12)