BP神经网络原理及应用

BP神经网络原理及应用1人工神经网络简介1.1生物神经元模型神经系统的基本构造是神经元（神经细胞），它是处理人体内各部分之间相互信息传递的基本单元。据神经生物学家研究的结果表明，人的大脑一般有10111010个神经元。每个神经元都由一个细胞体，一个连接其他神经元的轴突和一些向外伸出的其它较短分支——树突组成。轴突的功能是将本神经元的输出信号（兴奋）传递给别的神经元。其末端的许多神经末梢使得兴奋可以同时送给多个神经元。树突的功能是接受来自其它神经元的兴奋。神经元细胞体将接受到的所有信号进行简单地处理后由轴突输出。神经元的树突与另外的神经元的神经末梢相连的部分称为突触。1.2人工神经元模型神经网络是由许多相互连接的处理单元组成。这些处理单元通常线性排列成组，称为层。每一个处理单元有许多输入量，而对每一个输入量都相应有一个相关联的权重。处理单元将输入量经过加权求和，并通过传递函数的作用得到输出量，再传给下一层的神经元。目前人们提出的神经元模型已有很多，其中提出最早且影响最大的是1943年心理学家McCulloch和数学家Pitts在分析总结神经元基本特性的基础上首先提出的M-P模型，它是大多数神经网络模型的基础。)()(1nijijijxwftY（1.1）式(1.1)中为神经元单元的偏置（阈值），jiw为连接权系数（对于激发状态，jiw取正值，对于抑制状态，jiw取负值），n为输入信号数目，jY为神经元输出，t为时间，f()为输出变换函数，有时叫做激发或激励函数，往往采用0和1二值函数或Ｓ形函数。1.3人工神经网络的基本特性人工神经网络由神经元模型构成；这种由许多神经元组成的信息处理网络具有并行分布结构。每个神经元具有单一输出，并且能够与其它神经元连接；存在许多（多重）输出连接方法，每种连接方法对应一个连接权系数。严格地说，人工神经网络是一种具有下列特性的有向图：（１）对于每个节点存在一个状态变量xi；（２）从节点i至节点j，存在一个连接权系数wji；（３）对于每个节点，存在一个阈值；（４）对于每个节点，定义一个变换函数(,,),jijijfxwij,对于最一般的情况，此函数取()jjiijifwx形式。1.4人工神经网络的主要学习算法神经网络主要通过两种学习算法进行训练，即指导式（有师）学习算法和非指导式（无师）学习算法。此外，还存在第三种学习算法，即强化学习算法；可把它看做有师学习的一种特例。（１）有师学习有师学习算法能够根据期望的和实际的网络输出(对应于给定输入)间的差来调整神经元间连接的强度或权。因此，有师学习需要有个老师或导师来提供期望或目标输出信号。有师学习算法的例子包括规则、广义规则或反向传播算法以及LVQ算法等。（２）无师学习无师学习算法不需要知道期望输出。在训练过程中，只要向神经网络提供输入模式，神经网络就能够自动地适应连接权，以便按相似特征把输入模式分组聚集。无师学习算法的例子包括Kohonen算法和Carpenter-Grossberg自适应共振理论（ART）等。（３）强化学习如前所述，强化学习是有师学习的特例。它不需要老师给出目标输出。强化学习算法采用一个“评论员”来评价与给定输入相对应的神。2BP神经网络原理2.1基本BP算法公式推导基本BP算法包括两个方面：信号的前向传播和误差的反向传播。即计算实际输出时按从输入到输出的方向进行，而权值和阈值的修正从输出到输入的方向进行。图2-1BP网络结构Fig.2-1StructureofBPnetwork图中：jx表示输入层第j个节点的输入，j=1,…,M；ijw表示隐含层第i个节点到输入层第j个节点之间的权值；i表示隐含层第i个节点的阈值；()x表示隐含层的激励函数；kiw表示输出层第k个节点到隐含层第i个节点之间的权值，i=1,…,q；ka表示输出层第k个节点的阈值,k=1,…,L；x表示输出层的激励函数；1a1kiwijwLakaqi………………1xjxMx1okoLo输出变量输入变量输入层隐含层输出层ko表示输出层第k个节点的输出。（1）信号的前向传播过程隐含层第i个节点的输入neti：1Miijjijnetwx（3-1）隐含层第i个节点的输出yi：1()()Miiijjijynetwx（3-2）输出层第k个节点的输入netk：111()qqMkkiikkiijjikiijnetwyawwxa（3-3）输出层第k个节点的输出ok：111()()()qqMkkkiikkiijjikiijonetwyawwxa（3-4）（2）误差的反向传播过程误差的反向传播，即首先由输出层开始逐层计算各层神经元的输出误差，然后根据误差梯度下降法来调节各层的权值和阈值，使修改后的网络的最终输出能接近期望值。对于每一个样本p的二次型误差准则函数为Ep：211()2LpkkkETo（3-5）系统对P个训练样本的总误差准则函数为：2111()2PLppkkpkETo（3-6）根据误差梯度下降法依次修正输出层权值的修正量Δwki，输出层阈值的修正量Δak，隐含层权值的修正量Δwij，隐含层阈值的修正量i。kikiwEw；kkEaa；ijijEww；iiE（3-7）输出层权值调整公式：kikkkkkikkkikiwnetnetooEwnetnetEwEw（3-8）输出层阈值调整公式：kkkkkkkkkknetonetEEEaanetaoneta（3-9）隐含层权值调整公式：iiiijijiijiiijnetynetEEEwwnetwynetw（3-10）隐含层阈值调整公式：iiiiiiiiiinetynetEEEnetynet（3-11）又因为：11()PLppkkpkkEToo（3-12）ikikywnet，1kkneta，ijijnetxw，1iinet（3-13）11()'()PLppkkkkipkiETonetwy（3-14）)(iiinetnety（3-15）'()kkkonetnet（3-16）所以最后得到以下公式：11()'PLppkikkkipkwTonety（3-17）11()'PLppkkkkpkaTonet（3-18）11()'()PLppijkkkkiijpkwTonetwnetx（3-19）11()'()PLppikkkkiipkTonetwnet（3-20）图2-2BP算法程序流程图Fig.2-2TheflowchartoftheBPalgorithmprogram2.2基本BP算法的缺陷BP算法因其简单、易行、计算量小、并行性强等优点，目前是神经网络训练采用最多也是最成熟的训练算法之一。其算法的实质是求解误差函数的最小值问题，由于它采用非线性规划中的最速下降方法，按误差函数的负梯度方向修改权值，因而通常存在以下问题：（1）学习效率低，收敛速度慢（2）易陷入局部极小状态结束参数初始化：最大训练次数，学习精度，隐节点数，初始权值、阈值，初始学习速率等批量输入学习样本并且对输入和输出量进行归一化处理计算各层的输入和输出值计算输出层误差E(q)E(q)ε修正权值和阈值YesNYes开始2.3BP算法的改进2.3.1附加动量法附加动量法使网络在修正其权值时，不仅考虑误差在梯度上的作用，而且考虑在误差曲面上变化趋势的影响。在没有附加动量的作用下，网络可能陷入浅的局部极小值，利用附加动量的作用有可能滑过这些极小值。该方法是在反向传播法的基础上在每一个权值（或阈值）的变化上加上一项正比于前次权值（或阈值）变化量的值，并根据反向传播法来产生新的权值（或阈值）变化。带有附加动量因子的权值和阈值调节公式为：)()1()1(kwmcpmckwijjiij)()1()1(kbmcmckbiii其中k为训练次数，mc为动量因子，一般取0.95左右。附加动量法的实质是将最后一次权值（或阈值）变化的影响，通过一个动量因子来传递。当动量因子取值为零时，权值（或阈值）的变化仅是根据梯度下降法产生；当动量因子取值为1时，新的权值（或阈值）变化则是设置为最后一次权值（或阈值）的变化，而依梯度法产生的变化部分则被忽略掉了。以此方式，当增加了动量项后，促使权值的调节向着误差曲面底部的平均方向变化，当网络权值进入误差曲面底部的平坦区时，i将变得很小，于是)()1(kwkwijij,从而防止了0ijw的出现，有助于使网络从误差曲面的局部极小值中跳出。根据附加动量法的设计原则，当修正的权值在误差中导致太大的增长结果时，新的权值应被取消而不被采用，并使动量作用停止下来，以使网络不进入较大误差曲面；当新的误差变化率对其旧值超过一个事先设定的最大误差变化率时，也得取消所计算的权值变化。其最大误差变化率可以是任何大于或等于1的值。典型的取值取1.04。所以，在进行附加动量法的训练程序设计时，必须加进条件判断以正确使用其权值修正公式。训练程序设计中采用动量法的判断条件为：mcmc95.00其它)1()(04.1*)1()(kEkEkEkE，E（k）为第k步误差平方和。2.3.2自适应学习速率对于一个特定的问题，要选择适当的学习速率不是一件容易的事情。通常是凭经验或实验获取，但即使这样，对训练开始初期功效较好的学习速率，不见得对后来的训练合适。为了解决这个问题，人们自然想到在训练过程中，自动调节学习速率。通常调节学习速率的准则是：检查权值是否真正降低了误差函数，如果确实如此，则说明所选学习速率小了，可以适当增加一个量；若不是这样，而产生了过调，那幺就应该减少学习速率的值。下式给出了一个自适应学习速率的调整公式：)()(7.0)(05.1)1(kkkk其它)(04.1)1()()1(kEkEkEkE，E（k）为第k步误差平方和。初始学习速率(0)的选取范围可以有很大的随意性。2.3.3动量-自适应学习速率调整算法当采用前述的动量法时，BP算法可以找到全局最优解，而当采用自适应学习速率时，BP算法可以缩短训练时间，采用这两种方法也可以用来训练神经网络，该方法称为动量-自适应学习速率调整算法。2.4网络的设计2.4.1网络的层数理论上已证明：具有偏差和至少一个S型隐含层加上一个线性输出层的网络，能够逼近任何有理数。增加层数可以更进一步的降低误差，提高精度，但同时也使网络复杂化，从而增加了网络权值的训练时间。而误差精度的提高实际上也可以通过增加神经元数目来获得，其训练效果也比增加层数更容易观察和调整。所以一般情况下，应优先考虑增加隐含层中的神经元数。2.4.2隐含层的神经元数网络训练精度的提高，可以通过采用一个隐含层，而增加神经元数了的方法来获得。这在结构实现上，要比增加隐含层数要简单得多。那么究竟选取多少隐含层节点才合适？这在理论上并没有一个明确的规定。在具体设计时，比较实际的做法是通过对不同神经元数进行训练对比，然后适当地加上一点余量。2.4.3初始权值的选取由于系统是非线性的，初始值对于学习是否达到局部最小、是否能够收敛及训练时间的长短关系很大。如果初始值太大，使得加权后的输入和n落在了S型激活函数的饱和区，从而导致其导数f’(n)非常小，而在计算权值修正公式中，因为)('nf，当f’(n)0时，则有0。这使得0ijw，从而使得调节过程几乎停顿下来。所以一般总是希望经过初始加权后的每个神