BP网络的再改进

BP网络的再改进BP人工神经网络模型的进一步改进及其应用.pdf2.1初始权值的选取虽然随机产生初始权值可以提高误差函数E取得全局最优的概率,但仍具有一定的盲目性和随机性.在BP算法中由于采用sigmoid函数:f(x)=11+e-x,实际输出值在[0,1]之间.因而初始权值不宜太大,一般都选在[-1,1]之间.采用逐步搜索法,即先将初始权值区域(记为H)N等分.在这N个区域内分别随机产生初始权值进行学习,选取对应误差函数E最小的那个区域再N等分,再在这N个小区域内重复上述步骤,当误差函数E不再减时,认为找到了最优点并停止迭代.可以证明,只要区域取得足够小,这种方法可以比较有效地避免局部行为.2.2隐节点数的确定对于隐节点数的确定,采用由小到大增长的方法,选取对应误差最小的那个数目作为隐节点数.同时,结合隐节点的删除与合并算法[3],最终得到一个较合适的神经网络BP模型.2.3输入待定的BP网络输入维数的确定论基于MATLAB语言的BP神经网络的改进算法改进的算法[2,5,11],如使用动量项的加快离线训练速度的方法[1]、归一化权值更新技术方法[11]、快速传播算法[12]、D-D方法[13]、扩展卡尔曼滤波法[14]、二阶优化[15]以及最优滤波法[16]等1973年Grossberg发现Sigmoid函数的中间高增益区合理处理小信号问题，而延伸两边的低增益区恰好合适的处理大信号。开始探究S型函数的特性与神经网络系统稳定性之间的关系，促使该函数成为BP网络中最常用的激活函数。此后国外学者针对S型函数的局限性进行改进，1987年Stornetta提出的双极性S型压缩函数和1990年AliRezgui提出的SLSL函数是改进的S型函数的典型代表。定量化的研究证明周期函数的收敛速度比s型函数要快，General研究实验室的SurenderKKenue提出的一组新型激活函数，其一阶导数是sec()nx，利用新型激活函数针对宇对问题、编码问题进行计算机仿真实验，实验结果表明新型激活函数较传统S型函数有更好的仿真结果。激活函数的数字特性直接影响BP网络的学习速率和仿真结果，而不同的误差函数的递减方法对激活函数导数的要求不同，激活函数的导数在输入信号的定义域内应连续可微，并且到数值应有显著变化，以满足误差下降过程中对梯度灵敏性的要求。大量实验表明应该根据实际灵活的选择激活函数，，不同区间内函数特性不同的激活函数组合起来，以便在需要的位置设置较大的到数值，弥补单一函数的不足。国内二、主要研究内容、创新之处：1.初始权值的选取虽然随机产生初始权值可以提高误差函数E取得全局最优的概率,但仍具有一定的盲目性和随机性.在BP算法中由于采用sigmoid函数:11()1fxe,实际输出值在[0,1]之间.因而初始权值不宜太大,一般都选在[-1,1]之间.采用逐步搜索法,即先将初始权值区域(记为H)N等分.在这N个区域内分别随机产生初始权值进行学习,选取对应误差函数E最小的那个区域再N等分,再在这N个小区域内重复上述步骤,当误差函数E不再减时,认为找到了最优点并停止迭代.可以证明,只要区域取得足够小,这种方法可以比较有效地避免局部行为.2.隐节点数的确定对于隐节点数的确定,采用由小到大增长的方法,选取对应误差最小的那个数目作为隐节点数.同时,结合隐节点的删除与合并算法,最终得到一个较合适的神经网络BP模型.3．