6.2基于BP神经网络的辨识

1、BP神经网络1986年，Rumelhart等提出了误差反向传播神经网络，简称BP网络（BackPropagation），该网络是一种单向传播的多层前向网络。误差反向传播的BP算法简称BP算法，其基本思想是梯度下降法。它采用梯度搜索技术，以期使网络的实际输出值与期望输出值的误差均方值为最小。6.2基于BP神经网络的建模BP网络特点（1）是一种多层网络，包括输入层、隐含层和输出层；（2）层与层之间采用全互连方式，同一层神经元之间不连接；（3）权值通过δ学习算法进行调节；（4）神经元激发函数为S函数；（5）学习算法由正向传播和反向传播组成；（6）层与层的连接是单向的，信息的传播是双向的。BP网络结构含一个隐含层的BP网络结构如图1所示，图中为输入层神经元，为隐层神经元，为输出层神经元。ijk图1BP神经网络结构2、BP网络的在线逼近BP网络逼近的结构如图2所示，图中k为网络的迭代步骤，u(k)和y(k)为网络的输入。y(k)为被控对象实际输出，yn(k)为BP网络的输出。将系统输出y(k)及输入u(k)的值作为神经网络BP的输入，将系统输出与网络输出的误差作为神经网络的调整信号。图2BP神经网络逼近的结构用于逼近的BP网络如图3所示。)(kyn)(ku)(kyijw2jw'jxjxix图3用于逼近的BP网络。•BP算法的学习过程由正向传播和反向传播组成。在正向传播过程中，输入信息从输入层经隐层逐层处理，并传向输出层，每层神经元（节点）的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输出，则转至反向传播，将误差信号（理想输出与实际输出之差）按联接通路反向计算，由梯度下降法调整各层神经元的权值，使误差信号减小。（1）前向传播：计算网络的输出。隐层神经元的输入为所有输入的加权之和：隐层神经元的输出采用S函数激发：则iiijjxwxjxjjexfx11)(')1('''jjjjxxxx输出层神经元的输出：取,则网络输出与理想输出误差为：误差性能指标函数为：jjjkxwx'2)()()(kykyken2)(keE21()nkykx（2）反向传播：采用δ学习算法，调整各层间的权值。根据梯度下降法，权值的学习算法如下：输出层及隐层的连接权值学习算法为：k+1时刻网络的权值为：'222()()kjjjjxEwekekxww222)()1(jjjwtwtw隐层及输入层连接权值学习算法为：其中k+1时刻网络的权值为：()nijijijyEwekwwijjjijjjijjjjjnijnxxxwxxxwwxxxxywy)1(''2'2''ijijijwkwkw)()1(如果考虑上次权值对本次权值变化的影响，需要加入动量因子，此时的权值为：其中,为学习速率，为动量因子。))1()(()()1(22222kwkwwkwkwjjjjj))1()(()()1(kwkwwkwkwijijijijij1,01,0阵(即为对象的输出对控制输入的灵敏度信息)算法为：其中取Jacobian(t)1uxjjjjjjjjjnnwxxwxxxxxykuykuy1''2''11kkk3、BP网络的优缺点BP网络的优点为：（1）只要有足够多的隐层和隐层节点，BP网络可以逼近任意的非线性映射关系；（2）BP网络的学习算法属于全局逼近算法，具有较强的泛化能力。（3）BP网络输入输出之间的关联信息分布地存储在网络的连接权中，个别神经元的损坏只对输入输出关系有较小的影响，因而BP网络具有较好的容错性。BP网络的主要缺点为：（1）待寻优的参数多，收敛速度慢；（2）目标函数存在多个极值点，按梯度下降法进行学习，很容易陷入局部极小值；（3）难以确定隐层及隐层节点的数目。目前，如何根据特定的问题来确定具体的网络结构尚无很好的方法，仍需根据经验来试凑。•由于BP网络具有很好的逼近非线性映射的能力，该网络在模式识别、图像处理、系统辨识、函数拟合、优化计算、最优预测和自适应控制等领域有着较为广泛的应用。•由于BP网络具有很好的逼近特性和泛化能力，可用于神经网络控制器的设计。但由于BP网络收敛速度慢，难以适应实时控制的要求。4、BP网络在线逼近仿真实例使用BP网络对如下对象逼近：BP网络逼近程序见chap6_1.m23)1(1)1()()(kykykuky5、输入输出数据的BP网络建模•由于神经网络具有自学习、自组织和并行处理等特征，并具有很强的容错能力和联想能力，因此，神经网络对输入输出数据具有建模能力。输入输出1001001000.500101表13个训练样本•在神经网络建模中，根据标准的输入输出模式对，采用神经网络学习算法，以标准的输入输出模式作为学习样本进行训练，通过学习调整神经网络的连接权值。当训练满足要求后，得到的神经网络权值构成了模型的知识库。•当待输入模式与训练样本中的某个输入模式相同时，神经网络输出的结果就是与训练样本中相对应的输出模式。当输入模式与训练样本中所有输入模式都不完全相同时，则可得到与其相近样本相对应的输出模式。当输入模式与训练样本中所有输入模式相差较远时，就不能得到正确的输出结果，此时可将这一输入输出数据作为新的样本进行训练，使神经网络获取新的知识，并存储到网络的权值矩阵中，从而增强网络的建模能力。BP网络的训练过程如下：正向传播是输入信号从输入层经隐层传向输出层，若输出层得到了期望的输出，则学习算法结束；否则，转至反向传播以第p个样本为例，用于训练的BP网络结构如图4所示。图4BP神经网络结构网络的学习算法如下：（1）前向传播：计算网络的输出。隐层神经元的输入为所有输入的加权之和：隐层神经元的输出采用S函数激发：iiijjxwx'jxjxjxjjexfx11)(')1('''jjjjxxxx则输出层神经元的输出：jjjllxwx'网络第个输出与相应理想输出的误差为：第p个样本的误差性能指标函数为：其中N为网络输出层的个数。0lxlllxxe0NllpeE1221l（2）反向传播：采用梯度下降法，调整各层间的权值。权值的学习算法如下：输出层及隐层的连接权值学习算法为：jlw'jljllljlpjlxewxewEwjljljlwkwkw)()1(其中隐层及输入层连接权值学习算法为：ijwNlijllijpijwxewEw1ijjjlijjjlijjjjjlijlxxxwxxxwwxxxxxwx)1('''''ijijijwkwkw)()1(如果考虑上次权值对本次权值变化的影响，需要加入动量因子，此时的权值为：11kwkwwkwkwjljljljljl))1()(()()1(twtwwtwtwijijijijij其中为学习速率，为动量因子。1,01,0仿真实例：取标准样本为3输入2输出样本，如表4-1所示。输入输出1001001000.500101表2训练样本BP网络模式识别程序包括网络训练程序chap6_2a.m和网络测试程序chap6_2b.m输入实际输出1001001000.500101表3测试样本•6.1传统的建模方法•神经网络应用于系统建模的一个优点是通过直接学习系统的输入输出数据使所要求的误差准则函数达到最小，从而辨识出隐含在系统输入输出的关系。利用神经网络建模的基本结构图如图5所示.6、BP网络离线建模图5基本的离线神经网络建模结构其中模块Plant为实际系统，NN为用神经网络建立的实际系统等效模型网络输入为u和y。u为控制输入，y为对象的输出，为神经网络的输出。y仿真实例使用BP网络对下列对象进行建模：在BP网络中，网络输入信号为2个，即，和。网络初始权值及高斯函数参数初始权值可取随机值，也可通过仿真测试后获得。sssG251332)(ku(1)yk输入信号为正弦信号：网络隐层神经元个数取6，网络结构为2-6-1，网络的初始权值取随机值。网络的学习参数取训练样本取200组。BP网络离线训练程序见chap6_3a.m。BP网络在线估计程序见chap6_3b.m。)sin(25.0(k)tu05.05.0