智能控制(第三版)chap7-典型神经网络2

第7章典型神经网络7.1单神经元模型图7-1单神经元模型ui为神经元的内部状态，si为外部输入信号。武汉科技大学信息科学与工程学院2()()()iijjiijiiiiiNetwxsufNetyguhNet通常情况下，取即iiuug)(()iiyfNet武汉科技大学信息科学与工程学院3常用的神经元非线性特性有以下3种：（1）阈值型图7-2阈值型函数10()00iiiNetfNetNet武汉科技大学信息科学与工程学院4（2）分段线性型00max0()iiiiiiiliilNetNetfNetkNetNetNetNetfNetNet图7-3分段线性函数武汉科技大学信息科学与工程学院5（3）Sigmoid函数型TNetiieNetf11)(图7-4Sigmoid函数武汉科技大学信息科学与工程学院6图7-5BP神经网络结构7.2BP神经网络武汉科技大学信息科学与工程学院77.2.1BP网络特点（1）是一种多层网络，通常包括输入层、隐含层和输出层；（2）层与层之间采用全互连方式，同一层神经元之间不连接；（3）权值通过δ学习算法进行调节；（4）神经元激活函数为S函数；（5）学习算法由正向传播和反向传播组成；（6）层与层的连接是单向的，信息的传播是双向的。武汉科技大学信息科学与工程学院87.2.2BP网络结构包括一个隐含层的BP网络结构如下图，图中i为输入层神经元，j为隐层神经元，k为输出层神经元。武汉科技大学信息科学与工程学院97.2.3BP网络的逼近•BP网络对目标进行逼近的结构如图7-6所示，图中k为网络的迭代步骤，u(k)和y(k)为逼近器的输入。•将系统输出y(k)及输入u(k)的值作为BP网络逼近器的输入，将系统真实输出与网络预测输出的误差作为逼近器的调整信号。武汉科技大学信息科学与工程学院10图7-6BP网络逼近器武汉科技大学信息科学与工程学院11用于逼近的BP网络结构：武汉科技大学信息科学与工程学院12BP网络的学习过程由正向传播和反向传播组成。•信息正向传播（前向传播）:输入信息从输入层经隐层逐层处理，并传向输出层。•信息反向传播：误差信号自输出层开始按联接通路反向计算，由梯度下降法调整各层的权值，使误差信号减小。武汉科技大学信息科学与工程学院13（1）前向传播：计算BP网络的输出。隐层神经元的输入为所有输入的加权之和：隐层神经元的输出采用S函数激发：则iiijjxwxjxjjexfx11)(')1('''jjjjxxxx武汉科技大学信息科学与工程学院14输出层神经元的输出：网络输出与理想输出误差为：误差性能指标函数为：'()njojjykwx)()()(kykyken221()212nEekyy武汉科技大学信息科学与工程学院15（2）反向传播：采用δ学习算法调整各层间的权值。根据梯度下降法，权值的学习算法如下：输出层与隐层之间的连接权值学习算法为：'()()nnjonjonjojonjjoEEyywyywywwyekekxw(1)()jojojowkwkwk+1时刻网络的权值为：武汉科技大学信息科学与工程学院16隐层及输入层连接权值学习算法为：()nijijijEywekww'''''(1)jjnnijjjijjjoijojjijxxyywxxwxwxwxxxxijijijwkwkw)()1(k+1时刻网络的权值为：其中武汉科技大学信息科学与工程学院17如果考虑上次权值修改量对本次权值变化的影响，可加入动量因子a，此时的权值为：(1)()(()(1))(1)()()(1)0,1jojojojojoijijijijijwkwkwwkwkwkwkwwkwkaaa武汉科技大学信息科学与工程学院18Jacobian阵(即为对象的输出对控制输入的灵敏度信息)可由神经网络辨识得到，其算法为：'''01'11jjnnjjjjjjjxxykykykwxxwukukxxx根据前面网络结构知：x1=u(k).武汉科技大学信息科学与工程学院197.2.4BP网络的优缺点BP网络的优点为：①可以逼近任意的非线性映射关系；②是全局逼近算法，具有较强的泛化能力。③具有较好的容错性。BP网络的主要缺点为：①收敛速度慢；②容易陷入局部极小值；③难以确定隐层及隐层节点的数目。武汉科技大学信息科学与工程学院207.2.5BP网络逼近仿真实例神经网络结构：2-6-1仿真程序见chap7_1.m23)1(1)1()()(kykykuky使用BP网络逼近对象：武汉科技大学信息科学与工程学院21%BPidentificationclearall;closeall;xite=0.50;alfa=0.05;w2=rands(6,1);w2_1=w2;w2_2=w2_1;w1=rands(2,6);w1_1=w1;w1_2=w1;dw1=0*w1;%增量x=[0,0]';u_1=0;%u(k-1)y_1=0;%y(k-1)I=[0,0,0,0,0,0]';%隐层Iout=[0,0,0,0,0,0]';FI=[0,0,0,0,0,0]';ts=0.001;%采样周期fork=1:1:1000time(k)=k*ts;u(k)=0.50*sin(3*2*pi*k*ts);y(k)=u_1^3+y_1/(1+y_1^2);forj=1:1:6I(j)=x'*w1(:,j);Iout(j)=1/(1+exp(-I(j)));endyn(k)=w2‘*Iout;%网络输出e(k)=y(k)-yn(k);%误差w2=w2_1+(xite*e(k))*Iout+alfa*(w2_1-w2_2);forj=1:1:6FI(j)=exp(-I(j))/(1+exp(-I(j)))^2;endfori=1:1:2forj=1:1:6dw1(i,j)=xite*e(k)*FI(j)*w2(j)*x(i);endend武汉科技大学信息科学与工程学院22w1=w1_1+dw1+alfa*(w1_1-w1_2);yu=0;forj=1:1:6%Jacobianyu=yu+w2(j)*w1(1,j)*FI(j);enddyu(k)=yu;x(1)=u(k);x(2)=y(k);w1_2=w1_1;w1_1=w1;w2_2=w2_1;w2_1=w2;u_1=u(k);y_1=y(k);end武汉科技大学信息科学与工程学院237.2.6BP网络模式识别(自学)武汉科技大学信息科学与工程学院24径向基函数(RBF-RadialBasisFunction)神经网络具有单隐层的三层前馈网络。模拟人脑接收域（或称感受野）的神经网络结构，是一种局部逼近网络。使用高斯函数作为激活函数，网络具有唯一最佳逼近的特性，无局部极小。7.3RBF神经网络武汉科技大学信息科学与工程学院257.3.1RBF网络结构与算法多输入单输出的RBF神经网络结构如图7-13所示。图7-13RBF网络结构武汉科技大学信息科学与工程学院26式中，cj=[cj1,…,cjn]为第j个隐层神经元的中心点矢量值。高斯基函数的宽度矢量为b=[b1b2…bm]T其中bj0为隐含层神经元j的高斯基函数的宽度。2j2exp,1,2,2jjhjmbxc在RBF神经网络中，x=[x1x2…xn]T为网络输入，hj为隐含层第j个神经元的输出，即武汉科技大学信息科学与工程学院27网络的权值为w=[w1w2…wm]TRBF网络的输出为•RBF网络只调节权值，因此，算法运行快。•输入到隐层是非线性映射，而隐层到输出层是线性映射，因此其非线性能力不如BP网络。1122()mmmyt=wh+wh++wh武汉科技大学信息科学与工程学院28END