第3章_多层前向网络及BP学习算法.

合肥工业大学计算机与信息学院图像信息处理研究室Tel:2901393Email:[e-mail]第3章多层前向网络及BP学习算法3.1多层感知器3.2BP学习算法3.3径向基网络3.4仿真实例合肥工业大学计算机与信息学院图像信息处理研究室Tel:2901393Email:[e-mail]多层感知器单层感知器只能解决线性可分的分类问题，要增强网络的分类能力唯一的方法是采用多层网络，即在输入与输出层之间加上隐含层，从而构成多层感知器（MultilayerPerceptrons，MLP）。这种由输入层、隐含层（一层或者多层）和输出层构成的神经网络称为多层前向神经网络。合肥工业大学计算机与信息学院图像信息处理研究室Tel:2901393Email:[e-mail]多层感知器多层前向神经网络输入层中的每个源节点的激励模式（输入向量）单元组成了应用于第二层（如第一隐层）中神经元（计算节点）的输入信号，第二层输出信号成为第三层的输入，其余层类似。网络每一层的神经元只含有作为它们输入前一层的输出信号，网络输出层（终止层）神经元的输出信号组成了对网络中输入层（起始层）源节点产生的激励模式的全部响应。即信号从输入层输入，经隐层传给输出层，由输出层得到输出信号。合肥工业大学计算机与信息学院图像信息处理研究室Tel:2901393Email:[e-mail]多层感知器多层感知器同单层感知器相比具有四个明显的特点：（1）除了输入输出层，多层感知器含有一层或多层隐单元，隐单元从输入模式中提取更多有用的信息，使网络可以完成更复杂的任务。（2）多层感知器中每个神经元的激励函数是可微的Sigmoid函数合肥工业大学计算机与信息学院图像信息处理研究室Tel:2901393Email:[e-mail]多层感知器（3）多层感知器的多个突触使得网络更具连通性，连接域的变化或连接权值的变化都会引起连通性的变化。（4）多层感知器具有独特的学习算法，该学习算法就是著名的BP算法，所以多层感知器也常常被称之为BP网络。多层感知器所具有的这些特点，使得它具有强大的计算能力。多层感知器是目前应用最为广泛的一种神经网络。合肥工业大学计算机与信息学院图像信息处理研究室Tel:2901393Email:[e-mail]学习算法反向传播算法(Back-Propagationalgorithm,BP)BP学习过程：（1）工作信号正向传播：输入信号从输入层经隐单元，传向输出层，在输出端产生输出信号，这是工作信号的正向传播。在信号的向前传递过程中网络的权值是固定不变的，每一层神经元的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输出，则转入误差信号反向传播。合肥工业大学计算机与信息学院图像信息处理研究室Tel:2901393Email:[e-mail]学习算法（2）误差信号反向传播：网络的实际输出与期望输出之间差值即为误差信号，误差信号由输出端开始逐层向后传播，这是误差信号的反向传播。在误差信号反向传播的过程中，网络的权值由误差反馈进行调节。通过权值的不断修正使网络的实际输出更接近期望输出。合肥工业大学计算机与信息学院图像信息处理研究室Tel:2901393Email:[e-mail]),,2,1(Ii),,2,1(Jj合肥工业大学计算机与信息学院图像信息处理研究室Tel:2901393Email:[e-mail]神经元的输入用u表示，激励输出用v表示，u,v的上标表示层，下标表示层中的某个神经元，如表示I层（即第1隐层）的第i个神经元的输入。设所有的神经元的激励函数均用Sigmoid函数。设训练样本集为X=[X1,X2,…,Xk，…,XN]，对应任一训练样本:Xk=[xk1,xk2,…,kM]T，（k=1,2,…,N）的实际输出为:Yk=[yk1,yk2,…,ykP]T，期望输出为dk=[dk1,dk2,…,dkP]T。设n为迭代次数，权值和实际输出是n的函数。Iiu合肥工业大学计算机与信息学院图像信息处理研究室Tel:2901393Email:[e-mail]工作信号的正向传播过程：MmkmmiIixwu1)(1MmkmmiIixwfvIiIiijJjvwu1)(1IiIiijJjvwfvJ1jJjjpPpvwu)(1JjJjjpPpvwfv)()(1JjJjjpPpPpkpvwfufvy合肥工业大学计算机与信息学院图像信息处理研究室Tel:2901393Email:[e-mail]输出层第p个神经元的误差信号为：)()()(nyndnekpkpkp定义神经元p的误差能量为：则输出层所有神经元的误差能量总和为：)(212nekpPpkpnenE12)(21)(合肥工业大学计算机与信息学院图像信息处理研究室Tel:2901393Email:[e-mail]误差信号的反向传播过程：（1）隐层J与输出层P之间的权值修正量)()()(nwnEnwjpjp)()()()()()()()()()(nwnununynynenenEnwnEjpPpPpkpkpkpkpjp)())(()()()('nvnufnenwnEJjPpkpjp因为：合肥工业大学计算机与信息学院图像信息处理研究室Tel:2901393Email:[e-mail])()()(nenenEkpkp1)()(nynekpkp))(()()('nufnunyPpPpkp)()()(nvnwnuJjjpPp设局部梯度：)()()(nunEnPpPp)())(('nenufkpPp当激励函数为S型函数时有：))(1)(())(1)(()()())((nynynvnvnunvnufkpkpPpPpPpPpPp合肥工业大学计算机与信息学院图像信息处理研究室Tel:2901393Email:[e-mail])())(1)(()(nenynynkpkpkpPp))()())((1)((nyndnynykppkpkp)()()(nwnEnwjpjp)()())()((nwnununEjpPpPp)()(nvnJjPp)()()1(nwnwnwjpjpjp可求得：合肥工业大学计算机与信息学院图像信息处理研究室Tel:2901393Email:[e-mail]（2）隐层I与隐层J之间的权值修正量：)()()()()()(nwnununEnwnEijJjJjij)()()(nvnunEIiJj设局部梯度为：)()()(nunEnJjJj)()()()(nunvnvnEJjJjJj))(()()('nufnunvJjJjJjPpkpnenE12)(21)(PpJjkpkpJjnvnenenvnE1)()()()()(PpJjPpPpkpkpnvnununene1)()()()()(合肥工业大学计算机与信息学院图像信息处理研究室Tel:2901393Email:[e-mail]))(()()()()(nufndnyndnePpkpkpkpkp))(()()('nufnunePpPpkp)()()(nwnvnujpJjPp)())(()()()('1nwnufnenvnEjpPpPpkpJjPpjpPpkpJjJjnwnufnenufn1'')())(()())(()(PpjpPpJjJjnwnnufn1')()())(()()()()(nvnnwIiJjij合肥工业大学计算机与信息学院图像信息处理研究室Tel:2901393Email:[e-mail]（3）与隐层I和隐层J之间的权值修正量推导方法相同，输入层M上任一节点与隐层I上任一节点之间权值的修正量为：)()()(nxnnwkmIimi其中：JjijJjIiIinwnnufn1')()())(()(合肥工业大学计算机与信息学院图像信息处理研究室Tel:2901393Email:[e-mail]学习算法步骤第一步：设置变量和参量第二步：初始化，赋给WMI(0),WIJ(0),WJP(0),各一个较小的随机非零值第三步：随机输入样本Xk，n=0。第四步：对输入样本Xk，前向计算BP网络每层神经元的输入信号u和输出信号v第五步：由期望输出dk和上一步求得的实际输出Yk(n)计算误差E(n)，判断其是否满足要求，若满足转至第八步；不满足转至第六步。合肥工业大学计算机与信息学院图像信息处理研究室Tel:2901393Email:[e-mail]学习算法步骤（续）第六步：判断n+1是否大于最大迭代次数，若大于转至第八步，若不大于，对输入样本Xk，反向计算每层神经元的局部梯度第七步：计算权值修正量，修正权值；n=n+1，转至第四步第八步：判断是否学完所有的训练样本，是则结束，否则转至第三步。合肥工业大学计算机与信息学院图像信息处理研究室Tel:2901393Email:[e-mail]学习，需要注意几点：①BP学习时权值的初始值是很重要的。初始值过大，过小都会影响学习速度，因此权值的初始值应选为均匀分布的小数经验值，大概为（–2.4/F，2.4/F）之间（也有人建议在之间），其中F为所连单元的输入端个数。另外，为避免每一步权值的调整方向是同向的（即权值同时增加或同时减少），应将初始权值设为随机数。)/3,/3(FF合肥工业大学计算机与信息学院图像信息处理研究室Tel:2901393E