BP神经网络浅谈

题目：BP神经网络专业学号：学生姓名：BP神经网络1.人工神经网络概述20世纪50年代，Rosenblatt首先在模式分类中应用单层感知器。此后的几十年里，人们一直致力于单层感知器的研究，即人工神经网络(ArtificialNeuralNetwork,ANN)方面的研究，而此时Minsky和Papert却指出许多单层系统带来的局限性。到了20世纪70年代，研究者们逐渐减少了对ANN的研究。然而随着Rumelhart等在80年代中期提出的反传训练方法，又迅速升点燃了世界各地对ANN的研究热潮。人们一直期待一种拥有强大的并行处理能力、自适应能力、容错鲁棒、联想记忆以及能无限逼近任意非线性映射的模型，来应用在预测评估、模式识别、信号处理、组合优化及知识工程等领域。ANN就是这样一种按照人脑的组织和活动原理而构造的一种数据驱动型非线性映射的理想模型。近年来，研究者提出了多种ANN模型。在进行深入研究后，研究者普遍倾向于采用前馈反向传播的网络（Back-PropagationNetwork，简称BP网络）来实现人工神经网络。2.BP神经网络BP神经网络即多层前馈神经网络。下图2.1显示的是三层前馈神经网络的拓扑结构。这种网络神经具有各种神经元之间无反馈连接，各层内神经元之间无任何连接，仅相邻层神经元之间有连接等特点。图2.1三层前馈神经网络示意图我们选取Sigmoid函数作为节点的处理函数，然后输入信号，再向前传播到隐节点，经由Sigmoid函数处理，再将隐节点的输出信号传播到输出接点，最后得到输出结果。BP神经网络是一种在输入和输出之间具有高度非线性映射关系的识别模型。假设该网络有n个输入节点，m个输出接点，则这就实现了一种从n维欧式空间到m维欧式空间的映射的神经网络。要实现非线性分类，并且能够任意精度都无限逼近任何非线性函数，我们可以通过调整BP神经网络中的连接权值、网络的规模（包括n,m和隐含层节点数）。这不仅是软件解决实际问题的基础，同时也是人工神经网络拥有自学能力的关键。正因为如此，所以BP神经网络能够通过对样本进行学习，自动的调整网络中连接权值，从而实现非逻辑归纳。而这都是基于BP算法的，它是人工神经网络得以迅速发展的催化剂，也实现了多层前馈神经网络的权值自动调整。此外，BP神经网络还具有反向传播算法，同时也有很多研究者提出对BP算法的改进算法，用来克服其固有的收敛速度慢、易陷入局部极小点等缺点。3.实例介绍采用动量梯度下降算法训练BP网络。训练样本定义如下：输入矢量为p=[-1-231-115-3]目标矢量为t=[-1-111]解：本例的MATLAB程序如下：closeallclearechoonclc%NEWFF——生成一个新的前向神经网络%TRAIN——对BP神经网络进行训练%SIM——对BP神经网络进行仿真pause%敲任意键开始clc%定义训练样本%P为输入矢量P=[-1,-2,3,1;-1,1,5,-3];%T为目标矢量T=[-1,-1,1,1];pause;clc%创建一个新的前向神经网络net=newff(minmax(P),[3,1],{'tansig','purelin'},'traingdm')%当前输入层权值和阈值inputWeights=net.IW{1,1}inputbias=net.b{1}%当前网络层权值和阈值layerWeights=net.LW{2,1}layerbias=net.b{2}pauseclc%设置训练参数net.trainParam.show=50;net.trainParam.lr=0.05;net.trainParam.mc=0.9;net.trainParam.epochs=1000;net.trainParam.goal=1e-3;pauseclc%调用TRAINGDM算法训练BP网络[net,tr]=train(net,P,T);pauseclc%对BP网络进行仿真A=sim(net,P)%计算仿真误差E=T-AMSE=mse(E)pauseclcechooff仿真结果如下：05010015020010-410-310-210-1100101248EpochsTraining-BlueGoal-BlackPerformanceis0.000997127,Goalis0.0014.结论BP算法的实质是非线性化问题的梯度下降搜索法。基于这种收敛算法的局限性，引入动态神经网络来实现动态系统逼近和控制。带时滞的多层感知器网络和Hopfield网络模型结构和学习算法，其中多层感知器网络对于解决有限阶非线性离散系统和控制非常有效。而Hopfield网络则是利用反馈动力学活动规律实现联想记忆。神经网络的模型远远不止这几种，由于本人知识的局限性，不能做过多的介绍，希望在日后的学习研究中有更深入的了解。