BP神经网络的Matlab语法

1.数据预处理在训练神经网络前一般需要对数据进行预处理，一种重要的预处理手段是归一化处理。下面简要介绍归一化处理的原理与方法。(1)什么是归一化？数据归一化，就是将数据映射到[0,1]或[-1,1]区间或更小的区间，比如(0.1,0.9)。(2)为什么要归一化处理？1输入数据的单位不一样，有些数据的范围可能特别大，导致的结果是神经网络收敛慢、训练时间长。2数据范围大的输入在模式分类中的作用可能会偏大，而数据范围小的输入作用就可能会偏小。3由于神经网络输出层的激活函数的值域是有限制的，因此需要将网络训练的目标数据映射到激活函数的值域。例如神经网络的输出层若采用S形激活函数，由于S形函数的值域限制在(0,1)，也就是说神经网络的输出只能限制在(0,1)，所以训练数据的输出就要归一化到[0,1]区间。4S形激活函数在(0,1)区间以外区域很平缓，区分度太小。例如S形函数f(X)在参数a=1时，f(100)与f(5)只相差0.0067。(3)归一化算法一种简单而快速的归一化算法是线性转换算法。线性转换算法常见有两种形式：1y=(x-min)/(max-min)其中min为x的最小值，max为x的最大值，输入向量为x，归一化后的输出向量为y。上式将数据归一化到[0,1]区间，当激活函数采用S形函数时（值域为(0,1)）时这条式子适用。2y=2*(x-min)/(max-min)-1这条公式将数据归一化到[-1,1]区间。当激活函数采用双极S形函数（值域为(-1,1)）时这条式子适用。(4)Matlab数据归一化处理函数Matlab中归一化处理数据可以采用premnmx，postmnmx，tramnmx这3个函数。1premnmx语法：[pn,minp,maxp,tn,mint,maxt]=premnmx(p,t)参数：pn：p矩阵按行归一化后的矩阵minp，maxp：p矩阵每一行的最小值，最大值tn：t矩阵按行归一化后的矩阵mint，maxt：t矩阵每一行的最小值，最大值作用：将矩阵p，t归一化到[-1,1]，主要用于归一化处理训练数据集。2tramnmx语法：[pn]=tramnmx(p,minp,maxp)参数：minp，maxp：premnmx函数计算的矩阵的最小，最大值pn：归一化后的矩阵作用：主要用于归一化处理待分类的输入数据。3postmnmx语法：[p,t]=postmnmx(pn,minp,maxp,tn,mint,maxt)参数：minp，maxp：premnmx函数计算的p矩阵每行的最小值，最大值mint，maxt：premnmx函数计算的t矩阵每行的最小值，最大值作用：将矩阵pn，tn映射回归一化处理前的范围。postmnmx函数主要用于将神经网络的输出结果映射回归一化前的数据范围。2.使用Matlab实现神经网络使用Matlab建立前馈神经网络主要会使用到下面3个函数：newff：前馈网络创建函数train：训练一个神经网络sim：使用网络进行仿真下面简要介绍这3个函数的用法。(1)newff函数1newff函数语法newff函数参数列表有很多的可选参数，具体可以参考Matlab的帮助文档，这里介绍newff函数的一种简单的形式。语法：net=newff(A,B,{C},‘trainFun’)参数：A：一个n×2的矩阵，第i行元素为输入信号xi的最小值和最大值；B：一个k维行向量，其元素为网络中各层节点数；C：一个k维字符串行向量，每一分量为对应层神经元的激活函数；trainFun：为学习规则采用的训练算法。表3.1BP网络的常用函数表函数类型函数名称函数用途前向网络创建函数newcf创建级联前向网络Newff创建前向BP网络logsigS型的对数函数传递函数tansigS型的正切函数purelin纯线性函数学习函数learngd基于梯度下降法的学习函数learngdm梯度下降动量学习函数性能函数mse均方误差函数msereg均方误差规范化函数显示函数plotperf绘制网络的性能plotes绘制一个单独神经元的误差曲面plotep绘制权值和阈值在误差曲面上的位置errsurf计算单个神经元的误差曲面3.1.1BP网络创建函数1)newff该函数用于创建一个BP网络。调用格式为：net=newffnet=newff(PR,[S1S2..SN1],{TF1TF2..TFN1},BTF,BLF,PF)其中，net=newff;用于在对话框中创建一个BP网络。net为创建的新BP神经网络；PR为网络输入向量取值范围的矩阵；[S1S2…SNl]表示网络隐含层和输出层神经元的个数；{TFlTF2…TFN1}表示网络隐含层和输出层的传输函数，默认为‘tansig’；BTF表示网络的训练函数，默认为‘trainlm’；BLF表示网络的权值学习函数，默认为‘learngdm’；PF表示性能数，默认为‘mse’。2常用的激活函数常用的激活函数有：a)线性函数(Lineartransferfunction)f(x)=x该函数的字符串为’purelin’。b)对数S形转移函数(Logarithmicsigmoidtransferfunction)该函数的字符串为’logsig’。c)双曲正切S形函数(Hyperbolictangentsigmoidtransferfunction)也就是上面所提到的双极S形函数。该函数的字符串为’tansig’。Matlab的安装目录下的toolbox\nnet\nnet\nntransfer子目录中有所有激活函数的定义说明。3常见的训练函数常见的训练函数有：traingd：梯度下降BP训练函数(Gradientdescentbackpropagation)traingdx：梯度下降自适应学习率训练函数如果考虑增加动量项，可以使用两个训练函数：traingdm和traingdxtraingdm——有动量的梯度下降法，设置动量因子的命令如下：net.trainParam.mc=0.9（缺省值为0.9）traingdx——有自适应lr的动量梯度下降法，设置动量因子的命令同traingdm4网络配置参数一些重要的网络配置参数如下：net.trainparam.goal：神经网络训练的目标误差net.trainparam.show：显示中间结果的周期net.trainparam.epochs：最大迭代次数net.trainParam.lr：学习率net.trainParam.max_fail：验证次数validationnet.trainParam.mc=0.9;动量因子(2)train函数网络训练学习函数。语法：[net,tr,Y1,E]=train(net,X,Y)参数：X：网络实际输入Y：网络应有输出tr：训练跟踪信息Y1：网络实际输出E：误差矩阵(3)sim函数语法：Y=sim(net,X)参数：net：网络X：输入给网络的Ｋ×N矩阵，其中K为网络输入个数，N为数据样本数Y：输出矩阵Q×N，其中Q为网络输出个数保存网络validationchecks是用来防止网络训练过适的，即是训练时网络的验证误差大于训练误差的次数，默认值为6就是大于次数达到6次训练就会停止。网络训练过适时，即使performance还在减小网络性能也不会提高，反而会降低，因此要设定过适次数来提前训练以保证网络性能。%当前输入层权值和阈值inputWeights=net.IW{1,1}inputbias=net.b{1}%当前网络层权值和阈值layerWeights=net.LW{2,1}layerbias=net.b{2}inputWeights=net.IW{1,1}inputbias=net.b{1}%当前输入层权值和阀值layerWeights=net.LW{2,1}layerbias=net.b{2}net.IW{1,1};输入层到第一层隐层的权值net.b{1,1};输入层到第一层隐层的阈值net.LW{2,1};第一层隐层到第二层隐层的权值net.b{2,1};第一层隐层到第二层隐层的阈值net.LW{3,2};第二层隐层到输出层的权值net.b{3,2};第二层隐层到输出层的阈值1．网络总体结构网络总体结构包括以下属性：(1)numInputs：该属性定义了神经网络的输入个数，属性值可以是0或正整数。需要注意的是，该属性定义了网络输入矢量的总个数，而不是单个输入矢量的维数。(2)numLayers：该属性定义了神经网络的层数，其属性值可以是0或正整数。(3)biasConnect：该属性定义了神经网络的每层是否具有阈值，其属性值为N×1维的布尔量矩阵，其中N为网络的层数(net.numLayers)。net.biasConnect(i)为1，表示第i层上的神经元具有阈值，为0则表示该层没有阈值.(4)inputConnect：该属性定义了神经网络的输入层，其属性值为N×Ni维的布尔量矩阵，其中N为网络的层数，Ni为网络的输入个数(net.numInputs)。net.inputConnect(i,j)为1，表示第i层上的每个神经元都要接收网络的第j个输入矢量，为0则表示不接收该输入。(5)layerConnect：该属性定义了网络各层的连接情况，其属性值为N×N维的布尔量矩阵，其中N为网络的层数。net.layerConnect(i,j)为1，表示第i层与第j层上的神经元相连，为0则表示它们不相连。(6)outputConnect：该属性定义了神经网络的输出层，其属性值为1×N维的布尔量矩阵，其中N为网络的层数。net.outputConnect(i)为1，表示第i层神经元将产生网络的输出，为0则表示该层不产生输出。(7)targetConnect：该属性定义了神经网络的目标层，即网络哪些层的输出具有目标矢量。其属性值为1×N维的布尔量矩阵，其中N为网络的层数。net.targetConnect(i)为1，表示第i层神经元产生的输出具有目标矢量，为0则表示该层输出不具有目标矢量。(8)numOutputs：该属性定义了神经网络输出矢量的个数，属性值为只读变量，其数值为网络中输出层的总数(sum(net.outputConnect))。(9)numTargets：该属性定义了网络目标矢量的个数，属性值为只读变量，其数值为网络中目标层的总数(sum(net.targetConnect))。(10)numInputDelays：该属性定义了神经网络的输入延迟，属性值为只读变量，其数值为网络各输入层输入延迟拍数(net.inputWeights{i,j}.delays)中的最大值。(11)numLayerDelays：该属性定义了神经网络的层输出延迟，属性值为只读变量，其数值为各层的神经元之间连接延迟拍数(net.layerWeights{i,j}.delays)中的最大值。2．子对象结构子对象结构包括以下属性：(1)inputs：该属性定义了神经网络每个输入的属性，其属性值为Ni×1维的单元数组，其中Ni为网络输入的个数。(2)layers：该属性定义了神经网络每层神经元的属性，其属性值为N×1维的单元数组，其中N为网络的层数。(3)outputs：该属性定义了神经网络每个输出的属性，其属性值为N×1维的单元数组，其中N为网络的层数。(4)targets：该属性定义了每层神经网络目标矢量的属性，其属性值为N×1维的单元数组，其中N为网络的层数。(5)biases：该属性定义了每层神经网络阈值的属性，其属性值为N×1维的单元数组，其中N为网络的层数。(6)inputWeights：该属性定义了神经网络每组输入权值的属性，其属性值为N×Ni维的单元数组，其中N为网络的层数，Ni为网络的输入个数。(7)layerWeights：该属性包括了神经网络各层神经元之间网络权值的属性，其属性值为N×N维的单元数组，其中N为网络的层数。3．函数神经网络对象的函数包括以下