BP神经网络实验报告资料

江南大学物联网工程学院实验报告课程名称人工智能实验名称BP神经网络实验日期2016-04-30班级计科1305姓名游思睿学号1030413529实验报告要求1．实验名称2．实验要求3．实验环境4．实验步骤5．实验体会一、实验目的：两个输入a、b（10以内的数），一个输出c，c=a+b。换句话说就是教BP神经网络加法运算。二、实验内容：Data用来表示已经知道的数据样本的数量，也就是训练样本的数量。In表示对于每个样本有多少个输入变量;Out表示对于每个样本有多少个输出变量。Neuron表示神经元的数量，TrainC来表示训练的次数。再来我们看对神经网络描述的数据定义，来看下面这张图里面的数据类型都是double型。d_in[Data][In]存储Data个样本，每个样本的In个输入。d_out[Data][Out]存储Data个样本，每个样本的Out个输出。我们用邻接表法来表示图1中的网络，w[Neuron][In]表示某个输入对某个神经元的权重，v[Out][Neuron]来表示某个神经元对某个输出的权重；与之对应的保存它们两个修正量的数组dw[Neuron][In]和dv[Out][Neuron]。数组o[Neuron]记录的是神经元通过激活函数对外的输出，OutputData[Out]存储BP神经网络的输出。初始化主要是涉及两个方面的功能，一方面是对读取的训练样本数据进行归一化处理，归一化处理就是指的就是将数据转换成0~1之间。在BP神经网络理论里面，并没有对这个进行要求，不过实际实践过程中，归一化处理是不可或缺的。因为理论模型没考虑到，BP神经网络收敛的速率问题，一般来说神经元的输出对于0~1之间的数据非常敏感，归一化能够显著提高训练效率。可以用以下公式来对其进行归一化，其中加个常数A是为了防止出现0的情况（0不能为分母）。y=(x-MinValue+A)/(MaxValue-MinValue+A)另一方面，就是对神经元的权重进行初始化了，数据归一到了（0~1）之间，那么权重初始化为（-1~1）之间的数据，另外对修正量赋值为0函数backUpdate(i)负责的是将预测输出的结果与样本真实的结果进行比对，然后对神经网络中涉及到的权重进行修正，也这是BP神经网络实现的关键所在。如何求到对于w[Neuron][In]和v[Out][Neuron]进行修正的误差量便是关键所在！误差修正量的求法在基本模型一文中数学分析部分有解答，具体问题具体分析，落实到我们设计的这个BP神经网络上来说，需要得到的是对w[Neuron][In]和v[Out][Neuron]两个数据进行修正误差，误差量用数据结构dw[Neuron][In]和dv[Out][Neuron]来进行存储。那么来分析下这两个修正误差量是什么样的？推导的思路与基本模型中推导误差量的一致，这里仅列出对具体对于我们设计的BP神经网络中的数学推导过程：三、实验环境VS2010四、实验步骤（对照截图具体说明，尽量详细）#includestdio.h#includetime.h#includemath.h#includestdlib.h#defineData820#defineIn2#defineOut1#defineNeuron45#defineTrainC20000#defineA0.2#defineB0.4#definea0.2#defineb0.3doubled_in[Data][In],d_out[Data][Out];doublew[Neuron][In],o[Neuron],v[Out][Neuron];doubleMaxin[In],Minin[In],Maxout[Out],Minout[Out];doubleOutputData[Out];doubledv[Out][Neuron],dw[Neuron][In];doublee;voidwriteTest(){FILE*fp1,*fp2;doubler1,r2;inti;srand((unsigned)time(NULL));if((fp1=fopen(D:\\in.txt,w))==NULL){printf(cannotopentheinfile\n);exit(0);}if((fp2=fopen(D:\\out.txt,w))==NULL){printf(cannotopentheoutfile\n);exit(0);}for(i=0;iData;i++){r1=rand()%1000/100.0;r2=rand()%1000/100.0;fprintf(fp1,%lf%lf\n,r1,r2);fprintf(fp2,%lf\n,r1+r2);}fclose(fp1);fclose(fp2);}voidreadData(){FILE*fp1,*fp2;inti,j;if((fp1=fopen(D:\\in.txt,r))==NULL){printf(cannotopentheinfile\n);exit(0);}for(i=0;iData;i++)for(j=0;jIn;j++)fscanf(fp1,%lf,&d_in[i][j]);fclose(fp1);if((fp2=fopen(D:\\out.txt,r))==NULL){printf(cannotopentheoutfile\n);exit(0);}for(i=0;iData;i++)for(j=0;jOut;j++)fscanf(fp1,%lf,&d_out[i][j]);fclose(fp2);}voidinitBPNework(){inti,j;for(i=0;iIn;i++){Minin[i]=Maxin[i]=d_in[0][i];for(j=0;jData;j++){Maxin[i]=Maxin[i]d_in[j][i]?Maxin[i]:d_in[j][i];Minin[i]=Minin[i]d_in[j][i]?Minin[i]:d_in[j][i];}}for(i=0;iOut;i++){Minout[i]=Maxout[i]=d_out[0][i];for(j=0;jData;j++){Maxout[i]=Maxout[i]d_out[j][i]?Maxout[i]:d_out[j][i];Minout[i]=Minout[i]d_out[j][i]?Minout[i]:d_out[j][i];}}for(i=0;iIn;i++)for(j=0;jData;j++)d_in[j][i]=(d_in[j][i]-Minin[i]+1)/(Maxin[i]-Minin[i]+1);for(i=0;iOut;i++)for(j=0;jData;j++)d_out[j][i]=(d_out[j][i]-Minout[i]+1)/(Maxout[i]-Minout[i]+1);for(i=0;iNeuron;++i)for(j=0;jIn;++j){w[i][j]=rand()*2.0/RAND_MAX-1;dw[i][j]=0;}for(i=0;iNeuron;++i)for(j=0;jOut;++j){v[j][i]=rand()*2.0/RAND_MAX-1;dv[j][i]=0;}}voidcomputO(intvar){inti,j;doublesum,y;for(i=0;iNeuron;++i){sum=0;for(j=0;jIn;++j)sum+=w[i][j]*d_in[var][j];o[i]=1/(1+exp(-1*sum));}for(i=0;iOut;++i){sum=0;for(j=0;jNeuron;++j)sum+=v[i][j]*o[j];OutputData[i]=sum;}}voidbackUpdate(intvar){inti,j;doublet;for(i=0;iNeuron;++i){t=0;for(j=0;jOut;++j){t+=(OutputData[j]-d_out[var][j])*v[j][i];dv[j][i]=A*dv[j][i]+B*(OutputData[j]-d_out[var][j])*o[i];v[j][i]-=dv[j][i];}for(j=0;jIn;++j){dw[i][j]=a*dw[i][j]+b*t*o[i]*(1-o[i])*d_in[var][j];w[i][j]-=dw[i][j];}}}doubleresult(doublevar1,doublevar2){inti,j;doublesum,y;var1=(var1-Minin[0]+1)/(Maxin[0]-Minin[0]+1);var2=(var2-Minin[1]+1)/(Maxin[1]-Minin[1]+1);for(i=0;iNeuron;++i){sum=0;sum=w[i][0]*var1+w[i][1]*var2;o[i]=1/(1+exp(-1*sum));}sum=0;for(j=0;jNeuron;++j)sum+=v[0][j]*o[j];returnsum*(Maxout[0]-Minout[0]+1)+Minout[0]-1;}voidwriteNeuron(){FILE*fp1;inti,j;if((fp1=fopen(D:\\neuron.txt,w))==NULL){printf(cannotopentheneuronfile\n);exit(0);}for(i=0;iNeuron;++i)for(j=0;jIn;++j){fprintf(fp1,%lf,w[i][j]);}fprintf(fp1,\n\n\n\n);for(i=0;iNeuron;++i)for(j=0;jOut;++j){fprintf(fp1,%lf,v[j][i]);}fclose(fp1);}voidtrainNetwork(){inti,c=0,j;do{e=0;for(i=0;iData;++i){computO(i);for(j=0;jOut;++j)e+=fabs((OutputData[j]-d_out[i][j])/d_out[i][j]);backUpdate(i);}printf(%d%lf\n,c,e/Data);c++;}while(cTrainC&&e/Data0.01);}intmain(intargc,charconst*argv[]){writeTest();readData();initBPNework();trainNetwork();printf(%lf\n,result(6,8));printf(%lf\n,result(2.1,7));printf(%lf\n,result(4.3,8));writeNeuron();return0;}五、实验体会教师评价优良中及格不及格教师签名日期