矩阵微分在BP神经网络中的应用

导师:花强姓名：崔义新学号：20140830研究方向：ELM矩阵微分在BP神经网络中的应用2矩阵微分在BP神经网络中的应用1矩阵的微分1.1相对于向量的微分的定义1.2相对于矩阵的微分的定义1.3复合函数的微分2人工神经网络2.1人工神经网络的定义2.2人工神经网络的模型2.3BP人工神经网络模型2.4BP人工神经网络基本算法公式推导2.5BP人工神经网络基本算法结束语1.1相对于向量的微分的定义对于n维向量函数，设函数是以向量X为自变量的数量函数，即以n个变量xi为自变量的数量函数.我们将列向量叫做数量函数f对列向量X的导数，记作例1．求函数对X的导数对X的导数解：根据定义即12()(,,,)nffxxxX1...Tnffxx1nfxdfffdfxgradX12TndffffdxxxX22212()TnfxxxXXX=1112222nnnfxxxdfdfxxxXX()2TddXXXX2020/12/301.2相对于矩阵的微分的定义定义2设函数是以P×m矩阵A的P×m元素为自变量的数量函数，简称以矩阵A为自变量的数量函数.例如定义P×m矩阵称为数量函数f对矩阵A的导数，记作.()ffAija32111211212223112122111211112122111TfaaaaaaaaaaaaafaaaAaA11122122aaaaA=1111()mijpmppmffaafdfadffaaAA()dfdAA1.2相对于矩阵的微分的定义例2:求对矩阵的导数，其中向量X是定常的，A是对称的.解:根据定义有即定义3如果矩阵的每个元素都是t的可微函数，则A(t)关于t的导数(微商)定义为：()TfA=XAX1111222121111212122122221222()xaafxxxaxxaxxaxaaaxA=21112112112221222122()TffaaxxxxdfxxffxdxxxaaA=XXA()=TddTXAXXXAijAtatCmn()'()(())ijmndAtdAtatdtdt1.3复合函数的微分公式1设则证明：由给定条件有将上式结合起来公式2设则2020/12/30(),()ffYYYXTTTTdfddfddddfdfddddYXXYYXYXTTdfddfddddd和YYYXYX()()ff，X,YYYXTTTTTdffdfdddfdffddddYXXXYYXXYXTTTTTdfddfdfddfddddddYYX=YXXYX2人工神经网络2.1人工神经网络的定义人工神经网络（ArtificialNeuralNetworks,ANN）是由大量处理单元互联组成的非线性、自适应信息处理系统.它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理.人工神经网络是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型.这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的.2020/12/302.2人工神经网络的模型2020/12/30（4）细胞体完成电化学信号整合与处理，当胞体中接受的累加刺激超过一个阈值时，胞体就被激发，此时它沿轴突通过树突向其它神经元发出信号.(1)生物神经元主要由树突、轴突、突触和细胞体组成.树突相当于信号的输入端，用于接受神经冲动.(2）轴突是由细胞体向外伸出的最长的一条分支相当于信号的输出(3）突触是神经元之间通过轴突（输出）和树突（输入）相互联结点.2.2人工神经网络的模型是第i个神经元的输出，它可与其他多个神经元通过权连接;分别指与第i个神经元连接的其他神经元输出；分别是指其他神经元与第i个神经元连接的权值；是指第i个神经元的阈值；是第i个神经元的净输入；f是非线性函数，称为输出函数或激活函数.激活函数进行放大处理或限制在一个适当的范围内.典型的激活函数有符号函数、阶跃函数、S型函数等.2020/12/30iyixjiwiiu2.3BP人工神经网络模型误差反传算法的主要思想误差反传是把学习过程分为两个阶段：第一阶段（正向传播过程），给出输入信息通过输入层经隐含层处理并计算每个单元的实际输出值；第二阶段（反向过程），若在输出层未能得到期望的输出值，则逐层递归地计算实际输出与期望输出之差值（即误差），以便根据此差值调节权值；2020/12/302.3BP人工神经网络模型基于BP算法的多层前馈型网络的结构如图所示2020/12/30假设有N个训练样本，即有N个输入输出对（Xn,Yn）,n=1,…,N,其中,输入向量为:目标输出向量为（实际上的):网络输出向量为（理论上的）2.3BP人工神经网络模型(1,2,...,)kxkN(1,2,...,)kykN(1,2,...,)kykN记为从输入向量的第j(j=1,…,m)个分量到隐藏向量的第i(i=1,…,n)个分量的权重，从隐藏向量的第j(j=1,…,m)个分量到输出向量的第i(i=1,…,n)个分量的权重。通常理论值与实际值有一误差，网络学习则是指不断地把与比较，并根据极小原则修改参数，使误差平方和达最小：记•Delta学习规则:ijijij（3）ijw表示递推一次的修改量，则有称为学习的速率21ijw32ijw21()2klklklEyy32()()jklkkjkkkjklljkjkjkyEEyyfnetnetynet3232()()()lijjkkjkkwmymym对于隐藏层，权值修正量为2.4BP人工神经网络基本算法公式推导对于隐藏层阈值的修正量对于输出层权值的修正量对于隐藏层阈值的修正量2020/12/30232222(),(1)()ijjkijijkbmbmbmb212121()()()()lijjkkjkkljklkkkjkjkllljkjkjkjkwmymymEEEfnetnetynet121111(),(1)()ijjkijijkbmbmbmb2.5BP人工神经网络基本算法2020/12/30第一步，对数据经行归一化狐狸，网络初始化根据系统输入输出序列（X,Y）确定网络输入层节点数n，输出层节点数l，输入层输出层的神经元个数分别由函数输入和输出的维数确定.由实验经验隐含层节点个数需要大于输入层隐层节点数，设为m，初始化输入层、隐层、输出层之间的连接权值，初始化隐层阈值，输出层阈值，给定学习速率以及学习误差error；训练次数maxEpoch，可以根据训练需要改动；第二步，输入样本计算隐含层的输出值,计算公式为将其作为输出层的输入.第三步，计算输出层的输出.第四步，计算全局误差e第五步，判断误差是否达到预先设定的要求或者训练次数是否达到最大值，如果是，算法结束；否则，进行第六步第六步，计算输出层到隐含层的误差信号；第七步，计算隐含层到输入层的误差信号；第八步，调整计算输出层到隐含层的权值和阈值；第九步，调整计算隐含层到输入层的权值和阈值；第十步，输入下一样本，依次循环结束语人工神经网络，是由大量处理单元（神经元）组成的非线性大规模自适应动力系统.本文描述了BP神经网络的基本原理和基本算法，介绍了与矩阵论中矩阵微分，向量微分的相关联系.在理论方面，详细分析了算法提出的理论依据与总体思路.由于本算法能够通过梯度下降方法进行网络训练，因此，需要考虑如何对矩阵求梯度，如何对向量求导数，而这正是矩阵论所解决的问题，因此，两者之间存在着必然的联系.从以上研究结果可以看出，BP神经网络是以矩阵论相关知识为基础的.由于本人能力有限，因此本课题在以后的研究中还需要进一步完善.2020/12/30