第7章神经网络的理论基础pptConvertor

§7神经网络的理论基础传统的基于模型的控制方式：是根据被控对象的数学模型来设计控制器，并对控制规律加以数学解析描述。模糊控制：是基于专家经验和领域知识总结出若干条模糊控制规则，构成描述具有不确定性复杂对象的模糊关系，通过被控系统输出误差及误差变化和模糊关系的推理合成获得控制器。解决了智能控制中人类语言的描述和推理问题，在机器人模拟人脑的感知、推理等智能行为方面迈出了重要一步，但在数据处理、自学习能力方面还远未达到人脑的境界。上述两种控制方式都具有显式表达知识的特点。人工神经网络控制（ArtificialNeuralNetwork)：用来模拟人类大脑神经网络的结构和行为，它从微观结构和功能上对人脑进行抽象和简化，是模拟人类智慧的一条重要途径，反映了人脑的若干基本特征：并行处理、学习、联想、模式分类、记忆等。不善于显式表达知识，具有很强的逼近非线性函数的能力。§7.1神经网络的发展史启蒙期（1890~1969）1890年，W.James发表专著《心理学》，讨论了脑的结构和功能。1943年，W.s.McCulloch和W.Pitts提出了第一个神经网络模型（M-P）。1949年，心理学家Hebb提出了Hebb学习规则。1958年，E.Rosenblatt提出了描述信息在人脑中存储和记忆的数学模型，既感知机模型（Perceptron)。感知机模型被认为是最早提出的一种神经网络模型，有单层感知机和多层感知机，与BP网络一样，属前馈型神经网络；但连接权值的有关要求与BP网络有区别：对于两层（隐含层、输出层）的感知机模型，只有隐含层到输出层的连接权值能够调整，输入层到隐含层的权值必须固定（因为当时无权值修正的算法）。能解决与、或等问题，但不能解决“异或”问题。1962年，Widrow和Hoff提出了自适应线性神经网络（Adaline网络)，并提出了δ学习规则。低潮期（1969~1982）1969年：Grossberg提出了ART神经网络。1972年，Kohonen提出了自组织映射的SOM模型。3复兴期（1982~1986）1982年，物理学家Hopfield提出了Hopfield神经网络模型，该模型引入能量函数，实现了问题的优化求解，并于1984年成功解决了旅行商路径优化问题（TSP）。1986年，Rumelhart和McCellandz在《ParallelDistributedProcessing》一书中提出了BP网络模型。4新连接机制时期（1986年至今）从理论走向应用：神经网络芯片和神经计算机。§7.2神经网络的结构神经网络的结构是由基本处理单元及其连接方法决定的。一神经网络概念是仿效生物处理模式，以获取智能信息处理功能的理论。神经网络着眼于脑的微观网络结构，通过大量的神经元的复杂连接，采用由底到顶的方法，通过自学习、自组织和非线性动力学所形成的并行分布方式来处理难于语言化的模式信息。神经元及其特性神经元有多个输入：x1、x2、···、xn和一个输出y组成，输出由下式描述：x1f(u)u01f(u)u1uu1f(u)1f(u)uu(a)二值函数（阈值型函数）(d)线性函数(c)Sigmoid函数(b)分段线性函数输出函数的四种常用形式四种常用函数的表达式如下：阈值型函数：分段线性函数：Sigmoid函数：线性函数：决定神经网络模型性能的三大要素：1）神经元的特性2）神经元之间的相互连接形式3）为适应环境而改善性能的学习规则。三分类前向网络（前馈网络）在该方式中，网络被分为输入层、隐含层和输出层，信息从输入层开始，经隐含层流向输出层。每一层的神经元只接受前一层神经元的输入，在各神经元之间不存在反馈。递归网络（反馈网络）如右图所示，多个神经元互连以组织一个互连神经网络，有些神经元的输出被反馈至同层或前层神经元，信号能正向和反向双向流通。典型反馈神经网络模型如Hopfield网络如下图所示。两种网络的区别：（1）信息的传输：前馈神经网络中信息只向一个方向流动，网络中各神经元接收前一级的输入，并输出到下一级，网络中没有反馈；而反馈神经网络输入信号决定反馈系统的初始状态，然后系统经过一系列状态转移后，逐渐收敛于平衡状态。（2）应用领域：前馈神经网络分类能力和模式识别能力强于其它类型的神经网络，一般用于模式识别和函数逼近；反馈神经网络按对能量函数的极小点利用分为两类：能量函数的所有极小点都起作用，用于各种联想存储器；只利用全局极小点，用于求解优化问题。神经网络的学习算法神经网络的学习算法是神经网络智能特性的重要标志，神经网络通过学习算法实现了自适应、自组织和自学习的功能。注意：学习的目的是调整连接权值及有关阈值，使网络更接近真实的值。有导师学习（SupervisedLearning）、无导师学习（SupervisedLearning）等。输入信号XPHebb学习规则由神经心理学家Hebb提出的学习规则可归纳为：“当两个神经元激活同步（同时处于激发状态或同为抑制）时，它们之间的连接强度应增加，反之应减弱”。最常用的一种数学描述为：上式定义的是一种无导师学习规则，它不需要关于目标输出的任何相关学习。上述算式存在的问题：对权值矩阵的取值未做任何限制，因此学习后权值可取任意值，为此改进如下：dr为衰减系数，取值范围[0,1]。另外，Hebb学习规则还可以采用有导师的学习算法：mi(k)、nj(k)分别为两个神经元的目标输出。Delta(δ)学习规则（又称为误差纠正学习规则）学习的最终目的是使某一基于误差的函数达到最小，以使网络中每一输出单元的实际输出在某种统计意义上最逼近于期望输出。一旦选定了目标函数形式，对于训练样本数为P个的单输出系统，取目标函数为均方差误差判据的表达式为：直接用上式作为目标函数时，需要知道整个过程的统计特性，为解决这一困难，用E在时刻k的瞬时值E(k)替代E，即：dP代表期望输出，YP为网络的实际输出，这样，问题变为求E(k)对连接权值ωij的极小值，根据梯度下降法可得权值修改公式为：神经网络学习的目的是通过调整权值W使误差函数最小。可采用梯度下降法来实现权值的调整，思路：沿误差的负梯度方向不断修正权值，直到误差为最小。（BP网络详细介绍）神经网络的特征及要素特征（1）能逼近任意非线性函数（2）信息的并行式分布与存储（3）可以多输入、多输出。（4）便于超大规模集成电路、光学集成电路系统、现有计算机技术实现。（5）自学习，适应环境能力强。要素神经元的特性、神经元之间连接的拓扑结构、学习规则。§7.3典型神经网络一BP网络简介感知机能够完成某些要求的联想或映射，然而它们对象（00，0），（01，1），（10，1）和（11，0）这样模式对的联想（称为“异或”问题）却表现出局限性，即无论如何调节连接权值，都不能获得要求的映射（无中间隐含层）。1986年，Rumelhart等提出了误差反向传播神经网络（ErrorBackPropagation）简称BP网络，它能够很好的解决“异或”问题。特点（1）多层网络，包含输入层、隐含层和输出层。（2）层与层之间采用全互连方式，同一层神经元之间不连接。（3）权值通过δ学习规则调节，由正向传播和反向传播组成。（4）神经元激发函数为Sigmoid函数。2BP网络结构如上图所示，在已知输入和输出（样本）的情况下，要求网络中的各权值γ、ω，得到输入输出之间的映射。BP网络实现的办法是：通过一个代价函数最小化过程完成输入输出的映射。常用的代价函数为：所有输入模式上输出层单元希望输出值与实际输出值的误差平方和最小。BP网络实现的计算机算法以误差平方和为代价函数的计算机算法1.给LA层单元到LB的连接权值γhi，LB层单元到LC的连接权值ωij以及LB层单元阈值θi，LC层阈值υj赋[-1，+1]区间的随机值。2.对于每一个模式对（AK,CK）(K=1,2,···,m)(其中AK为输入向量,AK=(a1k,a2k,···,ank),CK为输出向量CK=(c1k,c2k,···,cqk))进行下列操作：将AK值送到LA层单元，再将LA层单元的激活值ah通过连接权矩阵Γ送到LB层单元，产生LB层单元新的激活值：为型函数：②计算LC层（输出层）单元的激活值:③计算LC层（输出层）单元的一般化误差：其中为LC层（输出层）单元的希望输出（试验结果）。④计算LB层单元相对于每一个dj的误差：此步相当于将输出层(LC层)误差逆传导至隐含层(LB层)⑤调整LB层至LC层的连接权：为学习率,⑥调整LC层的阈值：⑦调整LA层至LB层的连接权：⑧调整LB层单元的阈值：重复步骤2，直到对于（对于一个模式对每一个输出值）和（对于所有的模式对），误差变得足够小或者变为零为止。BP网络学习可以分成两个阶段：a对于给定的网络输入，通过现有连接权将其正向传播，获得各单元的实际输出（激活值）；b首先计算出输出层各单元的一般化误差，这些误差逐层向输入层方向逆向传播，以获得调整各连接权值所需的各单元参考误差。对于单一样本上述计算机算法中连接权值修改公式来源说明：总误差：其中，（1）一个输出单元输出值Cj改变时的误差导数：（2）一个输出单元接受总输入变化时的误差导数：（3）一个与输出单元连接权值改变时的误差变化率：即LB层到LC层连接权值的调整量为：其中a为学习率。同理可求LA层到LB层的连接权值修改量：0β1BP网络的优缺点优点：（1）只要有足够的隐层和隐层节点，可以逼近任意非线性关系。（2）属于全局逼近算法，具有较强的泛化能力。（3）容错性好。缺点：（1）收敛速度慢。（2）容易陷入局部极小。（3）难以确定隐层及其节点数目。5BP网络可以用于模式识别（略）7.4实例:焊接接头BP神经网络质量预测(一)基于数理统计的质量特征参数的提取分析1参数采集系统高速数据采集电路原理图2质量特征参数的提取及分析(1)闪光稳定性特征参数焊接过程中低压阶段后期闪光不稳定时的电流电压波形焊接过程中低压阶段后期闪光不稳定时焊接接头落锤断口缺陷高速采集的焊接过程中短路与断路的电流、电压波形图短路闪光断路短路、闪光、断路三种工况的判断规则短路：若在半个周波内电流的平均值Iaverage、电压的平均值Uaverage满足如下条件：IaverageC1andUaverageC2，则可判定此半波为短路半波。断路：若在半个周波内电流的平均值Iaverage、电压的平均值Uaverage满足如下条件：IaverageC3andUaverageC4，则可判定此半波为断路半波。闪光：既不是短路，又不是断路的半波为闪光半波。U71Mn钢轨加速阶段闪光率与灰斑面积关系（２）温度场特征参数焊接接头的能量输入焊接接头在焊接过程中的烧化量焊接时间(二)基于人工神经网络的焊接接头质量在线预测模型钢轨闪光焊BP网络模型的建立（1）网络结构的确定以落锤数作为输出层的BP网络结构图（2）样本参数的预处理大多数BP模型以S形函数作为转换函数，该函数的值域为[0,1],因此在训练时要将样本输出参数规范到[0,1]区间，文献[106]刘国东等采用的归一方法如下：改进后的对输出落锤数归一化处理的公式如下：采用文献[106]归一化后神经网络训练次数同误差的关系采用改进归一化模型后神经网络训练次数同误差的关系(3)隐含层单元数的确定由下述三个公式确定范围:式中M为训练样本总数，ｎ为输入层单元数。本模型采用17个样本进行训练，则隐单元数为：5～16，根据有关文献，隐单元数取输入层的1～3倍，即取5～15，在计算时取8～16，通过计算比较总迭代次数、最后训练误差等，选择最佳隐含层。隐含层的单元数取8～16，分别进行样本训练，比较训练次数。隐层个数8910111213141516训1697987869870585650909206678329401375161249381练次数隐含层单元数与预测准确率之间的关系隐层个数8910111213141516准确率90%80%80%90%90%90%90%90%90%2预测结果及分析对U71Mn正交试验的27个试验头的其余10个试验头进行归一化处理，用隐含层单元