北京交通大学研究生课程(神经网络模糊控制及专家系统)第五章

张严心2015研究生课程神经网络、模糊控制及专家系统第五章人工神经元网络模型第六章神经网络控制论第三部分神经网络控制第五章人工神经元网络模型引言前向神经网络模型动态神经网络模型NJTU第一节引言一、神经元模型二、神经网络的模型分类三、神经网络的学习算法四、神经网络的泛化能力人工神经网络的定义人工神经网络就是模拟人脑细胞的分布式工作特点和自组织功能实现并行处理、自学习和非线性映射等能力。因此是一种典型的智能控制方法。第一节引言人工神经网络模糊控制机器模拟人脑的感知、推理等智能行为人工模拟人脑的工作机理（人脑的生理学和心理学）第一节引言从网络结构分类：共性：三个研究内容：从神经元模型分类：非线性动力学系统快速并行处理能力自学习能力神经元模型神经网络结构神经网络学习方法线性处理单元非线性处理单元前向网络反馈网络自组织网络一、神经元模型是生物神经元的抽象和模拟，是模拟生物神经元的结构和功能、并从数学角度抽象出来的一个基本单元。第一节引言神经元一般是多输入-单输出的非线性器件。:::,1,2,::iijijjiiuxjnwuus神经元的内部状态；域值；为输入信号；表示从单元到单元的连接权系数；外部输入信号；1x2xnx1iw2iwinwiuiisiy第一节引言一、神经元模型()()()(),()iijjjiiiiiiiiiiNetwxsufNetYguhNetguuYfNet神经元模型可描述为：通常情况下，可以假设即12常用的神经元非线性特性有以下四种：阈值型分段线性型10()00iiiNetfNetNet0max0()iioiiiiiliilNetNetfNetkNetNetNetNetfNetNet第一节引言一、神经元模型31()1iiNetTSfNete型函数4()iiiiNetNetTTiNetNetTTeefNetee双曲正切型01fiNet0.50iNet1f第一节引言根据连接方式的不同神经网络可以分为以下四种形式：二、神经网络的模型分类网络模型可分为：⑴神经元层次模型⑵组合式模型⑶网络层次模型⑷神经系统层次模型⑴前向（馈）网络⑵反馈网络⑶相互结合型网络⑷混合型网络神经二、神经网络的模型分类1x2xnx1y2ymy1x2xnx1y2ymyDDD1x2xnx1ymy全互连局部互连⑴前向（馈）网络⑵反馈网络⑶相互结合型网络⑷混合型网络三、神经网络的学习算法学习的过程实质上是针对一组给定输入使网络产生相应的期望输出的过程。神经网络的学习算法分为有导师学习和无导师学习两大类。(1,2,,)pxpN有导师学习：是在训练过程中，始终存在一个期望的网络输出，期望输出和实际输出之间的距离作为误差度量并用于调整权值。神经网络距离计算输入信号网络输出期望输出pXpYpTW无导师学习：指的是网络不存在一个期望的输出，因而没有直接的误差信息，因此，为实现对网络的训练需建立一个间接的评价函数，以对网络的某种行为趋向作出评价。学习规则根据连接权系数的改变方式不同又可分为三类：相关学习、纠错学习和无导师学习。神经网络输入信号网络输出pXpYW四、神经网络的泛化能力当输入矢量带有噪声时，即与样本输入矢量存在差异时，其神经网络的输出同样能够准确地呈现出应有的输出。这种能力就称为泛化能力。例：在有导师指导下的学习中，泛化能力可以给出定量的定义。在具有某一个概率分布的样本中随机选取一部分作为神经网络的训练样本，并且首先对这一组样本进行网络训练最终得出神经网络输出的误差e1，然后再从全体样本数据中随机选取另一组输入输出数据。用这一批数据对已经训练好的神经网络进行校对，记下它们的校对误差即神经网络的实际输出与期望输出之差e2，那么，定义∣e1-e2∣为此神经网络的泛化能力。0102030-10-20-300.51.01.52.03.04.02.53.5九阶七阶五阶55()xyfx设给定个样本点，假定取一条潜在的曲线。通过插值计算可以得到在这个点之间任意输入点的未知曲线的输出值。四、神经网络的泛化能力第二节前向神经网络模型前向神经网络是由一层或多层非线性处理单元组成，相邻层之间通过连接权阵（突触权阵），由于前一层的输出作为下一层的输入，因此称此类网络结构为前向神经网络。定义：1962年Rosenblatt感知器1962年WidrowAdeline1985年Rumelhart多层感知网络和BP算法一、单一人工神经元二、单层神经网络结构三、多层神经网络结构四、多层传播网络的学习算法第二节前向神经网络模型一、单一人工神经元0101()njjjnjjjNetwxYwx1x2xnxwwnw()xy21100iixiwiNetY：表示第个输入：是决定第个输入的突触权系数：为阈值：所有输入的加全和（）：神经元的激励函数:输出，表示神经元的兴奋或抑制01110111iinnnjjjkjkjjknnnjjjkjkjjkNetxNetxNetwxwxxwxwxx上述假设是输入信号的线性函数，但一般情况下，应该是输入的非线性函数，即：此时，神经元的输出y为y=()分类器第二节前向神经网络模型一、单一人工神经元只含二次项的神经元结构示意图1x2xnx1x2xnx1xnxy11w12w1nw1nw2nwnnw二、单层神经网络结构(1,2,,)(1,2,)ioijioioinnnxjnnyiny它是由个输入单元和个输出单元组成的。系统个输入变量用表示，个输出变量用表示。则每一个输出神经元满足：1()jniijjijywx单层前向传播网络结构示意图2x1xinx1y2y0ny三、多层神经网络结构多层传播结构是在输入层和输出层之间嵌入一层或多层隐含层的网络结构（隐含层单元中至少含有一个非线性单元）。2x1xinx1y2yony输入层隐层输出层bn1120,(1,2,,)()1,2,,1,2,,()1,2,,ibioiibjnjjiijbionttjjtojnnxinnoowxjninywotn图中所示是只含有一个隐含层的神经网络，其中有个输入变量和个输出变量，输入变量向个隐含层单元传输输入信号，即每一个隐含单元的激励满足如下方程：输出层单元为：三、多层神经网络结构四、多层传播网络的学习算法()ppYTxTXTp=1,2,,N多层前向传播网络实质上表示的是一种从输入空间到输出空间的（非线性）影射：其中是与网络结构相关的非线性算子。神经网络通过合适的样本集，即输入输出矢量对(,),来进行训练。目的：对网络的连接权值进行调整，使得对任一输入都能得到所期望的输出。多层前向传播网络的权系数训练算法——误差反向传播学习算法B-P算法学习的具体步骤：（1）从训练样例集中取一样例，把输入信息输入到网络中；（2）由网络分别计算各层节点的输出；（3）计算网络的实际输出与期望输出的误差；（4）从输出层反向计算到第一个隐含层，按一定原则（必须确定如何沿减少误差的方向调整连接权值）向减少误差方向调整网络的各个连接权值；（5）对训练样例集中的每一个样例重复以上步骤，直到对整个训练样例集的误差达到要求为止。四、多层传播网络的学习算法四、多层传播网络的学习算法ˆ,()ijijkkjjiijijjoiwijNetjyykjNetwoofNetjiij：节点的输出；：从节点到节点的连接权值；：节点的输入；：分别为输出层上节点的实际输出(即由网络计算得到的输出）及期望输出。显然，对于节点有（节点位于节点的下一层上，且节点连接到节点）符号约定四、多层传播网络的学习算法2x1x1y2y输入层隐层输出层ix1jNetjO2tNetty1jiijwx2tjjtwO1111122220()()1,2,,()()1,2,,ibjjiijijjnjjiijbittjjtittnttjjtojNetwxofNetofwxjnNetwoyfNetyfwotn输入层-隐含层隐含层-输出层21()2(1)()(1)()1jjjjijijijijijiBPeyywtwtwwtwtttijwDD在算法学习过程中，为了使学习以尽可能快的减小误差的方式进行，对误差的计算采用了广义的规则，其误差函数为：连接权值的修改由下式计算：其中、分别是及时刻节点至节点的连接权值，表示权值的变化量。四、多层传播网络的学习算法01()jijijijijjiijiijijjijjijeeBPwwewwneteeeewoownetwnetwnetDD为了使连接权值沿着的梯度变化方向得以改善，网络逐渐收敛。算法取正比于，即：其中为增益因子（学习步长）。,jjijijjjieewonetwD令则，下面分两种情况计算。四、多层传播网络的学习算法jjiijiNetwo隐含层-输出层四、多层传播网络的学习算法2x1x1y2y输入层隐层输出层ix1jNetjO2tNettyjiijwxtjjtwO2222221()()()(1)()(1)tttttttttttttjtjttttjyeeyyfnetyyyynetynetwoyyyyoD以两层网络（一个隐含层，一个输出层）为例，推导各个节点的权值修正公式：从隐含层到输出层的权值修正21()2ttteyy221()1tttNetyfNete2()(1)ttttyfnetyyijt为输入层，为隐含层，为输出四、多层传播网络的学习算法111112222212()(1)ˆ()(1)ˆ(jjjjjjjjjjjjttttttttjttkjtjttjjoeeeefnetoonetonetooeoNetyNeteeeyyyywoNetoyNetoy从输入层到隐含层的权值修正，此时按下面方法计算：其中是一个隐含数求导问题（推导过程略）21121)(1)(1)ˆ()(1)(1)tttttjjjtjijitttttjjjitjiyyywooewxyyyywooxwD111()1jjjNetofNete21()2ttteyy2()(1)ttttyfnetyy四、多层传播网络的学习算法11111()jjiijjiijijjijjineteeewxxwnetwnetw21()2pkpkpkpkpkEEEyyppyypkE基于来完成在权值空间的梯度搜索，为：是训练样例的个数；、是对于样例的节点的实际输出与期望输出。这是基于的最小值进行学习的，这对于自适应模式识别是可行的，但没有模拟生物神经网络的处理过程。四、多层传播网络的学习算法1212,1,3,,0.95,0.05111TTTTxxxttBPfxe例：如图所示的多层前向传播神经网络结构。假设对于期望的输入。网络权系数的初始值见图。试用算法训练此网络（要求给出一步迭代学习过程），取神经元激励函数其中学习步长为。四、多层传播网络的学习算法1,2;0,1,2;0,1,2tij四、多层传播网络的学习算法2x1x11y2y231-2-11-213-20011O2O四、多层传播网络的学习算法11121111111221012111211222201212211(2)32201111110.1192;0.7311111netnetnetwxwxwxxnetwxwxwxxooeeee11122x1