第3章 神经网络控制091019-101010-110926-121029

第3章神经网络控制•几种典型的神经网络模型前馈(BP)、反馈(Hopfield)型等•它们在系统建模及控制中的应用3.1概述3.1.1神经元模型生物神经元轴突末梢传导信息接受器通过突触实现神经元之间的信息传递3.1.1神经元模型（续）人工神经元模型树突1yxnx1w0w1wnΣf(·)权变换函数,非线性x2w2输入静输入阈值输出s另一神经元的轴突（输出端）突触（连接）轴突（输出端）细胞体3.1.1神经元模型（续）输入输出关系：)(),1(00001sfywxxwwxwSniiiniii3.1.1神经元模型（续）常见的变换函数（转移函数）（见孙p126,图3.3）：（1）比例函数（线性）（2）*符号函数（对称硬极限）（3）饱和函数（4）*双极性S型函数（双曲正切）（5）阶跃函数（硬极限）（6）*单极性S型（对数S形）(Sigmoid，S形函数)10()10syfss1(),01xfxe1(),01xxefxe()yfssf(x)1.0x0f(x)1.00.5x0f(x)1.00x-1.0单极性S形函数，μ越大越弯双极性S形函数（双曲正切）阶跃函数3.1.2人工神经网络人工神经网络从结构及实现机理和功能两方面对生物神经网络进行模拟………（a)典型的前馈型网络(b)典型的反馈型网络…3.1.2人工神经网络(续)•人工神经网络是一个并行和分布式的信息处理网络结构。•人工神经网络ArtificialNeuralNetworks（ANN）是对人类大脑系统的一阶特性的一种描述，是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。•人工神经网络是一个具有如下特征的有向图：(1)对于每个结点（j）有一个状态变量xj;(2)结点i到j有一个连接权系数wji;(3)对于每个结点有一个阈值θj;(4)对于每个结点定义一个变换函数，最常见的情形为：)(jiijixwf3.1.3生物神经网络系统与计算机处理信息的比较（自己看一下孙P128）神经网络的基本特征与功能结构特征：并行式处理分布式存储容错性能力特征：自学习自组织自适应性功能：联想记忆非线性映射分类与识别优化计算知识处理3.1.4神经网络的发展概况萌芽期（20世纪40年代）•1943年，心理学家McCulloch（麦克卡洛克）和数学家Pitts（匹兹）提出了著名的阈值加权和模型，即M-P模型，发表于《BulletinofMathematicalBiophysics》。•1949年，心理学家Hebb（赫布）提出神经元之间突触联系是可变的假说,提出神经元连接强度的修改规则——Hebb学习律。第一高潮期（1950~1968）•50年代、60年代的代表性工作是Rosenblatt（罗森布拉特）的感知机(perceptron)和Widrow（威德罗）的自适应性元件Adaline.可用电子线路模拟。•人们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地投入此项研究，希望尽快占领制高点。3.1.4神经网络的发展概况（续）第一低潮期（1969~1982）•1969年，Minsky（明斯基）和Papert（帕泊特）合作发表了Perceptron（感知机）一书，得出了消极悲观的论点(“异或”运算不可表示)，反响很大；•加上数字计算机正处于全盛时期并在人工智能领域取得显著成就，70年代人工神经网络的研究处于低潮。3.1.4神经网络的发展概况（续）第二热潮期（1983~1990）•80年代后，传统的VonNeumann数字计算机在模拟视听觉的人工智能方面遇到了物理上不可逾越的极限。与此同时，神经网络研究取得了突破性进展，神经网络的热潮再次掀起。•1982、1984，Hopfield（赫普菲尔德）发表了两篇文章，提出了反馈互连网（即Hopfield网），可求解联想记忆和优化问题。较好地解决了著名的TSP问题（旅行商最优路径问题）。•1986，Rumelhart（鲁梅哈特）和Mcclelland（麦克科莱兰）等人提出多层前馈网的反向传播算法（BackPropagation)(即BP网络或BP算法），解决了感知机所不能解决的问题。•1987年，美国召开了第一届国际神经网络会议。•1989年10月，国内首次神经网络大会于在香山举行（100人）。•1990年12月，国内首届神经网络大会在北京举行。3.1.4神经网络的发展概况（续）应用研究与再认识期（第二低潮期?）（1991~）•开发现有模型的应用，并在应用中根据实际运行情况对模型、算法加以改造，以提高网络的训练速度和运行的准确度。•希望在理论上寻找新的突破，建立新的专用/通用模型和算法。•进一步对生物神经系统进行研究，不断地丰富对人脑的认识。3.2前馈神经网络3.2.1感知器网络典型结构：一个输入层+若干隐层+一个输出层。如图3.4(a)(孙P127)1.单(计算)层感知器网络w12w1nθ1θ2θnx1x2xnw11y1y2yn…wj2wj1wjnθjx1x2xnyj…单层感知器网络单个神经元的感知器1.单层感知器网络（续）任一神经元的输入输出变换关系：若有P个样本Xp(p=1,2,···,P),经过感知器的输出yj只有两种可能，即1和-1，说明它将输入模式分成了两类。P个点分属于n维空间的两个不同的部分。以二维空间为例（2输入，单神经元），如图3.7所示(孙P130)。0010(1,)10()1,0nnjjiijjiijjiijjjjSwxwxxwsyfss1.单层感知器网络（续）根据感知器的变换关系,可知分界线的方程为（令s=0）：这是一条直线（对n个输入是n维空间上的超平面）。它说明，只有那些线性可分模式才能用单层感知器来加以区分。而图3.8(孙P131)所示的是异或关系，它是线性不可分的。用单层感知器不能将其正确分类。02211xwxw传统分类能力ANN分类能力1.单层感知器网络（3）•单层感知器的学习算法问题描述：已知输入输出样本Xp和dp（p=1,2,…,P），这里Xp和dp表示第p组输入向量（n+1维，包括阈值输入项1）和希望的输出。问题是，如何设计感知器网络的连接权wi(i=1,2,…,n)和θ，以使该网络能实现正确的分类。即如何根据样本对连接权和阈值进行自学习和调整。（续）学习算法（对单个元，也适用于单层感知器，因各单元可独立计算）：（1）给定权初值wi(0)（较小的随机非零值，包括阈值w0=-θ，阈值并入权W中),学习次数k=0（2）输入一个样本Xp和dp，计算输出（f为符号函数））个分量总为的第设取10,1()(00pppiniipXxxwfy（3）修正权wi(k+1)=wi(k)+α(dp-yp)xpi，i=0,1,2,…,n学习率0α=1,用于控制修正速度。（4）选另外一组样本，k增1，重复（2）~（4），直到wi(k+1)对一切样本均稳定不变（即dp=yp）为止。该算法收敛的充要条件：输入样本线性可分.2.多层感知器网络输入层（第0层，n0个神经元）+中间层+输出层（第Q层，nQ个神经元）其输入输出变换关系：1qq-1()()(1)(1)()()000()()q=1,2,...,Qi=1,2,...,n(qj=1,2,...,n(q-1,(1,,)10()10qnqqqqqqiijjiijqqqiiiqiswxxwsxfss层神经元编号第层神经元个数）输入变量编号第层神经元个数，即输入量个数））（阈值及负号在权中考虑的好处是可以随权一起调整，此处与书上不同每一层相当于一个单层感知器网络，如对q层，它形成一个nq-1维的超平面，对该层的输入模式进行线性分类。多层组合最终可实现较复杂的分类。例：异或的实现过程.真值表x2x1Y000011101110x2x1Y-1-1-1,P3-111,P41-11,P211-1,P10用-1代替后x(2)x2(1)x1(1)x2(0)x1(0)w12(1)w2(2)w1(2)w11(1)实现异或的多层感知器网络P1P3(0)2x(0)1x1-11L1L2P2P4Q1(P2)Q3(P4)(1)2x(1)1x1-11L3Q2(P1,P3)(1)(0)(1)(0)(1)11112211:0Lwxwx一个最简单的单计算节点感知器具有分类功能。其分类原理是将分类知识存储于感知器的权向量（包含了阈值）中，由权向量确定的分类判决界面将输入模式分为两类。先设计第一层的权，使分界线为L1和L2，对应L1，P2的输出为1，P1、P3、P4的输出为-1；对应L2，P1、P2、P3的输出为1，P4的输出为-1。再设计第二层的权，使分界线为L3，Q2的输出为1，Q1、Q3的输出为-1。从而将Q2(P1,P3)与Q1(P1),Q3(P4)区分开来。定理：假定隐层结点数可以根据需要自由设置，那么用三层的阈值网络可以实现任意的二值逻辑函数。（与、或、非、异或、析取、蕴含）与、或、非用二层（输入也算一层）即可实现。感知器结构异或问题复杂问题判决域形状判决域无隐层半平面单隐层凸域双隐层任意复杂形状域具有不同隐层数的感知器的分类能力对比多层前馈网，变换函数采用S型函数，连续，可微，Yi=0~1，权的调整采用反向传播算法变换关系：1()()()(1)(1)()()000()()(1,)1()1qqinqqqqqqiijjiijqqiisswxxwxfse，与书上不同qq-1q=1,2,...,Q(i=1,2,...,n(qjj=0,1,2,...,n(q-1三重循环：第q层,最大层数）第i个神经元，第层神经元个数）当前层输入向量的第个分量，第层神经元个数）3.2.2BP网络训练：用P组样本对网络进行训练，0000012,12,[,,,],[,,,],(1,2,,).QTTppppnppppnXxxxddddpP训练好以后，对不是样本集中的输入，也能给出合适的输出。称为泛化（Generalization）功能。类似于插值。训练即调整连接权，其目标是使拟合误差的代价函数E最小.()2111()211()21()2QQnPPQpipippipnQppipiiEdxEEdx这是一个求最小值的问题，或优化问题。优化计算的方法很多。比较典型的是一阶梯度法，又称最速下降法。一阶梯度法寻优的关键是：计算优化目标函数(E)对寻优参数（wij）的一阶导数，然后按下式调整寻优参数：(1)()()(),(0)ijijijijijEwkwkwEwkw即按负梯度方向寻优。wijEw(k+1)w(k)BP网络权的学习算法：迭代法。(1()()()()()(1)()()11()(1)(1)()()1()()()()(1)()(),0()()(1)()(1)QpiqqqqijijijPPpqqqijpipjqqppijijnqqqqqpipkkipipikQQQQpipipipipixwmwmDmEEDx“误差”由q+1层反向递推q层其中)1()()(),1,,11,2,,;0,1,2,,1,2,,,(1)qqqpiqqijijqQQinjnpPDwm事先已正向运行计算得到取遍算算（用了所有样本）,再算m—迭代次数。0层输入和末层输出为已知量，起步时需设定权、学习率，然后逐步调整权。xpi是正向求，δpi是反向求，然后就可作一次权调整，直至满意。BP算法优点：（1）可逼近任意非线性映射关系（只要隐层及隐层结点足够多）；（2）学习算法属全局逼近法，有较好的泛化能力。BP算法缺点：（1）收敛