第五章--神经网络优化计算.

智能优化计算华东理工大学自动化系2010年1第五章神经网络优化计算智能优化计算华东理工大学自动化系2010年25.1人工神经网络的基本概念5.1.1发展历史5.1.2McCulloch-Pitts神经元5.1.3网络结构的确定5.1.4关联权值的确定5.1.5工作阶段5.2多层前向神经网络5.2.1一般结构5.2.2反向传播算法5.3反馈型神经网络5.3.1离散Hopfield神经网络5.3.2连续Hopfield神经网络5.3.3Hopfield神经网络在TSP中的应用►智能优化计算华东理工大学自动化系2010年35.1人工神经网络的基本概念“神经网络”与“人工神经网络”1943年，WarrenMcCulloch和WalterPitts建立了第一个人工神经网络模型；1969年，Minsky和Papert发表Perceptrons；20世纪80年代，Hopfield将人工神经网络成功应用在组合优化问题。5.1.1发展历史智能优化计算华东理工大学自动化系2010年45.1人工神经网络的基本概念重要意义现代的神经网络开始于McCulloch,Pitts(1943)的先驱工作；他们的神经元模型假定遵循有-无模型律；如果如此简单的神经元数目足够多和适当设置连接权值并且同步操作,McCulloch&Pitts证明这样构成的网络原则上可以计算任何可计算函数；标志着神经网络和人工智能的诞生。5.1.2McCulloch-Pitts神经元智能优化计算华东理工大学自动化系2010年55.1人工神经网络的基本概念结构McCulloch-Pitts输出函数定义为：5.1.2McCulloch-Pitts神经元InputsignalSynapticweightsSummingfunctionActivationfunctionOutputyx1x2xnw2wnw1)(f-θ0,00,1)sgn()sgn()(1xxxxwzfyniii其中，智能优化计算华东理工大学自动化系2010年65.1人工神经网络的基本概念网络的构建Y=F(X)5.1.2McCulloch-Pitts神经元x1y1输出层隐藏层输入层x2y2ymxn…………智能优化计算华东理工大学自动化系2010年7网络的拓扑结构前向型、反馈型等神经元激活函数阶跃函数线性函数Sigmoid函数5.1人工神经网络的基本概念baxxf)(5.1.3网络结构的确定xexf11)(f(x)x0+1智能优化计算华东理工大学自动化系2010年8确定的内容权值wi和θ确定的方式学习（训练）有指导的学习：已知一组正确的输入输出结果的条件下，神经网络依据这些数据，调整并确定权值；无指导的学习：只有输入数据，没有正确的输出结果情况下，确定权值。5.1人工神经网络的基本概念5.1.4关联权值的确定智能优化计算华东理工大学自动化系2010年9学习与工作的关系先学习→再工作5.1人工神经网络的基本概念神神神神神神神神神神神神神神神神神神神神神神神神神输输输输5.1.5工作阶段神神神神神神神神神神神输输输输神神神神智能优化计算华东理工大学自动化系2010年105.1人工神经网络的基本概念5.1.1发展历史5.1.2McCulloch-Pitts神经元5.1.3网络结构的确定5.1.4关联权值的确定5.1.5工作阶段5.2多层前向神经网络5.2.1一般结构5.2.2反向传播算法5.3反馈型神经网络5.3.1离散Hopfield神经网络5.3.2连续Hopfield神经网络5.3.3Hopfield神经网络在TSP中的应用►智能优化计算华东理工大学自动化系2010年115.2多层前向神经网络多层两层以上前向无反馈5.2.1一般结构输出层隐藏层输入层y1y2ym…x1x2xn………………智能优化计算华东理工大学自动化系2010年125.2多层前向神经网络目的确定权值方法反向推导5.2.2反向传播算法11liljiyljlkiy1liy)(ljlivfyljv1lkv)(1lkvfOy1ljljjiy)('ljvfjljyljlkkjy1)('kvfOdOd)](')[(kkkvfOd1lkkkkljvf)('层l层＋1l线性组合激活函数线性组合激活函数前向计算反向传播智能优化计算华东理工大学自动化系2010年135.1人工神经网络的基本概念5.1.1发展历史5.1.2McCulloch-Pitts神经元5.1.3网络结构的确定5.1.4关联权值的确定5.1.5工作阶段5.2多层前向神经网络5.2.1一般结构5.2.2反向传播算法5.3反馈型神经网络5.3.1离散Hopfield神经网络5.3.2连续Hopfield神经网络5.3.3Hopfield神经网络在TSP中的应用►智能优化计算华东理工大学自动化系2010年145.3反馈型神经网络一般结构各神经元之间存在相互联系分类连续系统：激活函数为连续函数离散系统：激活函数为阶跃函数智能优化计算华东理工大学自动化系2010年155.3反馈型神经网络Hopfield神经网络1982年提出Hopfield反馈神经网络（HNN），证明在高强度连接下的神经网络依靠集体协同作用能自发产生计算行为。是典型的全连接网络，通过引入能量函数，使网络的平衡态与能量函数极小值解相对应。智能优化计算华东理工大学自动化系2010年165.3反馈型神经网络网络结构N为网络节点总数。5.3.1离散Hopfield神经网络0)(,10)(,1)1()],(sgn[)1()()(1tvtvtstvtstswtvjjjjjjNiijij即s1(t+1)……s2(t+1)sn(t+1)s1(t)s2(t)sn(t)w12w1nw21w2nwn1wn2ΣΣΣΔv1(t)v2(t)vn(t)输入输出智能优化计算华东理工大学自动化系2010年175.3反馈型神经网络TNssss][21网络结构一般认为vj(t)=0时神经元保持不变sj(t+1)=sj(t);一般情况下网络是对称的（wij=wji）且无自反馈（wjj=0）;整个网络的状态可用向量s表示：5.3.1离散Hopfield神经网络0)(,10)(,1)1()],(sgn[)1()()(1tvtvtstvtstswtvjjjjjjNiijij即智能优化计算华东理工大学自动化系2010年185.3反馈型神经网络工作方式串行（异步，asynchronous）:任一时刻只有一个单元改变状态，其余单元保持不变；并行（同步，synchronous）：某一时刻所有神经元同时改变状态。稳定状态如果从t=0的任一初始态s(0)开始变化，存在某一有限时刻t，从此以后网络状态不再变化，即s(t+1)=s(t)，则称网络达到稳定状态。5.3.1离散Hopfield神经网络智能优化计算华东理工大学自动化系2010年195.3反馈型神经网络能量函数的定义异步方式：同步方式：5.3.1离散Hopfield神经网络θswss)()()(21)()()(21ttttststswETTiiiijjiji)]()1([21)()1(21)]1()([21)()1(21tttttstststswETTiiiiijjijissθwss0)(,10)(,1)1()],(sgn[)1()()(1tvtvtstvtstswtvjjjjjjNiijij即智能优化计算华东理工大学自动化系2010年205.3反馈型神经网络能量函数能量是有界的：从任一初始状态开始，若在每次迭代时都满足ΔE≤0，则网络的能量将越来越小，最后趋向于稳定状态ΔE＝0。5.3.1离散Hopfield神经网络iiijijiiiijjijiwssswE||||21||||||||||21||智能优化计算华东理工大学自动化系2010年215.3反馈型神经网络1)(,1)1(,21)(,1)1(,2)()1(,0)()1()(tststststststststsiiiiiiiii能量函数分析异步（且网络对称wij=wji）情况下：假设只有神经元i改变状态5.3.1离散Hopfield神经网络同号同号智能优化计算华东理工大学自动化系2010年225.3反馈型神经网络0)]()1([)]()1([212121212211tstsswsswststswsswsswssswsswEiiiiiiijjijiiiiiiijijjiijijijiiNjijjiNjijij能量函数分析异步（且网络对称wij=wji）情况下：假设只有神经元i改变状态5.3.1离散Hopfield神经网络同号θswss)()()(21)()()(21ttttststswETTiiiijjiji0)(,10)(,1)1()],(sgn[)1()()(1tvtvtstvtstswtvjjjjjjNiijij即智能优化计算华东理工大学自动化系2010年235.3反馈型神经网络能量函数分析同步（且网络对称wij=wji）情况下：5.3.1离散Hopfield神经网络0)]1()1(][)([21)]1()1([21)]1()1(][)([21)]1()([21)1()(21)]()1([21)()1(21ttttttttttttttttETTTTTTTTssθwsssθsswsssθwssssθwss同号智能优化计算华东理工大学自动化系2010年245.3反馈型神经网络网络结构与电子线路对应：5.3.2连续Hopfield神经网络g1C1I1z1g2C2I2z2g3C3I3z3gnCnInzny1y2y3yny1y2y3ynw21wn1w31w12w13w1nw23w2nw32w3nwn2wn3......智能优化计算华东理工大学自动化系2010年255.3反馈型神经网络iiinijjjijiiIzGywdtdzC1网络的微分方程5.3.2连续Hopfield神经网络Gi...giCiwi1wi2winIiy1y2ynziyi()iauyi=a(zi)(y1-zi)wi1(y2-zi)wi2(yn-zi)winiiinijjijijiiIzgzywdtdzC1)(iiinijjijnijjjijiiIzgwywdtdzC11输入输出智能优化计算华东理工大学自动化系2010年26网络的微分方程ze是动力系统的平衡点，称吸引子。5.3反馈型神经网络)(1iiiiinijjjijiizayIzGywdtdzC5.3.2连续Hopfield神经网络),(tdtdzfztte),(0zf...giCiwi1wi2winIiy1y2ynziyi()iauyi=a(zi)(y1-zi)wi1(y2-zi)wi2(yn-zi)win智能优化计算华东理工大学自动化系2010年27能量函数可证明，若a-1为单调增且连续，Ci0，wji=wij，则有dE/dt≤0，当且仅当dzi/dt=0时dE/dt=0。5.3反馈型神经网络niviiiiniiininjjiijidyyaGyIyywE101111)(1215.3.2连续Hopfield神经网络niiiiiidtdyd