王永骥人工神经网络原理、应用.

人工神经网络原理、应用及发展趋势王永骥华中科技大学控制系研究生论坛讲座22020/2/2纲要1.人工神经网络原理2.人工神经网络优势3.人工神经网络的应用4.人工神经网络研究趋势5.结束语研究生论坛讲座32020/2/21.人工神经网络原理人之所以有智能，是因为大脑中存在一个1000亿个神经元构成的生物神经网络;生物神经网络十分复杂，具有高度智能;人们力图抓住主要特点，构成人工神经网络，形成具有一定智能能力的信息处理工具。研究生论坛讲座42020/2/21.1神经系统的复杂性研究生论坛讲座52020/2/2研究生论坛讲座62020/2/2研究生论坛讲座72020/2/2研究生论坛讲座82020/2/2研究生论坛讲座92020/2/2研究生论坛讲座102020/2/2研究生论坛讲座112020/2/2Whatare(artificial)neuralnetworks?Itisanetworkwithinteractions,inattempttomimickingthebrain•UNITs:artificialneuron(linearornonlinearinput-outputunit),smallnumbers,afewhundreds•INTERACTIONs:simplybyweights,howstronganeuronaffectsothers•STRUCTUREs:couldbefeedforward,feedbackorrecurrentItisstillfartoonaive,andthedevelopmentofthefieldreliesonallofus研究生论坛讲座122020/2/21.1.2生物神经元人的大脑由1012个神经元构成，神经元互相连接成神经网络神经元组成：细胞体为主体1873年,意大利Cajai银渗透法发现Golgi体神经元功能：刺激、兴奋、传导、效应形状图突触传递信息特点研究生论坛讲座132020/2/2神经元示意图研究生论坛讲座142020/2/2突触传递信息特点(1)时延性:（0.3~1ms）(2)综合性：时间与空间的累加(3)类型：兴奋与抑制(4)脉冲与电位转换:（D/A功能）(5)速度：1~150m/s(6)不应期（死区）：3~5ms(7)不可逆性（单向）(8)可塑性:强度可变,有学习功能脉冲研究生论坛讲座152020/2/21.1.3人脑神经网络脑神经系统主要组成部分大脑皮层由许多功能区组成（运动、听觉、视觉等）神经元群其区域性结构：遗传其功能：后天对环境的适应于学习得来（自组织特性Self-Organization）子功能模块的并行关系a)大脑处理信息的特点b)生物学研究成果研究生论坛讲座162020/2/2a)大脑处理信息的特点分布存储与冗余性：记忆在大量元中，每个元存在许多信息的部分内容，信息在神经网络中的记忆反映在神经元间的突触连接强度上(weights）;并行处理：NN既是处理器又是存储器（并行处理不同于并行机）;信息处理与存储合一：每个元兼有二者功能;可塑性与自组织性：可塑性是学习记忆的基础;鲁棒性：高连接度导致一定的误差和噪声不会使网络性能恶化。是智能演化的重要因素。研究生论坛讲座172020/2/2b)BNN研究成果H-H方程英A.L.Hodgkin与A.F.Huxley长枪乌贼鱼电器特性得到四个变量的非线性微分方程，获Nobel生物医学奖许多NL问题可用此解释e.g.自激振荡chaos.多重稳定性等研究生论坛讲座182020/2/2H－H方程式中，I为膜电流，V为膜电位相对于静息膜电位Er的变化，VK,VNa,Vl分别为钾离子、钠离子和氯离子与其他离子形成的相对电位。CM为单位面积的膜电容，gk,gNa,gl分别为钾离子、钠离子通道和漏电流通道的电导。43KKNaNa()()()MlldVICgnVVgmhVVgVVdt研究生论坛讲座192020/2/21.2人工神经网络研究大脑的目的：a）揭示功能造福人类b）构造ANN用于工程及其他领域（生物神经网络的模型化：ANN）BNNmodelingANNANN非BNN模型，而是对结构及功能大大简化后保留主要特性的某种抽象与模型。研究生论坛讲座202020/2/2神经网络直观理解神经网络是一个并行和分布式的信息处理网络结构，它一般由许多个神经元组成，每个神经元只有一个输出，它可以连接到很多其他的神经元，每个神经元输入有多个连接通道，每个连接通道对应于一个连接权系数。研究生论坛讲座212020/2/2人工神经网络内容1.2.1人工神经元模型（ArtificialNeuronmodel）1.2.2人工神经网络的构成（structureofANN）1.2.3人工神经网络的学习（learningortrainingofANN）研究生论坛讲座222020/2/21.2.1人工神经元模型BNN信息传递过程为MISO系统,信号为脉冲，当脉冲到达突触前膜时，前膜释放化学物质，结果在突触后产生突触后电位，其大小与脉冲密度有关（时间总合效应）。各通道都对电位产生影响（空间总合效应）。研究生论坛讲座232020/2/2神经元模型（1）神经元是人工神经网络的基本处理单元，它一般是一个多输入/多输出的非线性元件。神经元输出除受输入信号的影响之外，同时也受到神经元内部其他因素的影响，所以在人工神经元的建模中，常常还加有一个额外输入信号，称为偏差（bais），有时也称为阀值或门限值。研究生论坛讲座242020/2/2神经元模型（2）。研究生论坛讲座252020/2/2抽象可得数学表达式：wi数值（weights)b阀值（threshold）f(s)用函数（activatedtransferfunction）1Riiiswxb()yfs研究生论坛讲座262020/2/2几种常用的作用函数(1)、阀值型（硬限制型)(2)、线性型(3)、S型函数（Sigmoid）(4)、辐射基函数研究生论坛讲座272020/2/2(1)、阀值型（硬限制型）0*00*1)*(bPWbPWbPWfA生物学背景：神经细胞的兴奋与抑制；单极性研究生论坛讲座282020/2/20*10*1)*(bPWbPWbPWfA生物学背景：神经细胞的兴奋与抑制：双极性研究生论坛讲座292020/2/2(2)、线性型a)全线性bPWbPWfA*)*(生物学背景：神经细胞的比例作用（全方位）研究生论坛讲座302020/2/2b)正线性0*n0*0)*(bPWbPWbPWfA生物学背景：神经细胞的线性比例作用（单方向）研究生论坛讲座312020/2/2(3)、S型函数（Sigmoid）a)对数正切y=1/(e-n+1)生物学背景：神经细胞的非线性比例作用（单向）研究生论坛讲座322020/2/2b)双曲正切y=tanh(n)生物学背景：神经细胞的非线性比例作用（全方位）研究生论坛讲座332020/2/2（4）辐射基函数a)高斯函数生物学背景：视觉，听觉等类神经细胞的区域性非线性用研究生论坛讲座342020/2/2b)三角波函数生物学背景：视觉，听觉等类神经细胞的区域性非线性用的线性近似研究生论坛讲座352020/2/21.2.2人工神经网络的构成基本模型连接的几种基本形式前向网络（feed-forwardNetworks）回归网络（recurrentNetworks）互联网络（全互连与局部互连）也可是以上几种形式的组合研究生论坛讲座362020/2/2人工神经网络种类1).前馈型感知器、线性网络（ADALINE),BP网络RBF网络，2).反馈型Hopfield网络3).竞争型ART，SOFM等研究生论坛讲座372020/2/2前向网络结构图研究生论坛讲座382020/2/2前向网络特点1).神经元分层排列，可又多层2).层间无连接3).方向由入到出感知网络（perceptron即为此）应用最为广泛研究生论坛讲座392020/2/2全反馈结构图研究生论坛讲座402020/2/2InnerRNN结构图研究生论坛讲座412020/2/2回归网络特点Output与Input相连（全反馈）特点：1.内部前向2.输出反馈到输入例：Fukushima网络Innerrecurrent特点：层间元互相连接研究生论坛讲座422020/2/2互联网络结构图研究生论坛讲座432020/2/2互联网络特点每个元都与其它元相连例：HopfieldBoltzmann机研究生论坛讲座442020/2/2ANN研究中的核心问题Howtodeterminetheweights(加权系数)学习规则简介研究生论坛讲座452020/2/2关于学习问题学习：实例学习举一反三的能力机器学习:从数据中归纳出规律,进行预测或者对其性质作出判断神经网络—启发式学习支持向量机---统计学习理论研究生论坛讲座462020/2/2学习规则1）直接设计计算e.g.Hopfield作优化计算2）学习得到,即通过训练(training)研究生论坛讲座472020/2/2常用学习规则a)Hebb学习D.Hebb1949年提出：两元同时兴奋，则突触连接加强b)δ学习规则误差校正规则梯度方法（BP即为其中一种）jiijijjijijFyy研究生论坛讲座482020/2/2c)相近学习规则使ARTSOFM自组织竞争用此规则ijiijiij研究生论坛讲座492020/2/2BP网络模型BP网络模型如图2.4所示:.........输入层隐含层输出层图2.4多层前向神经网络结构...研究生论坛讲座502020/2/2Matlab形式Nnd11nf.m描述输出与加权系数的关系nndemos（chap11demo1）networkfunction研究生论坛讲座512020/2/2BP学习算法（加权值的修改方法2121kikiikikiijijjiijwabwpbl研究生论坛讲座522020/2/2BP网络训练的几种模式1)批处理模式(batchmode)训练过程以所有样本为一个epoch。训练时计算出所有样本的整体误差后，加权系数才调整。matlab函数trainb，非直接调用，用net.trainFcn说明即，每一次输入样本j时，计算该样本j对应的误差ej和相应的权值修正量dwj，但不进行权值修改，而是等到全部样本输入完毕后，计算所有样本累计对应的权值修正量,dw(k)=∑dwj进行一次权值修正。本方法适用于离线计算。研究生论坛讲座532020/2/22)模式学习模式(patternmode)训练过程输入一个样本，计算学习误差，调整加权系数。matlab函数trainc，trains,trainr非直接调用，用net.trainFcn说明即。每一次计算得到的dwj都应用来修正加权值，下一次输入样本到网络时，利用新修正的加权值计算网络输出。模式学习适用于在线（自适应）修正权值。研究生论坛讲座542020/2/2BP算法的改进BP算法改进的主要目标是为了加快训练速度，避免陷入局部极小值和改善其它能力。（1）带动量因子算法；（2）自适应学习速率；（3）高阶学习算法；（4）改变性能指标函数研究生论坛讲座552020/2/22020/2/2神经网络原理与应用55RBF网络的Matlab形式研究生论坛讲座562020/2/2RBF网络的学习中心和宽度：随机选择或优化学习输出权矩阵：反向传播或者最小二乘方法学习研究生论坛讲座572020/2/22.人工神经网络优势①任何精度逼近任意连接非线性函数（NL系统的统一描述）②对复杂不确定问题具有自适应、学习能力③并行机制，解决实时计算问题，具有冗余性容错能力④信息融合（Fusion），多媒体技术⑤神经计算：用于优化、矩阵求逆，解方程等计算⑥易于VLSI、光学IC、计算机