人工神经网络-BP

第2部分：人工神经网络[e-mail]河北师范大学数学与信息科学学院2011.7.28主要内容一.人工神经网络基本知识生物神经网络、生物神经元人工神经网络、人工神经元人工神经网络三要素典型激活函数神经网络几种典型形式二.前馈神经网络、多层感知器、及非线性分类三.BP神经网络四.数据处理及神经网络结构的选择五.应用人工神经网络是生物神经网络的某种模型(数学模型)是对生物神经网络的模仿基本处理单元为人工神经元1.生物神经系统与生物神经元大量生物神经元的广泛、复杂连接，形成生物神经网络(BiologicalNeuralNetwork,BNN)。实现各种智能活动生物神经元(neuron)是基本的信息处理单元(1)生物神经系统生物神经元(neuron)是基本的信息处理单元,其组成：树突(dendrites),接收来自外接的信息细胞体(cellbody),神经细胞主体，信息加工轴突(axon),细胞的输出装置，将信号向外传递，与多个神经元连接突触（synapsse),神经元经突触向其它神经元（胞体或树突）传递信号(2)生物神经元的基本特征神经元之间彼此连接神经元之间的连接强度决定信号传递的强弱神经元之间的连接强度可以随训练改变学习、遗忘、疲劳----神经网络中各神经元之间连接的强弱，按外部的激励信号做自适应变化兴奋与抑制信号可以起兴奋作用，也可以起抑制作用一个神经元接受信号的累积效果（综合大小，代数和）决定该神经元的状态(兴奋、抑制)每个神经元可以有一个“阈值”是对的模拟。大量简单的以某种形式连接，形成一个.其中某些因素，如:连接连接，其大小决定信号传递强弱);,神经元的输入输出特性);甚至等，可依某种规则随外部数据进人工神经网络计算单元（结点，神经元）网络强度行适当调整，最终实现某种功能。(权值结点神经网络计算特性(激活特性网络结的计算通过网络结构实现；生物神经构系统不同网络结构可以体现各种不同的功能；网络结构的是通过逐渐参数学习修正的。2.人工神经网络与人工神经元(1)基本的人工神经元模型McCulloch-Pitts神经元模型输入信号；链接强度与权向量；信号累积激活与抑制00权值，激活连接权值，突触连接强度权值，抑制输入信号关于神经元突触的线性加权将神经元的输出信号限制在有限范围内一组连接一个加法器一个激励函数人工神经元模型的三要素:,...,,...,1n1ni=xx=,维输入向量是来自其它个神经元的输出；也可以是来自外部的输入信号维权向量相当于突触的连接强度。TTnxxnnWR输入信号权向量1()iinetxynet单调增函数，通常为非线性函数网络输入--神经元的输入兴奋总量是多个输入的代数和其中输出标量--执行该神经元所获得的网络输入的变换niWxf转移函数,激励激活函数传输函数，输出函数，限幅函数将可能的无线域变换到指定的有限范围输出。--单输出()传递函数(1)基本的人工神经元模型1()iinetbpbynet若带偏置量，则有标量niWpf--单输出()(2)输出函数f0,fnet=knet+cnetfnetnetnetnet：为常数，称饱和值，是该神经单元的最大输出；输出函数值限制在范围内。(RampFunction)bkbbbbA.线性函数B.非线性斜数函面(2)几种常见形式的传递函数(激活函数)(2)输出函数f,,1net0fnet=sgnnet=-1net0hardlimsnetfnet=-net型函数，不可微；对称硬极限函数；双极函数函数其中非负实数signmatlabC.符号函数D.阈值函数(2)输出函数f210112()11.11netnetnetnetnetnetlogsignetnet一些重要的学习算法要求输出函数可微，值域，对数S型函数双曲函数：值域，函正切S数型函数netfematlabeeftheEsigmoidSeematlab函数型函数连续可微tansig：非线性，单调；无限次可微较小时(权值较小)，可近似线性函数--高增益区处理小信号较大时(权值较大)，可近似阈值函数.--低增益区处理大信号netnet()网络结构或拓扑(连接形式)神经元的计算特性传递函数学习规则上述要素不同组合，形成各种神经网络模型3.人工神经网络三个要素23HopfieldSOM.1网络神经网络feedfrowardnetworkfeedbacknetworkcompetitivelearningnetwork4神经网络三种基本前馈型模神经网络-反馈网络竞争学习重点介绍网络型多层感知器BP网络RBF网络自学习自适应并行处理分布表达与计算回归状态预测可应用到众多领域,如：优化计算；信号处理；智能控制；模式识别；机器视觉；等等。神经网络特点神经网络应用神经网络本质上，可以理解为函数逼近主要内容一.人工神经网络基本知识二.前馈神经网络、多层感知器、及非线性分类三.BP神经网络四.数据处理及神经网络结构的选择五.应用各神经元接受来自前级的输入，并产生输出到下一级，无反馈，可用一有向无环图表示。网络中的节点分两类：输入节点；计算节点(神经元节点)节点按层(layer)组织：第i层的输入只与第i-1层的输出相连。输入信号由输入层输入,由第一层节点输出，传向下层，……前馈：信息由低层向高层单向流动。-------------------------------------------------可见层输入层(inputlayer)输入节点所在层，无计算能力输出层(outputlayer)节点为神经元隐含层(hiddenlayer)中间层，节点为神经元1.前馈(forward)神经网络具有三层计算单元的前馈神经网络结构2.感知器神经网络(感知器)、感知器神经元感知器神经元单层感知器网络感知器神经元的传递函数单层感知网络可以实现线性分类1net0fnet=sgnnet=-1net0hardlims1net0hardlimnet=0net0对称硬极限函数函数matlab符号函数2.感知器神经网络、感知器神经元(续)(1)多层感知器(MLP)的一致逼近性•单个阈值神经元可以实现任意多输入的与、或及与非、或非逻辑门。•任何逻辑函数可由两层前馈网络（一层计算单元）实现。•三层或三层以上的前馈网络通常称为多层感知器•多层感知器的适用范围大大超过单层网络。3.多层感知器（含两层以上的计算单元）多层感知器示意0111,...,iji0ji=kk1xgygnetvvc第个隐含层的第个节点的净输入输出层的第个节点的净输入类，c个判别函数可表达更为复杂的非线性函数不一定为符号函数nkkjkkjjmkxxkc输出单元的输出隐含层单一般的前馈运算元激活函数常要求激活函数是连续可微的输出层与隐含层的激活函数可以不同，并且输出层各单元的激活函数可有所区别2Kolmogorov按照定理,任何一个判决均可用前式所示的三层神经网络实现。即：只要给定足够数量的隐含层单元、适当的非线性函数、以及权值，任何由输入向输出的连续映射函数均可用一个实现。三层前馈神经多层网网络能力络的表达当神经元的输出函数为sigmoid等函数时，三层前馈网络(含两层计算单元)可以逼近任意的多元非线性函数。主要内容一.人工神经网络基本知识、神经元与感知器二.前馈神经网络、多层感知器、及非线性分类三.BP神经网络四.数据处理及神经网络结构的选择五应用基于阈值神经元的多层感知器不足隐含层不直接与外界连接，误差无法直接估计中间层神经元的激活函数为阈值函数(或阶跃函数)无法采用梯度下降法训练神经元权值基于BP算法的多层感知器(BP网络)各计算单元(神经元节点)传递函数：Sigmoid函数误差逐层反向传播；信号逐层正向传递BP神经网络训练的两个阶段(1)信号正向传递过程输入信息从输入层经隐层逐层、正向传递，直至得到各计算单元的输出(2)误差反向传播过程输出层误差从输出层开始，逐层、反向传播，可间接计算隐层各单元的误差，并用此误差修正前层的权值.1011,,20121301,...,14B,...,P-1=维输入向量层神经网络层号输入层层号隐含层层号输出层各层节点输入节点，计算节点数目，输入层输出层相邻层连接权值来自与第层的当前的连接节点第层节点权值TnlLlijnxxxLllLlLnlLnnnliljm算法训练过程描述约定：标准化1115111,...,,1,...,,1,...,i,j,kjOijjkBP：第层为当前处理层；其前一层、当前层、后一层的计算单元序号为；位于当前层第个计算单元的输出为，前层第个单元到本层第个单元的连接权值为本层第个单元到后层第个单元的连接权值为注：采用修正权值，输出函数应连续可微，选ljllijlljkllllljninknsigm算法训练过程描述假定梯度法函数。oid111,1,.,111.'.jjnetOOntle-=+从样本集内取出一个样本,将各分量从输入层输入至网络,由前向后，逐层得到各的：对于的第个计算单元,该单元的ljlnlnllljijiilljjetllljjjxDxyefnetfnetfnetnf1输入信号的正向传递过计算单元实际输出当前层净输入实际输出程若当前层为111,,,...,jyyydyy，则计算单元预测输出且给定输出TljjmTjmlLOyD实际输出输输理想出出层122122111111,...,112211221xx--=最小误差平方和。某样本在网络产生的为样本集内所有样本关于该网络的输出层节点的TnmjjjmmLLjjjjjjtotalLLjijxEDydydOdfnetEElLjnetO2误差反向传播过程I输出误差准则函数输出层各节点输出误差总输出误差净输入2121111-+LjLnLinetiLjeO实际输出2211212211111121,...,11,...,121122==隐含层输出层输出层与前一层的实际输出输出误差输出层误差计算元的单LLLiLjLinLLjjiimmjjjjjLjjjLjnetEnLinetLjLLOyffOdydfnmII输出层的权调值调整连接整权值11111'1局部梯度LjLjLjjjLjjlljjjjjjjjjyEydfnetynetydfnetfnEnetyydeyt212111111111111211111.1=修正应使误差最快减续小LLijLjLiLijLjjjjjLjLjLjLjLijnLiiLijLijLLijijLijLiLjjEyydynetOEnetEnetnEAtOEeII输出层的权值调整权值对误差的影响输出层的权值调整修正量221111.11LLiiLLLLijijiji