第2节神经网络 基础知识

第二节神经网络基础知识生物神经元人工神经元模型人工神经网络模型神经生理学和神经解剖学的研究结果表明，神经元(Neuron)是脑组织的基本单元，是人脑信息处理系统的最小单元。生物神经元生物神经网络2.1人工神经网络的生物学基础2.1.1生物神经元生物神经元在结构上由:细胞体(Cellbody)、树突(Dendrite)、轴突(Axon)、突触(Synapse)四部分组成。用来完成神经元间信息的接收、传递和处理。人工神经网络的生物学基础人工神经网络的生物学基础2.1.2生物神经元的信息处理机理二信息的传递与接收人工神经网络的生物学基础2.1.3生物神经网络•由多个生物神经元以确定方式和拓扑结构相互连接即形成生物神经网络。•生物神经网络的功能不是单个神经元信息处理功能的简单叠加。•神经元之间的突触连接方式和连接强度不同并且具有可塑性，这使神经网络在宏观呈现出千变万化的复杂的信息处理能力。人工神经网络的生物学基础2.2人工神经元模型2.2.1神经元的建模神经元的人工模型假设1：多输入单输出图(a)表明，正如生物神经元有许多激励输入一祥，人工神经元也应该有许多的输入信号，图中每个输入的大小用确定数值xi表示，它们同时输入神经元j，神经元的单输出用oj表示。神经元的人工模型假设2：输入类型：兴奋性和抑制性生物神经元具有不同的突触性质和突触强度，其对输入的影响是使有些输入在神经元产生脉冲输出过程中所起的作用比另外一些输入更为重要。图(b)中对神经元的每一个输入都有一个加权系数wij，称为权重值，其正负模拟了生物神经元中突触的兴奋和抑制，其大小则代表了突触的不同连接强度。神经元的人工模型假设3：空间整合特性和阈值特性作为ANN的基本处理单元，必须对全部输入信号进行整合，以确定各类输入的作用总效果，图(c)表示组合输人信号的“总和值”，相应于生物神经元的膜电位。神经元激活与否取决于某一阈值电平，即只有当其输入总和超过阈值时,神经元才被激活而发放脉冲,否则神经元不会产生输出信号。神经元的人工模型神经元的输出图(d)人工神经元的输出也同生物神经元一样仅有一个，如用oj表示神经元输出，则输出与输入之间的对应关系可用图(d)中的某种非线性函数来表示，这种函数一般都是非线性的。神经元的人工模型神经元模型示意图神经元的人工模型2.2.2神经元的数学模型τij——输入输出间的突触时延；Tj——神经元j的阈值；wij——神经元i到j的突触连接系数或称权重值；f()——神经元转移函数。})]({[)(jn1iiijjTtxwf1to(2.2)神经元的人工模型(2.1)n1iiijjtxwttne)()((2.3)net’j=WjTXWj=(w1w2…wn)TX=(x1x2…xn)T令x0=-1，w0=Tj则有-Tj=x0w0(2.4)2.2.2神经元的数学模型神经元的人工模型XWTjn0iiijjjjxwnetTtne(2.5)oj=f(netj)=f(WjTX)(2.6)2.2.2神经元的数学模型神经元的人工模型2.2.3神经元的转移函数神经元各种不同数学模型的主要区别在于采用了不同的转移函数，从而使神经元具有不同的信息处理特性。最常用的转移函数有4种形式。神经元的人工模型(1)阈值型转移函数1x≥0f(x)=(2.7)0x＜0f(x)1.0x02.2.3神经元的转移函数神经元的人工模型(2)非线性转移函数xe11f(x)xxxe1e11e12f(x)f(x)1.00.5x0f(x)1.00x-1.02.2.3神经元的转移函数神经元的人工模型Log-sigmoid对数正切S型传递函数tan－sigmoid双正切S型传递函数2.3人工神经网络模型分类：按网络连接的拓扑结构分类层次型结构互连型网络结构按网络内部的信息流向分类前馈型网络反馈型网络人工神经网络模型2.3.1网络拓扑结构类型：层次型结构：将神经元按功能分成若干层，如输入层、中间层（隐层）和输出层，各层顺序相连。互连型网络结构：网络中任意两个节点之间都可能存在连接路径.人工神经网络模型2.3.1网络拓扑结构类型1.单纯型层次型结构○○○○○○○○○○○○2.3人工神经网络模型人工神经网络模型层次型结构：2.输出层到输入层有连接○○○○○○○○○○○○○○人工神经网络模型2.3.1网络拓扑结构类型3.层内有连接层次型结构○○○○○○○○○○○○2.3.1网络拓扑结构类型人工神经网络模型1.全互连型结构2.3.1网络拓扑结构类型人工神经网络模型互连型网络结构：2.局部互连型网络结构〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇2.3.1网络拓扑结构类型人工神经网络模型前馈型网络○○○○○○○○○○○○2.3.2网络信息流向类型人工神经网络模型神经网络能够通过对样本的学习训练，不断改变网络的连接权值以及拓扑结构，以使网络的输出不断地接近期望的输出。这一过程称为神经网络的学习或训练，其本质是可变权值的动态调整。2.4神经网络学习神经网络学习神经网络的学习类型：•有导师学习(有监督学习)•无导师学习(无监督学习)•死记式学习2.4神经网络学习神经网络学习有关学习的研究在神经网络研究中具有重要地位。改变权值的规则称为学习规则或学习算法（亦称训练规则或训练算法）。2.4神经网络学习有导师学习(有监督学习)有导师学习也称为有监督学习，这种学习模式采用的是纠错规则。在学习训练过程中需要不断给网络成对提供一个输入模式和一个期望网络正确输出的模式，称为“教师信号”。将神经网络的实际输出同期望输出进行比较，当网络的输出与期望的教师信号不符时，根据差错的方向和大小按一定的规则调整权值。当网络对于各种给定的输入均能产生所期望的输出时，即认为网络已经在导师的训练下“学会”了训练数据集中包含的知识和规则，可以用来进行工作了。2.4神经网络学习无导师学习(无监督学习)无导师学习也称为无监督学习，学习过程中，需要不断给网络提供动态输入信息，网络能根据特有的内部结构和学习规则，在输入信息流中发现任何可能存在的模式和规律，同时能根据网络的功能和输入信息调整权值，这个过程称为网络的自组织，其结果是使网络能对属于同一类的模式进行自动分类。在这种学习模式中，网络的权值调整不取决于外来教师信号的影响，可以认为网络的学习评价标准隐含于网络的内部。学习的过程（权值调整的一般情况）w0j-1w1jx1X┆wijjojxj┆xnwnj⊿Wjr(Wj,X，dj)学习信号X生成器djη)()]()()([ttd,t,trjjjXXWW)()]()()([)()(ttd,t,trt1tjjjjXX神经网络学习2.4神经网络学习表2.1常用学习规则一览表权值调整学习规则向量式元素式权值初始化学习方式转移函数HebbianXXWW)(Tjjfi)(xfwTjijXW0无导师任意PerceptronXXWW)]([Tjjjsgn-di)](xsgn-d[wTjjijXW任意有导师二进制DeltaXW)()(jjjjnetf-odijjjijxnetf-odw)()(任意有导师连续Widrow-HoffXXWW)(Tjjj-diTjjijx-dw)(XW任意有导师任意相关XWjjdijijxdw0有导师任意Winner-take-all)(mmWXW)(iimmwxW随机、归一化无导师连续Outstar)(jjWdW)(kjkkjwdw0有导师连续第二节小结重点介绍了生物神经元的结构及其信息处理机制、人工神经元数理模型、常见的网络拓扑结构以及和学习规则。其中，神经元的数学模型、神经网络的连接方式以及神经网络的学习方式是决定神经网络信息处理性能的三大要素。(1)生物神经元的信息处理(2)人工神经元模型(3)人工神经网络模型(4)神经网络学习