9-人工神经网络(2学时)

哈尔滨工业大学主讲人：李君宝第9章人工神经网络1.基础知识2.前馈神经网络3.反馈神经网络4.自组织映射神经网络1.基础知识自然神经网络的基本构成与特点神经元（neuron）：细胞体（cell）、树突（dentrite）、轴突（axon）、突触（synapses）神经元的作用：加工、传递信息（电脉冲信号）神经系统：神经网：大量神经元的复杂连接通过大量简单单元的广泛、复杂的连接而实现各种智能活动。【基础知识】人工神经网络是一个由简单处理元构成的规模宏大的并行分布处理器，具有存储经验知识和使之可用的特性。人工神经网络从两个方面上模拟大脑:(1)神经网络获取的知识是从外界环境中学习得来的。(2)内部神经元的连接强度，即突触权值，用于储存获取的知识。学习算法是用于完成学习过程的程序，其功能是以有序的方式改变系统权值以获得想要的设计目标。突触权值的修改提供了神经网络的一种设计方法。【基础知识】基本特征：1）神经元及其联接；2）神经元之间的联接强度决定信号传递的强弱；3）神经元之间的联接强度是可以随训练改变的；4）信号可以是起刺激作用的，也可以是起抑制作用的；5）一个神经元接受的信号的累积效果决定该神经元的状态；【基础知识】自然神经网络的某种模型（数学模型）两路研究方向：探索智能活动机理；建立可用的高级机器。（人工）神经网络的基本结构：大量简单的计算单元（结点）以某种形式相连接，形成一个网络，其中的某些因素，如连接强度（权值）、结点计算特性甚至网络结构等，可依某种规则随外部数据进行适当的调整，最终实现某种功能。【基础知识】神经网络的学习方法神经网络的学习：从环境中获取知识并改进自身性能，主要指调节网络参数使网络达到某种度量，又称为网络的训练。学习方式：监督学习非监督学习再励学习学习规则：误差纠正学习算法竞争学习算法监督学习对训练样本集中的每一组输入能提供一组目标输出。网络根据目标输出与实际输出误差信号来调节网络参数。教师神经网络比较环境实际输出输入期望输出误差信号p(n)t(n)a(n)e(n)非监督学习与再励学习神经网络环境输入非监督学习：不存在教师，网络根据外部数据的统计规律来调节系统参数，以使网络输出能反映数据的某种特性。神经网络环境输入输出评价信息再励学习：外部环境对网络输出只给出评价信息而非正确答案，网络通过强化受奖励的动作来改善自身的性能。111943年McCulloch（心理学家）和Pitts（数理逻辑学家）发表文章，提出M-P模型。描述了一个简单的人工神经元模型的活动是服从二值（兴奋和抑制）变化的。总结了神经元的基本生理特性，提出了神经元的数学描述和网络的结构方法。—标志神经计算时代的开始输出表达式MP模型：–M-P模型能完成一定的逻辑运算。–第一个采用集体并行计算结构来描述人工神经元和网络工作。–为进一步的研究提供了依据（可以完成布尔逻辑计算）iixxy01【发展史】121949年DonalaU.Hebb（心理学家）论著《TheOrganizationofBehavior（行为自组织）》，提出突触联系强度可变的假设，认为学习的过程最终发生在神经元之间的突触部位，突触的联系强度随着突触前后神经元的活动而变化。——赫布规则多用于自组织网络的学习。即：若两个神经元输出兴奋，则它们之间的连接权加强，反之减少。赫布规则意义（提出了变化的概念）：提出了一个神经网络里信息是储藏在突触连接的权中连接权的学习律是正比于两个被连接神经细胞的活动状态值的乘积假设权是对称的细胞的互相连接的结构是他们权的改变创造出来的jiijijSSww【发展史】131957年FrankRosenblatt定义了一个神经网络结构，称为感知器(Perceptron)。•第一次把神经网络研究从纯理论的探讨推向工程实现，•在IBM704计算机上进行了模拟，•证明了该模型有能力通过调整权的学习达到正确分类的结果，•掀起了神经网络研究高潮。0001)()(1jjjnijiijjuuufxwfy【发展史】141986年美国的一个平行计算研究小组提出了反馈神经网络的BackPropagation（BP）学习算法。•成为当今应用最广泛的方法之一。•该方法克服了感知器非线性不可分类问题，给神经网络研究带来了新的希望。jujnijiijjeufxwfy11)()(1【发展史】15•1990年汉森(L.K.Hansen)和萨拉蒙(P.Salamon)提出了神经网络集成(neuralnetworkensemble)方法。证明：可以简单地通过训练多个神经网络并将其结果进行拟合，显著地提高神经网络系统的泛化能力。神经网络集成可以定义为用有限个神经网络对同一问题进行学习。【发展史】三个要素：神经元的计算特性（传递函数）网络的结构（连接形式）学习规则三要素的不同形成了各种各样的神经网模型，基本可分为三大类：前馈网络反馈网络自组织网络（竞争学习网络）【基础知识】前馈网络Hebb学习规则基本思想：两个神经元同时兴奋时它们的连接应加强。前馈网络典型结构反馈网络代表：Hopfield网络常用于：联想记忆(associativememory)用于模式识别：可用于模板匹配、可用于特征选择中的优化问题。自组织网络自组织神经网络是神经网络最富有魅力的研究领域之一.它能够通过其输入样本检测其规律性和输入样本相互之间的关系，并且根据这些输入样本的信息自适应调整网络，使网络以后的响应与输入样本相适应。2.前馈神经网络21感知器PerceptronRosenblatt于1950s末提出。权值：其中，d(t)是向量x(t)的正确输出。基本神经元：人工神经网络的神经元通常简化为一个多输入单输出非线性阈值器件：22神经元的工作过程：步骤1：从各输入端接收输入信号xi。步骤2：根据各连接权值wi,求出所有输入的加权和：＝ni=1wixi－步骤3：利用某一特征函数f进行变换，得到输出y：y=f()＝f(ni=1wixi－)式中，xi(i=1,2,…,n)是输入，wi为该神经元与各输入间的连接权值，为阈值，y为输出感知器23•连接权wij：wij0，称为正连接，表示神经元uj对ui有激活作用wij0，称为负连接，表示神经元uj对ui有抑制作用•神经网络的各种学习算法的不同特点反映在调整权值的原则、方法、步骤和迭代过程的参数选择上。感知器激励函数：通常选取下列函数之一：最常用的传递函数Sigmoid函数硬限函数（hard-limit）阈值逻辑函数（threshold-logic）最常用的传递函数26感知器Perceptron问题：感知器只能解决一阶谓词逻辑问题，不能解决高阶问题。多层感知器3.反馈神经网络反馈神经网络Back-PropagationAlgorithm，LeCun1986,Rumelhart,Hinton&Williams1986多层感知器与BP算法（MLP&Back-PropagationAlgorithm）多层感知器结构特性：可以实现任意复杂的非线性映射关系用于分类：两层网（一个隐层）可实现空间内任意的凸形成区域的划分。三层网（两个隐层）可实现任意形状（连续或不连续）区域划分。结点采用Sigmoid函数BP算法：说明：算法可能收敛于局部极小点（梯度算法）；与初值、步长等的选择有关；更与网络结构（结点数目）有关。BP算法：用于分类：输入x——样本特征向量（必要时归一化）输出Y——类别编码其它应用：函数拟合、时间序列预测、数据压缩，……MLP网络也常称作BP网。BP算法：4.自组织映射自组织映射Self-OrganizingMap亦称SOFM。Kohonen提出（1980s）神经系统的自组织功能生物学研究的事实表明，在人脑的感觉通道上，神经元的组织原理是有序排列。因此当人脑通过感官接受外界的特定时空信息时，大脑皮层的特定区域兴奋，而且类似的外界信息在对应区域是连续映象。对于某一图形或某一频率的特定兴奋过程，神经元的有序排列以及对外界信息的连续映象是自组织特征映射网中竞争机制生物学基础。SOM网结构神经元呈平面分布(或其它空间分布)输入向量的每一维连接到每个结点结点间依分布位置关系而有相互作用神经元计算特性：向量匹配，与输入向量最佳匹配者称winner(计算距离或内积)(最大响应)36竞争层输入层SOM神经网络结构自组织特征映射神经网络结构由芬兰学者TeuvoKohonen于1981年提出基本上为输入层和映射层的双层结构,映射层的神经元互相连接，每个输出神经元连接至所有输入神经元SOM网共有两层，输入层模拟感知外界输入信息的视网膜，输出层模拟做出响应的大脑皮层。SOM特性经过适当训练后，结点对输入的响应表现出一定的规律性，这些规律性反映了输入样本集内部的一些特性（样本分布密度及样本间拓扑关系）。几个名词：象：随着不断学习，对于某个输入向量，对应的winner结点令逐步趋于固定，这个结点称作该样本的象。原象：若向量x的象为结点i，则x为i的一个原象。象密度：同一结点上原象的数目，即有多少样本映射到该结点。象密度图：按结点位置把象密度(相对值)画到一张图上。SOM神经网络平面示意图竞争层输入层SOM特性自组织特性：（1）在经过充分的学习之后，对用于学习的样本集，每个样本有且只有一个象（固定映射到某一结点），但一个结点可能有多个原象（也可能没有）。（2）在原空间中距离相近的样本趋于映射到相同或相近的象。（3）结点象密度与其原象附近原空间中的样本密度有某种单调关系。SOM特性当引入邻域相互作用后，出现自组织现象。SOM学习算法SOM用于模式识别的作法Kohonen芬兰语语音识别①用一批（有代表性）的样本训练SOM，（自学习）使之出现自组织特性，（形成对输入空间的映射）；②用一批类别已知的样本（可以与训练样本集相同）去标定在SOM上的象，完成对各结点的分类；③输入待识别样本，计算其象结点位置，用象类别标号确定样本类别思路类似于先作向量量化（聚类），用较少的代表点（子类）代表原样本空间，把这些代表点进行分类。——LVQ（学习向量量化）与普通向量量化（C均值聚类）的不同：所得到的代表点本身是有序的，且保持了所代表的子集在原空间中相对关系。SOM用于非监督模式识别自组织学习过程本身就是一个非监督学习过程SOMA(自组织分析)基本思路：①用未知样本集训练SOM;②计算象密度图;③根据象密度图划分聚类(把结点代表的小聚类合并)。特点：对数据分布形状少依赖性；可反映真实存在的聚类数目，尤其适合人机合作分析(高维数据的有效二维显示)数学上待研究的问题多：象密度与样本分布密度之间的关系？拓扑保持特性？如何在SOM平面上聚类？本章结束