第四章(1)-人工神经网络概述

1智能控制技术中国计量学院自动化教研室谢敏2智能控制技术第4章人工神经元网络模型4.1引言4.2常见神经网络模型34.1引言一、人工神经网络研究概述人脑由一百多亿个神经细胞组成，这些细胞组成的生物神经网络，是人类智能的物质基础。人工神经网络是指利用工程技术手段模拟人脑神经网络结构和功能的一种技术系统。4.1引言4一、人工神经网络研究概述1、1943~1969年为初创期4.1引言时间人物成果1943McCulloch（心理学家）Pitts（数学家）提出形式神经元模型1949Hebb（心理学家）Hebb学习规则1958Rosenblatt感知器模型1969Minsky《感知器》5一、人工神经网络研究概述2、1970~1986年为过渡期4.1引言时间人物成果1976Grossberg自适应共振理论1982HopfieldHopfield网络，可用电路实现1986RumelhartBP算法6一、人工神经网络研究概述3、1987~今发展期理论研究：多种神经网络模型和理论。应用研究：模式识别、信息处理、智能控制等。4.1引言7二、人脑神经细胞的结构和功能人脑中约有一百多亿个神经细胞。4.1引言8二、人脑神经细胞的结构和功能1．细胞体细胞体是由很多分子形成的综合体，是神经元活动的能量供应地，在整个细胞的最外层称为细胞膜。2．树突细胞体的延伸部分产生的分枝称为树突，树突是接受从其它神经元传入的信息的入口。4.1引言9二、人脑神经细胞的结构和功能3．轴突细胞体突起的最长的外伸管状纤维称为轴突。轴突最长可达1米以上。轴突是把神经元兴奋的信息传出到其它神经元的出口。4.1引言10二、人脑神经细胞的结构和功能4、突触是一个神经元与另一个神经元之间相联系并进行信息传送的结构。它由突触前成分，突触间隙和突触后成分组成。突触前成分是一个神经元的轴突末梢。突触间隙是突触前成分与后成分之间的距离空间。突触后成分可以是细胞体，树突或轴突。突触的存在说明：两个神经元的细胞质并不直接连通，两者彼此联系是通过突触这种结构接口的。有时，也把突触看作是神经元之间的连接。4.1引言11二、人脑神经细胞的结构和功能4.1引言神经元的4种生物行为有：能处于抑制或兴奋状态；能产生爆发和平台两种情况；能产生抑制后的反冲；具有适应性。突触的4种生物行为有：能进行信息综合；能产生渐次变化的传送；有电接触和化学接触等多种连接方式；会产生延时激发。目前，人工神经网络的研究仅仅是对神经元的第一种行为和突触的第一种行为进行模拟，其它行为尚未考虑。12三、神经元的信息处理与传递4.1引言1．神经元的兴奋与抑制：一个神经元的兴奋和抑制两种状态是由细胞膜内外之间不同的电位差来表征的。在抑制状态，细胞膜内外之间有内负外正的电位差，这个电位差大约在-50—-100mv之间。在兴奋状态，则产生内正外负的相反电位差，这时表现为约70—100mv的电脉冲。细胞膜内外的电位差是由膜内外的离子浓度不同导致的。细胞的兴奋电脉冲宽度一般大约为1ms。13三、神经元的信息处理与传递4.1引言2．神经元的信息传递及阀值特性由神经元传出的电脉冲信号通过轴突，首先到达轴突末梢，使其中的囊泡产生变化从而释放神经递质，这种神经递质通过突触的间隙而进入到另一个神经元的树突中。树突上的受体能够接受神经递质从而去改变离子的通透性，使膜外内离子浓度差产生变化，进而使电位产生变化。显然，信息就从一个神经元传送到另一个神经元中。当神经元接受来自其它神经元的信息时，膜电位在开始时是按时间连续渐渐变化的。当膜电位变化经超出一个定值时，才产生突变上升的脉冲，这个脉冲接着沿轴突进行传递。神经元这种膜电位高达一定阀值才产生脉冲传送的特性称阀值特性。神经元的信息传递还有两个特点。一个是单向性，即只能从前一级神经元的轴突末梢传向后一级神经元的树突或细胞体，不能反之。另一个是延时性，信息通过突触传递，通常会产生0.5—1ms的延时。14三、神经元的信息处理与传递4.1引言3.神经元的时空综合特性神经元对来自其它神经元的信息有时空综合特性。在神经网络结构上，大量不同的神经元的轴突末梢可以到达同一个神经元的树突并形成大量突触。来源不同的突触所释放的神经递质都可以对同一个神经元的膜电位变化产生作用。因此，在树突上，神经元可以对不同来源的输入信息进行综合。这就是神经元对信息的空间综合特性。对于来自同一个突触的信息，神经元可以对于不同时间传入的信息进行综合。故神经元对信息有时间综合特性。15三、神经元的信息处理与传递4.1引言4．神经元、突触的D/A、A/D特性从神经元轴突上传递的信息是等幅、恒宽、编码的离散电脉冲信号，故而是一个数字量。但在突触中神经递质的释放和树突中膜电位的变化是连续的。故而，这时说明突触有D/A功能。在神经元的树突膜电位高过一定阀值时，则又变成电脉冲方式由轴突传送出去。故而，这个过程说明神经元有A/D功能。很明显，信息通过一个神经元传递时，神经元对信息执行了D/A、A/D转换过程。16四、神经元的数学模型4.1引言从神经元的特性和功能可以知道，神经元是一个多输入单输出的信息处理单元，而且，它对信息的处理是非线性的。根据神经元的特性和功能，可以把神经元抽象为一个简单的数学模型。工程上用的人工神经元模型如图所示：17四、神经元的数学模型4.1引言X1，X2，……，Xn是神经元的输入，即是来自前级n个神经元的轴突的信息；Wi1，Wi2……，Win分别是i神经元对X1，X2，……，Xn的权系数，也即突触的传递效率；θi是神经元的阈值；18四、神经元的数学模型4.1引言Yi是i神经元的输出；f[·]是激励函数，它决定i神经元受到输入X1，X2，……，Xn的共同刺激达到阈值时以何种方式输出。19四、神经元的数学模型4.1引言激励函数f有多种形式，其中最常见的有阶跃型、线性型和S型三种形式。20四、神经元的数学模型4.1引言神经元的输出：)()(1injjijiixwfUfy对阶跃型激励函数，有：01iy其输出是电位脉冲，故而这种激励函数的神经元称离散输出模型。21四、神经元的数学模型4.1引言神经元的输出：)()(1injjijiixwfUfy对于线性激励函数，有：iikUy其输出是与输入的总量成正比的，故这种神经元称线性连续型模型。22四、神经元的数学模型4.1引言神经元的输出：)()(1injjijiixwfUfy对于用s型激发函数，有：)exp(11iiUy其输出是非线性的，故这种神经元称非线性连续型模型。23四、神经网络结构及功能4.1引言1．神经网络定义神经网络：神经网络就是由许多神经元互连在一起所组成的神经结构。把神经元之间相互作用的关系进行数学模型化就可以得到神经网络模型。神经元和神经网络的关系是元素与整体的关系。神经元的结构很简单，工作机理也不深奥；但是用神经元组成的神经网络就非常复杂，其功能也十分奥妙。神经元通过不同方式的连接和信息传递，就能产生丰富多彩的神经网络结构，创造出令人赞叹的优异功能。24四、神经网络结构及功能4.1引言2．神经网络的基本属性(1)非线性人脑的思维是非线性的，故人工神经网络模拟人的思维也应是非线性的。(2)平行分布处理神经网络具有高度平行的结构及分布式存贮信息。(3)硬件实现(4)自学习和自适应性25四、神经网络结构及功能4.1引言3.神经网络的互连结构：一般而言，神经网络有前向网络，层内连接的前向网络，反馈网络，互连网络等4种互连结构.(1)前向网络神经元分层排列；每层神经元只接受前一层神经元的输入；不存在反馈。26四、神经网络结构及功能4.1引言3.神经网络的互连结构：一般而言，神经网络有前向网络，层内连接的前向网络，反馈网络，互连网络等4种互连结构.(2)层内连接的前向网络在前向网络的同一层内有互联。27四、神经网络结构及功能4.1引言3.神经网络的互连结构：一般而言，神经网络有前向网络，层内连接的前向网络，反馈网络，互连网络等4种互连结构.(3)反馈网络在输出层和输入层之间存在反馈。28四、神经网络结构及功能4.1引言3.神经网络的互连结构：一般而言，神经网络有前向网络，层内连接的前向网络，反馈网络，互连网络等4种互连结构.(4)互连网络任意两个神经元之间都可连接。29四、神经网络结构及功能4.1引言4.神经网络信息处理的数学过程神经网络信息处理可以用数学过程来说明，这个过程可分为两个阶段：执行阶段学习阶段下面以前向网络情况说明这两个阶段。30四、神经网络结构及功能4.1引言4.神经网络信息处理的数学过程神经网络信息处理可以用数学过程来说明，这个过程可分为两个阶段：执行阶段学习阶段下面以前向网络情况说明这两个阶段。31四、神经网络结构及功能4.1引言执行阶段执行阶段是指神经网络对输入信息进行处理，并产生对应的输出过程。在执行阶段，网络的连接结构和权系数是已经确定并且不会变化的。这时有：)]1([)1()1()()1()1(1tUftyttxtwtUiiijnjiji32四、神经网络结构及功能4.1引言xj：前级神经元的输出；Wij：第i个神经元和前级j个神经元突触的权系数；θi：第i个神经元的阈值；fi：第i个神经元的非线性激活函数；yi：第i个神经元的输出。)]1([)1()1()()1()1(1tUftyttxtwtUiiiijnjiji33四、神经网络结构及功能4.1引言学习阶段学习阶段是指神经网络自完善的阶段。这时，网络按一定的学习规则修改突触的权系数Wij，以使使得给定的测度函数E达到最小。])()(),(,)([)()1()(twtEttwtwijijnijnijΨ是一个非线性函数；ηij是权重变化率；n是学习时的迭代次数。34四、神经网络结构及功能4.1引言学习和执行是神经网络不可缺少的两个处理和功能。神经网络的各种有效的行为和作用，都是通过这两个关键的过程来实现的。通过学习阶段，可以把神经网络训练成对某种信息模式特别敏感，或具有某种特征的动力学系统。通过执行阶段，可以用神经网络识别有关信息模式或特征。在智能控制中，用神经网络作为控制器，则在学习时就是以神经网络去学习被控对象的特征，从而使神经网络能适应被控对象的输入输出关系；这样，在执行时，神经网络就能以学习到的知识对被控对象实现恰如其分的控制。