重庆工商大学数学建模算法讲义第19章 神经网络模型

-230-第十九章神经网络模型§1神经网络简介人工神经网络是在现代神经科学的基础上提出和发展起来的，旨在反映人脑结构及功能的一种抽象数学模型。自1943年美国心理学家W.McCulloch和数学家W.Pitts提出形式神经元的抽象数学模型—MP模型以来，人工神经网络理论技术经过了50多年曲折的发展。特别是20世纪80年代，人工神经网络的研究取得了重大进展，有关的理论和方法已经发展成一门界于物理学、数学、计算机科学和神经生物学之间的交叉学科。它在模式识别，图像处理，智能控制，组合优化，金融预测与管理，通信，机器人以及专家系统等领域得到广泛的应用，提出了40多种神经网络模型，其中比较著名的有感知机，Hopfield网络，Boltzman机，自适应共振理论及反向传播网络（BP）等。在这里我们仅讨论昀基本的网络模型及其学习算法。1.1人工神经元模型下图表示出了作为人工神经网络（artificialneuralnetwork，以下简称NN）的基本单元的神经元模型，它有三个基本要素：（i）一组连接（对应于生物神经元的突触），连接强度由各连接上的权值表示，权值为正表示激活，为负表示抑制。（ii）一个求和单元，用于求取各输入信号的加权和（线性组合）。（iii）一个非线性激活函数，起非线性映射作用并将神经元输出幅度限制在一定范围内（一般限制在)1,0(或)1,1(−之间）。此外还有一个阈值kθ（或偏置kkbθ−=）。以上作用可分别以数学式表达出来：∑==pjjkjkxwu1，kkkuvθ−=，)(kkvyϕ=式中pxxx,,,21L为输入信号，kpkk为神经元k之权值，ku为线性组合结果，kθ为阈值，)(⋅ϕ为激活函数，ky为神经元k的输出。若把输入的维数增加一维，则可把阈值kθ包括进去。例如∑==pjjkjkxwv0，)(kkuyϕ=此处增加了一个新的连接，其输入为10−=x（或1+），权值为kkwθ=0（或kb），如下图所示。-231-激活函数)(⋅ϕ可以有以下几种:（i）阈值函数⎩⎨⎧≥=0,00,1)(vvvϕ（1）即阶梯函数。这时相应的输出ky为⎩⎨⎧≥=0,00,1kkkvvy其中∑=−=pjkjkjkxwv1θ，常称此种神经元为PM−模型。（ii）分段线性函数⎪⎪⎩⎪⎪⎨⎧−≤−+≥=1,011),1(211,1)(vvvvvϕ（2）它类似于一个放大系数为1的非线性放大器，当工作于线性区时它是一个线性组合器，放大系数趋于无穷大时变成一个阈值单元。（iii）sigmoid函数昀常用的函数形式为)exp(11)(vvαϕ−+=（3）参数0α可控制其斜率。另一种常用的是双曲正切函数)exp(1)exp(12tanh)(vvvv−+−−=⎟⎠⎞⎜⎝⎛=ϕ（4）这类函数具有平滑和渐近性，并保持单调性。Matlab中的激活（传递）函数如下表所示：函数名功能purelin线性传递函数-232-hardlim硬限幅传递函数hardlims对称硬限幅传递函数satlin饱和线性传递函数satlins对称饱和线性传递函数logsig对数S形传递函数tansig正切S形传递函数radbas径向基传递函数compet竞争层传递函数各个函数的定义及使用方法，可以参看Matlab的帮助（如在Matlab命令窗口运行helptansig，可以看到tantig的使用方法，及tansig的定义为112)(2−+=−vevϕ）。1.2网络结构及工作方式除单元特性外，网络的拓扑结构也是NN的一个重要特性。从连接方式看NN主要有两种。（i）前馈型网络各神经元接受前一层的输入，并输出给下一层，没有反馈。结点分为两类，即输入单元和计算单元，每一计算单元可有任意个输入，但只有一个输出（它可耦合到任意多个其它结点作为其输入）。通常前馈网络可分为不同的层，第i层的输入只与第1−i层输出相连，输入和输出结点与外界相连，而其它中间层则称为隐层。（ii）反馈型网络所有结点都是计算单元，同时也可接受输入，并向外界输出。NN的工作过程主要分为两个阶段：第一个阶段是学习期，此时各计算单元状态不变，各连线上的权值可通过学习来修改；第二阶段是工作期，此时各连接权固定，计算单元状态变化，以达到某种稳定状态。从作用效果看，前馈网络主要是函数映射，可用于模式识别和函数逼近。反馈网络按对能量函数的极小点的利用来分类有两种：第一类是能量函数的所有极小点都起作用，这一类主要用作各种联想存储器；第二类只利用全局极小点，它主要用于求解昀优化问题。§2蠓虫分类问题与多层前馈网络2.1蠓虫分类问题蠓虫分类问题可概括叙述如下：生物学家试图对两种蠓虫（Af与Apf）进行鉴别，依据的资料是触角和翅膀的长度，已经测得了9支Af和6支Apf的数据如下：Af:(1.24,1.27)，(1.36,1.74)，(1.38,1.64)，(1.38,1.82)，(1.38,1.90)，(1.40,1.70)，(1.48,1.82)，(1.54,1.82)，(1.56,2.08).Apf:(1.14,1.82)，(1.18,1.96)，(1.20,1.86)，(1.26,2.00)，(1.28,2.00)，(1.30,1.96).现在的问题是：（i）根据如上资料，如何制定一种方法，正确地区分两类蠓虫。（ii）对触角和翼长分别为(1.24,1.80)，(1.28,1.84)与(1.40,2.04)的3个标本，用所得到的方法加以识别。（iii）设Af是宝贵的传粉益虫，Apf是某疾病的载体，是否应该修改分类方法。如上的问题是有代表性的，它的特点是要求依据已知资料（9支Af的数据和6支Apf的数据）制定一种分类方法，类别是已经给定的（Af或Apf）。今后，我们将9支-233-Af及6支Apf的数据集合称之为学习样本。2.2多层前馈网络为解决上述问题，考虑一个其结构如下图所示的人工神经网络，激活函数由)exp(11)(vvαϕ−+=来决定。图中昀下面单元，即由•所示的一层称为输入层，用以输入已知测量值。在我们的例子中，它只需包括两个单元，一个用以输入触角长度，一个用以输入翅膀长度。中间一层称为处理层或隐单元层，单元个数适当选取，对于它的选取方法，有一些文献进行了讨论，但通过试验来决定，或许是昀好的途径。在我们的例子中，取三个就足够了。昀上面一层称为输出层，在我们的例子中只包含二个单元，用以输出与每一组输入数据相对应的分类信息．任何一个中间层单元接受所有输入单元传来的信号，并把处理后的结果传向每一个输出单元，供输出层再次加工，同层的神经元彼此不相联接，输入与输出单元之间也没有直接联接。这样，除了神经元的形式定义外，我们又给出了网络结构。有些文献将这样的网络称为两层前传网络，称为两层的理由是，只有中间层及输出层的单元才对信号进行处理；输入层的单元对输入数据没有任何加工，故不计算在层数之内。为了叙述上的方便，此处引人如下记号上的约定：令s表示一个确定的已知样品标号，在蠓虫问题中，15,,2,1L=s，分别表示学习样本中的15个样品；当将第s个样品的原始数据输入网络时，相应的输出单元状态记为)2,1(=iOsi，隐单元状态记为)3,2,1(=jHsj，输入单元取值记为)2,1(=kIsk。请注意，此处下标kji,,依次对应于输出层、中间层及输入层。在这一约定下，从中间层到输出层的权记为ijw，从输入层到中间层的权记为jkw。如果ijw，jkw均已给定，那么，对应于任何一组确定的输入),(21ssII，网络中所有单元的取值不难确定。事实上，对样品s而言，隐单元j的输入是∑==21kskjksjIwh（5）相应的输出状态是∑===21)()(kskjksjsjIwhHϕϕ（6）由此，输出单元i所接收到的迭加信号是-234-∑∑∑=====313121)(jjkskjkijsjijsiIwwHwhϕ（7）网络的昀终输出是))(()()(312131∑∑∑======jkskjkijjsjijsisiIwwHwhOϕϕϕϕ（8）这里，没有考虑阈值，正如前面已经说明的那样，这一点是无关紧要的。还应指出的是，对于任何一组确定的输入，输出是所有权},{jkijww的函数。如果我们能够选定一组适当的权值},{jkijww，使得对应于学习样本中任何一组Af样品的输入),(21ssII，输出)0,1(),(21=ssOO，对应于Apf的输入数据，输出为)1,0(，那么蠓虫分类问题实际上就解决了。因为，对于任何一个未知类别的样品，只要将其触角及翅膀长度输入网络，视其输出模式靠近)0,1(亦或)1,0(，就可能判断其归属。当然，有可能出现介于中间无法判断的情况。现在的问题是，如何找到一组适当的权值，实现上面所设想的网络功能。2.3向后传播算法对于一个多层网络，如何求得一组恰当的权值，使网络具有特定的功能，在很长一段时间内，曾经是使研究工作者感到困难的一个问题，直到1985年，美国加州大学的一个研究小组提出了所谓向后传播算法（Back-Propagation），使问题有了重大进展，这一算法也是促成人工神经网络研究迅猛发展的一个原因。下面就来介绍这一算法。如前所述，我们希望对应于学习样本中Af样品的输出是)0,1(，对应于Apf的输出是)1,0(，这样的输出称之为理想输出。实际上要精确地作到这一点是不可能的，只能希望实际输出尽可能地接近理想输出。为清楚起见，把对应于样品s的理想输出记为}{siT，那么∑−=sisisiOTWE,2)(21)(（9）度量了在一组给定的权下，实际输出与理想输出的差异，由此，寻找一组恰当的权的问题，自然地归结为求适当W的值，使)(WE达到极小的问题。将式（8）代入（9），有∑∑∑==−=isjkskjkijsiIwwTWE,23121)])(([21)(ϕϕ（10）易知，对每一个变量ijw或ijw而言，这是一个连续可微的非线性函数，为了求得其极小点与极小值，昀为方便的就是使用昀速下降法。昀速下降法是一种迭代算法，为求出)(WE的（局部）极小，它从一个任取的初始点0W出发，计算在0W点的负梯度方向—)(0WE∇，这是函数在该点下降昀快的方向；只要0)(0≠∇WE，就可沿该方向移动一小段距离，达到一个新的点)(001WEWW∇−=η，η是一个参数，只要η足够小，定能保证)()(01WEWE。不断重复这一过程，一定能达到E的一个（局部）极小点。就本质而言，这就是BP算法的全部内容，然而，对人工神经网络问题而言，这一算法的具体形式是非常重要的，下面我们就来给出这一形式表达。对于隐单元到输出单元的权ijw而言，昀速下降法给出的每一步的修正量是-235-∑∑=−=∂∂−=ΔsssjsisjsisisiijijHHhOTwEwδηϕηη)('][（11）此处令])[('sisisisiOTh−=ϕδ（12）对输入单元到隐单元的权jkw∑−=∂∂−=ΔissjsjijsisisijkjkIhwhOTwEw,)(')('][ϕϕηη∑∑==ssksjissksjijsiIIhwδηϕδη,)('（13）此处∑=isiijsjsjwhδϕδ)('从（11）和（13）式可以看出，所有权的修正量都有如下形式，即∑=Δssqsppqvwδη（14）指标p对应于两个单元中输出信号的一端，q对应于输入信号的一端，v或者代表H或者代表I。形式上看来，这一修正是“局部”的，可以看作是Hebb律的一种表现形式。还应注意，siδ由实际输出与理想输出的差及sih决定，而sjδ则需依赖siδ算出，因此，这一算法才称为向后传播算法。稍加分析还可知道，利用由（11）~（13）式所给出的计算安排，较之不考虑spδ的向后传播，直接计算所有含'ϕ的原表达式，极大地降低了计算工作量。这组关系式称作广义−δ法则，它们不难推广到一般的多层网络上去。利用这一迭代算法，昀终生成在一定精度内满足要求的},{jkijww的过程，称为人工神经网络的学习过程。可以看出，这里所提供的学习机制是元与元之间权的不断调整，学习样本中任何一个样品所提供的信息，昀终将包含在网络的每一个权