计算智能-神经网络

第2章神经网络要求理解神经网络的思想原理，掌握神经网络的典型结构和网络训练的学习算法，熟练掌握BP神经网络的结构原理和学习算法，并能熟悉神经网络的各种实际应用。神经网络简介神经网络（NeuralNetwork）也叫人工神经网络，是指模拟人脑神经系统的结构和功能，运用大量的处理部件，由人工方式构造的网络系统。神经网络理论突破了传统的、线性处理的局限，是一种非线形动力系统，并以分布式存储和并行协同处理为特色，虽然单个神经元的结构和功能极其简单有限，但是大量的神经元构成的网络系统能实现极其复杂的行为和功能。神经网络的研究发展历史萌芽时期（1940－1960）1943年，美国心理学家McCulloch和数学家Pitts合作，提出了神经元的数学模型和网络的结构方法，即M-P模型，这就是神经网络的概念。标志着神经网络时代的开始。1957年，计算机科学家Rosenblatt用硬件完成了最早的神经网络模型，定义为感知器（Perceptron）用来模拟生物的感知和学习能力。把神经网络从纯理论推向了工程实践。低谷期（1960－1970）原因：1969年，人工智能之父Minskey和Papert发表论著指出了Perdeptron无科学价值，只能作线形划分，对于非线形或其它分类会遇到很多困难，连简单的XOR逻辑分类都做不到。复兴期（1980－1990）1982年，加州大学的物理学家Hopfield提出了有名的全连接Hopfield网络模型，并用电路实现，人们对神经网络有了新的认识。1986年，Rumelhart等人提出了反向传播算法，使Hopfield网络模型和多层前馈型神经网络成为应用最为广泛的模型。全新的发展时期（1990年以后）电子电路、脑科学、生物学、光学的进步为人工神经网络的发展打下了基础。理论不断深化，应用得到进一步推广光学神经网络，混沌神经网络，模糊神经网络，进化神经网络等新模型出现。目前国内外研究状况1.研究机构美国DARPA计划、日本HFSP计划、法国尤里卡计划、德国欧洲防御计划、前苏联高技术发展计划2.学会86年4月，美国物理学会在Snowbirds召开了国际神经网络学术会议；87年6月，IEEE在SanDiego召开了国际神经网络学术会议，并成立了国际神经网络学会；88年起，IEEE和国际神经网络学会每年召开一次国际会议；我国自91年开始每两年召开一次学术会议。3.刊物1990年3月，IEEE神经网络会刊问世。4.应用范围已经渗透到各个领域，智能控制、模式识别、计算机视觉、自适应滤波、信号处理、非线形优化、语音识别、知识处理、传感技术与机器人等等。神经网络代表一种新的主义—连接主义，解决诸如知识表达、推理学习、联想记忆、乃至复杂的社会现象，如混沌，社会演变的复杂系统的统一模型，它预示着一个新的工业。人工神经网络的特性：(1)并行分布处理。神经网络具有高度的并行结构和并行实现能力，因而具有较好的耐故障能力和较快的总体处理能力。这一特性特别适于实时和动态处理。(2)非线性映射。神经网络具有固有的非线性特性，这源于其近似任意非线性映射(变换)能力。这一特性给处理非线性问题带来新的希望。(3)通过训练进行学习。神经网络是通过所研究系统过去的数据记录进行训练的。一个经过适当训练的神经网络具有归纳全部数据的能力。因此，神经网络能够解决那些由数学模型或描述规则难以处理的问题。(4)适应与集成。神经网络能够适应在线运行，并能同时进行定量和定性操作。神经网络的强适应和信息融合能力使得它可以同时输入大量不同的控制信号，解决输入信息间的互补和冗余问题，并实现信息集成和融合处理。这些特性特别适于复杂、大规模和多变量系统。(5)硬件实现。神经网络不仅能够通过软件而且可以借助硬件实现并行处理。近年来，一些超大规模集成电路实现硬件已经问世，而且可以从市场上购买到。这使得神经网络成为具有快速和大规模处理能力的网络。神经元的结构本体：（细胞体、细胞核、细胞质），对输入信号进行处理，相当于CPU。树突：本体向外伸出的分支，多根，长1mm左右，本体的输入端，输入信号。轴突：本体向外伸出的最长的分支，即神经纤维，一根，长1cm—1m左右，通过轴突上的神经末梢将信号传给其它神经元，本体的输出端，输出信号。突触：各神经元之间轴突和树突之间的接口，即神经末梢与树突相接触的交界面，每个细胞体大约有103—104个突触。突触有兴奋型和抑制型两种。神经元的结构该神经元单元由多个输入xi,i=1,2,…,n和一个输出f组成，n为输入信号的数目。中间状态由输入信号的加权和表示，ωji为连接权系数(对于激发状态，ωji取正值；对于抑制状态，ωji取负值)，θj为神经元单元的偏置(阈值)。f为神经元输出,f(.)为输出变换函数，有时叫做激活函数，输出变换函数往往采用如下的0和1二值函数或S形函数。niiiniiixxf1101一种神经网络中最常用的S形函数由下式表示：另外还有分段线性函数如下图（b）所示：例题：已知输入样本(x1,x2,x3,x4,x5)=(1,0,1,1,0),权重(w1,w2,w3,w4,w5)=(0.4,0.3,-0.2,-0.1,0.2),神经元的偏置（阈值）θ＝0；（1）若采用二元阈值激活函数计算输出（1）若采用S型激活函数，计算输出niiiniiixxf1101M-P模型y{0,1}兴奋性输入抑制性输入输出I1INN1NM……用M-P模型实现二元Boole逻辑人工神经网络由神经元模型构成，许多神经元组成的信息处理网络，具有并行分布结构；每个神经元具有多个输入和单一输出，并且能够与其他神经元连接；存在许多(多重)输出连接方法，每种连接方法对应于一个连接权系数。不同的链接方法可以构成不同类型的网络结构。人工神经网络的基本构成严格地说，人工神经网络是一种具有下列特性的有向图：(1)对于每个节点i存在一个状态变量Xi；(2)从节点j至节点i，存在一个连接权系数ωji；(3)对于每个节点i，存在一个阈值θi；(4)对于每个节点i，定义一个激活函数fi(xi,ωji,θi)，i≠j;对于二元阈值模型，此函数取()iijjijfx人工神经网络的基本构成•按照网络的结构分：前馈网络；反馈网络。•按照学习方式分：有教师指导的网络；无教师指导的网络。•按照网络的性能分：连续型与离散型网络；确定型与随机型网络。•按照连接突触的性质分：一阶线性关联网络；高阶非线性关联网络。•按照对生物神经系统的不同层次的抽象模拟，可分为：神经元层次模型，组合式模型，网络层次模型，神经系统层次模型，智能型模型。人工神经网络的分类人工神经网络的典型结构最原始，最简单的神经网络结构。在图中，xi为节点的输入(初始)值，yi为神经元模型处理后的输出值，i=1,2,…,n。单层感知器结构简单，能力有限，很少单独使用，一般作为其它网络模型的基本单元。单层感知器网络人工神经网络的典型结构•前馈型网络具有分层结构，从输入层至输出层的信号为单向传播；•神经元从一层连接至下一层，不存在同层神经元之间的横向连接；•每层神经元只接收前一层的传输来的信息；前馈型网络前馈型网络结构清晰，学习和调整方法较容易，处理问题的能力相对较强，目前应用较广泛。人工神经网络的典型结构•具有分层结构，从外部看仍为前馈型单向传播类型；•同层神经元之间存在的横向连接；•同层神经元之间的连接是为了激励和压抑的竞争需要•是自组织竞争网络的结构特征之一。前馈内层互联网络人工神经网络的典型结构•信号能够从正向和反向流通。•输出层存在反馈回路，到输入层作为一个输入•有些神经元的输出被反馈至同层或前层神经元。•Hopfield网络是反馈型网络中的一个代表性例子。反馈型网络人工神经网络的典型结构•信号能够从正向和反向流通。•所有神经元之间都有连接。多个神经元互连以组织一个全互联神经网络。•有些神经元的输出被反馈至同层或前层神经元。全互联网络指出属于那种网络结构(a)(b)(c)(d)1、学习期对神经网络的训练过程，通过学习不断的调整和修正网络的参数，特别是权重。神经网络的工作方式(1)有监督学习根据网络的实际输出与期望输出(给定输出)之间的误差，来调整神经元之间的连接强度（权重）。因此，监督数据包括输入数据和输出数据两种。即需要提供期望或目标输出值。(2)无监督学习无监督学习算法不需要知道期望输出。在训练过程中，只要向神经网络提供输入数据，网络能够根据输入数据的特征或规律，以及自身的功能自动调整权重。(3)再励（强化）学习如前所述，再励(强化)学习不需要给出目标输出。采用一个“评论员”来评价神经网络输出的优度(质量因数)。2、工作期经过训练的神经网络，可以把某一问题的若干知识在同一网络中用相应的权重和阈值等表示出来。(1)把未知数据从网络的输入层输入到各个节点。(2)利用激励函数逐层计算出网络中各神经元的输出。(3)直至计算出输出层的输出值为止，得到输出结果。神经网络的工作方式医疗诊断的实例。假设神经网络模型只有6种症状、2种疾病、3种治疗方案。对网络的训练样本是选择一批合适的病人并从病历中采集如下信息：(1)症状：对每一症状只采集有、无及没有记录这三种信息。(2)疾病：对每一疾病也只采集有、无及没有记录这三种信息。(3)治疗方案：对每一治疗方案只采集是否采用这两种信息。其中，对“有”、“无”、“没有记录”分别用＋1,-1,0表示。这样对每一个病人就可以构成一个训练样本。假设上图是根据症状、疾病及治疗方案间的因果关系以及通过训练样本对网络的训练得到的神经网络。其中,x1,x2,…,x6为症状;x7,x8为疾病名；x9,x10,x11为治疗方案；xa,xb,xc是附加层，这是由于学习算法的需要而增加的。在此网络中,x1,x2,…,x6是输入层;x9,x10,x11是输出层；两者之间以疾病名作为中间层。(1)这是一个带有正负权值ωij的前向网络，由ωij可构成相应的学习矩阵。这个学习矩阵可用来表示相应的神经网络。(2)神经元取值为+1，0，-1，激励函数为一离散型的阈值函数，计算公式为：其中，Xj表示节点j输入的加权和；xj为节点j的输出。为计算方便，上式中增加了ω0jx0项,x0的值为常数1,ω0j的值标在节点的圆圈中，它实际上是-θj，即ω0j=-θj，θj是节点j的阈值。(3)图中连接弧上标出的ωij值是根据一组训练样本，通过某种学习算法(如BP算法)对网络进行训练得到的。这就是神经网络系统所进行的知识获取。(4)由全体ωij的值及各种症状、疾病、治疗方案名所构成的集合就形成了该疾病诊治系统的知识库。学习规则—Hebb学习规则•神经网络的学习过程是发生在神经元之间的突触部位，突触的联结强度随着突触前后神经元的活动而变化，变化的量与两个神经元的活性之和成正比。•Hebb学习规则是一个无监督学习规则，根据神经元连接之间的激活水平改变权重，当两个神经元同时处于激发状态时，他们之间的连接权重加强。•由赫布提出的Hebb学习规则为神经网络的学习算法奠定了基础，在此基础上，人们提出了各种学习规则和算法，以适应不同网络模型的需要。)()(jqjiqioldijnewijpgafww初始权向量：W1=[1,-1,0,0.5]T训练集数据：X1=[1,-2,1.5,0]TX2=[1,-0.5,-2,-1.5]TX3=[0,1,-1,1.5]T学习常数：η=0.2激励函数：)()(jqjiqioldijnewijpgafww01-0001uuufniiixu1输入训练集数据：X1=[1,-2,1.5,0]T)()(jqjiqioldijnewijpgafww30][1,-2,1.5,*5][1,-1,0,0.1Tniiixuf=1W2=W1+ηfg=[1,-1,0,0.5]T+0.2*[1,-2,1.5,0]T=[1.2,-1.4,0.3,0.5]T输入训练