计算智能概述(PPT-92页)

1第5章计算智能计算智能是信息科学、生命科学、认知科学等不同学科相互交叉的产物。它主要借鉴仿生学的思想，基于人们对生物体智能机理的认识，采用数值计算的方法去模拟和实现人类的智能。计算智能的主要研究领域包括：神经计算、进化计算、模糊计算、免疫计算、DNA计算和人工生命等。本章主要讨论神经计算、进化计算和模糊计算问题。5.1概述5.2神经计算5.3进化计算5.4模糊计算25.1概述•5.1.1什么是计算智能•5.1.2计算智能的产生与发展•5.1.3计算智能与人工智能的关系35.1.1什么是计算智能•计算智能（ComputationalIntelligence，CI）目前还没有一个统一的的定义，使用较多的是美国科学家贝慈德克（J.C.Bezdek）从计算智能系统角度所给出的定义:•如果一个系统仅处理低层的数值数据，含有模式识别部件，没有使用人工智能意义上的知识，且具有计算适应性、计算容错力、接近人的计算速度和近似于人的误差率这4个特性，则它是计算智能的。•从学科范畴看，计算智能是在神经网络（NeuralNetworks,NN）、进化计算（EvolutionaryComputation,EC）及模糊系统（FuzzySystem,FS）这3个领域发展相对成熟的基础上形成的一个统一的学科概念。4•神经网络是一种对人类智能的结构模拟方法，它是通过对大量人工神经元的广泛并行互联，构造人工神经网络系统去模拟生物神经系统的智能机理的。•进化计算是一种对人类智能的演化模拟方法，它是通过对生物遗传和演化过程的认识，用进化算法去模拟人类智能的进化规律的。•模糊计算是一种对人类智能的逻辑模拟方法，它是通过对人类处理模糊现象的认知能力的认识，用模糊逻辑去模拟人类的智能行为的。•从贝慈德克对计算智能的定义和上述计算智能学科范畴的分析，可以看出以下2点：•第一，计算智能是借鉴仿生学的思想，基于生物神经系统的结构、进化和认知对自然智能进行模拟的。•第二，计算智能是一种以模型（计算模型、数学模型）为基础，以分布、并行计算为特征的自然智能模拟方法。55.1.2计算智能的产生与发展•1992年，贝慈德克在《ApproximateReasoning》学报上首次提出了“计算智能”的概念。•1994年6月底到7月初，IEEE在美国佛罗里达州的奥兰多市召开了首届国际计算智能大会(简称WCCI’94)。会议第一次将神经网络、进化计算和模糊系统这三个领域合并在一起，形成了“计算智能”这个统一的学科范畴。•在此之后，WCCI大会就成了IEEE的一个系列性学术会议，每4年举办一次。1998年5月，在美国阿拉斯加州的安克雷奇市又召开了第2届计算智能国际会议WCCI’98。2002年5月，I在美国州夏威夷州首府火奴鲁鲁市又召开了第3届计算智能国际会议WCCI’02。此外，IEEE还出版了一些与计算智能有关的刊物。•目前，计算智能的发展得到了国内外众多的学术组织和研究机构的高度重视，并已成为智能科学技术一个重要的研究领域。65.1.3计算智能与人工智能的关系•目前，对计算智能与人工智能的关系有2种不同观点，一种点认为计算智能是人工智能的一个子集，另一种观点认为计算智能和人工智能是不同的范畴。•第一种观点的代表人物是贝慈德克。他把智能（Intelligence，I）和神经网络（NeuralNetwork，NN）都分为计算的（Computational，C）、人工的（Artificial，A）和生物的（Biological,B）3个层次，并以模式识别（PR）为例，给出了下图所示的智能的层次结构。•在该图中，底层是计算智能（CI），它通过数值计算来实现，其基础是CNN；中间层是人工智能（AI），它通过人造的符号系统实现，其基础是ANN；顶层是生物智能（BI），它通过生物神经系统来实现，其基础是BNN。•按照贝慈德克的观点，CNN是指按生物激励模型构造的NN，ANN是指CNN+知识，BNN是指人脑，即ANN包含了CNN，BNN又包含了ANN。对智能也一样，贝慈德克认为AI包含了CI，BI又包含了AI，即计算智能是人工智能的一个子集。7CNNCPRCIANNAPRAIBNNBPRBI人类知识(+)传感输入知识(+)传感数据计算(+)传感器B~生物的A~符号的C~数值的复杂性复杂性输入层次贝慈德克的智能的3个层次8•第二种观点是大多数学者所持有的观点，其代表人物是艾伯哈特（R.C.Eberhart）。他们认为：虽然人工智能与计算智能之间有重合，但计算智能是一个全新的学科领域，无论是生物智能还是机器智能，计算智能都是其最核心的部分，而人工智能则是外层。•事实上，CI和传统的AI只是智能的两个不同层次，各自都有自身的优势和局限性，相互之间只应该互补，而不能取代。•大量实践证明，只有把AI和CI很好地结合起来，才能更好地模拟人类智能，才是智能科学技术发展的正确方向。95.2神经计算神经计算或叫神经网络，是计算智能的重要基础和核心，也是计算智能乃至智能科学技术的一个重要研究领域。本节的主要内容包括：5.1.1神经计算基础5.1.2人工神经网络的互连结构5.1.3人工神经网络的典型模型至于基于神经网络的连接学习机制放到第7章学习部分讨论。105.2.1神经计算基础1.生物神经系统简介生物神经系统是人工神经网络的基础。人工神经网络是对人脑神经系统的简化、抽象和模拟，具有人脑功能的许多基本特征。为方便对神经网络的进一步讨论，下面先介绍：(1)生物神经元的结构(2)生物神经元的功能(3)人脑神经系统的联结机制11(1)生物神经元的结构神经末梢突触轴突树突细胞核细胞体它由细胞体(Soma)、轴突(Axon)和树突(Dendrite)三个主要部分组成细胞体由细胞核、细胞质和细胞膜等组成，其直径大约为0.5-100μm大小不等。细胞体是神经元的主体，用于处理由树突接受的其它神经元传来的信号,其内部是细胞核，外部是细胞膜，细胞膜的外面是许多向外延伸出的纤维。12轴突是由细胞体向外延伸出的所有纤维中最长的一条分枝，用来向外传递神经元产生的输出电信号。每个神经元都有一条轴突，其最大长度可达1m以上。在轴突的末端形成了许多很细的分枝，这些分支叫神经末梢。每一条神经末梢可以与其它神经元形成功能性接触，该接触部位称为突触。所谓功能性接触，是指非永久性的接触，这正是神经元之间传递信息的奥秘之处树突是指由细胞体向外延伸的除轴突以外的其它所有分支。树突的长度一般较短，但数量很多，它是神经元的输入端，用于接受从其它神经元的突触传来的信号。13(2)生物神经元的功能根据神经生理学的研究，生物神经元的2个主要功能是:神经元的兴奋与抑制，神经元内神经冲动的传导。①神经元的抑制与兴奋抑制状态是指神经元在没有产生冲动时的工作状态。兴奋状态是指神经元产生冲动时的工作状态。通常情况下，神经元膜电位约为-70毫伏，膜内为负，膜外为正，处于抑制状态。当神经元受到外部刺激时，其膜电位随之发生变化，即膜内电位上升、膜外电位下降，当膜内外的电位差大于阈值电位（约+40毫伏）时，神经元产生冲动而进入兴奋状态。说明:神经元每次冲动的持续时间大约1毫秒左右，在此期间即使刺激强度再增加也不会引起冲动强度的增加。神经元每次冲动结束后，都会重新回到抑制状态。如果神经元受到的刺激作用不能使细胞膜内外的电位差大于阈值电位，则神经元不会产生冲动，将仍处于抑制状态。②神经元内神经冲动的传导神经冲动在神经元内的传导是一种电传导过程，神经冲动沿神经纤维传导的速度却在3.2---320km/s之间，且其传导速度与纤维的粗细、髓鞘的有无有一定关系。一般来说，有髓鞘的纤维的传导速度较快，而无髓鞘的纤维的传导速度较慢。14(3)人脑神经系统的联结机制①人脑神经系统的联结规模人脑大约由1011--1012个神经元所组成，其中每个神经元大约有3＊104个突触。小脑中的每个神经元大约有105个突触，并且每个突触都可以与别的神经元的一个树突相连。人脑神经系统就是由这些巨量的生物神经元经广泛并行互连所形成的一个高度并行性、非常复杂的神经网络系统。②人脑神经系统的分布功能人脑神经系的记忆和处理功能是有机的结合在一起的，每个神经元既具有存储功能，同时又具有处理能力。从结构上看，人脑神经系统又是一种分布式系统统。人们通过对脑损坏病人所做的神经生理学研究，没有发现大脑中的哪一部分可以决定其余所有各部分的活动，也没有发现在大脑中存在有用于驱动和管理整个智能处理过程的任何中央控制部分。即，人类大脑的各个部分是协同工作、相互影响的。在大脑中，不仅知识的存储是分散的，而且其控制和决策也是分散的。15人工神经网络是由大量的人工神经元经广泛互联所形成的一种人工网络系统，用以模拟人类神经系统的结构和功能。(1)人工神经元的结构(2)常用的人工神经元模型5.2.1神经计算基础2.人工神经网络简介16人工神经元的结构θ…x1x2xnw1w2wny人工神经元是对生物神经元的抽象与模拟下图是一个MP神经元模型1()()niiiyffwx1943年，心理学家麦克洛奇(W.McMulloch)和数理逻辑学家皮茨(W.Pitts)根据生物神经元的功能和结构，提出了一个将神经元看作二进制阈值元件的简单模型，即MP模型。图中的x1,x2,…,xn表示某一神经元的n个输入；wi表示第i个输入的连接强度，称为连接权值；θ为神经元的阈值；y为神经元的输出。可见，人工神经元是一个具有多输入，单输出的非线性器件。其输入为,输出为其中，f称为神经元功能函数（或作用函数，激活函数）。1niiiwx17常用的人工神经元模型根据功能函数的不同，可得到不同的神经元模型。常用模型包括：阈值型(Threshold)θf(θ)1这种模型的神经元没有内部状态，作用函数f是一个阶跃函数，他表示激活值σ和输出之间的关系。这是一种连续的神经元模型，其输入输出特性常用指数、对数或双曲正切等S型函数表示。它反映的是神经元的饱和特性.分段线性强饱和型(LinearSaturation)S型(Sibmoid)子阈累积型(SubthresholdSummation)也是一个非线性函数，当产生的激活值超过T值时，该神经元被激活产生个反响。在线性范围内，系统的反响是线性的。T1这种模型又称为伪线性，其输入/输出之间在一定范围内满足线性关系，一直延续到输出为最大值1为止。但当达到最大值后，输出就不再增。185.2.2人工神经网络的互联结构人工神经网络的互连结构（或称拓扑结构）是指单个神经元之间的连接模式，它是构造神经网络的基础，也是神经网络诱发偏差的主要来源。从互连结构的角度：前馈网络反馈网络单层前馈网络多层前馈网络单层反馈网络多层反馈网络仅含输入层和输出层，且只有输出层的神经元是可计算节点除拥有输入、输出层外，还至少含有一个、或更多个隐含层的前向网络指不拥有隐含层的反馈网络指拥有隐含层的反馈网络可含有反馈联结只包含前向联结n1ijiijjm,...,2,1j)x(fyw19包括单层前馈网络和多层前馈网络。单层前馈网络是指那种只拥有单层计算节点的前向网络。它仅含有输入层和输出层，且只有输出层的神经元是可计算节点，如下图所示其中，输入向量为X=(x1,x2,…,xn)；输出向量为Y=(y1,y2,…,ym)；输入层各个输入到相应神经元的连接权值分别是wij，i=1,2,..,n，j=1,2,..,m。……x1X2X3xny1Y2ym权值wij输出层输入层图5.8单层前馈网络结构5.2.2人工神经网络的互联结构1.前馈网络(1/3)20若假设各神经元的阈值分别是θj，j=1,2,…,m，则各神经元的输出yj,j=1,2,..,m分别为：其中，由所有连接权值wij构成的连接权值矩阵W为：在实际应用中，该矩阵是通过大量的训练示例学习而形成的。n1ijiijjm,...,2,1j)x(fywnmn2n12m22211m12115.2.2人工神经网络的互联结构1.前馈网络(2/3)21