西电人工智能19计算智能Part136

西安电子科技大学ArtificialIntelligence(AI)人工智能主讲：戚玉涛Email：[e-mail]第五章：计算智能西安电子科技大学内容提要第五章：计算智能1.概述2.神经网络3.模糊计算4.遗传算法西安电子科技大学内容提要第五章：计算智能1.概述2.神经网络3.模糊计算4.遗传算法西安电子科技大学概述计算智能（ComputationalIntelligence，CI）按照Bezdek（贝兹德克）的观点：如果一个系统仅处理低层的数值数据，含有模式识别部件，没有使用人工智能意义上的知识，且具有计算适应性、计算容错力、接近人的计算速度和近似于人的误差率这4个特性，则它是计算智能的。从学科范畴看：计算智能是在神经网络（NeuralNet-works,NN）、进化计算（EvolutionaryComputation,EC）及模糊系统（FuzzySystem,FS）这3个领域发展相对成熟的基础上形成的一个统一的学科概念。西安电子科技大学概述神经网络：是一种对人类智能的结构模拟方法，它是通过对大量人工神经元的广泛并行互联，构造人工神经网络系统去模拟生物神经系统的智能机理的。进化计算：是一种对人类智能的演化模拟方法，它是通过对生物遗传和演化过程的认识，用进化算法去模拟人类智能的进化规律的。模糊计算：是一种对人类智能的逻辑模拟方法，它是通过对人类处理模糊现象的认知能力的认识，用模糊逻辑去模拟人类的智能行为的。西安电子科技大学概述计算智能不仅涉及神经网络、模糊系统和进化计算三个主要分支，还包括：粒子群算法蚁群算法人工免疫系统人工生命模拟退火算法粗集理论与粒度计算支持向量机量子计算DNA计算智能agent……西安电子科技大学概述智能的三个层次生物智能(BiologicalIntelligence,BI)：由脑的物理化学过程反映出来的,脑智能的基础。人工智能(ArtificialIntelligence,AI)：是非生物的,人造的,常用符号来表示，AI的来源是人类知识的精华。计算智能(ComputationalIntelligence,CI)：是由数学方法和计算机实现的，CI的来源数值计算的传感器。ABC：ArtificialBiologicalComputational西安电子科技大学概述ABC的交互关系：Bezdek（贝兹德克），1994输入人类知识(＋)传感输入知识(＋)传感数据计算(＋)传感器C－数值的A－符号的B－生物的输入复杂性复杂性BNNBPRBIANNAPRAICNNCPRCINN：神经网络；PR：模式识别；I：智能西安电子科技大学概述另一种观点：计算智能和人工智能是不同的范畴。其代表人物是艾伯哈特（R.C.Eberhart）。该观点认为：虽然人工智能与计算智能之间有重合，但计算智能是一个全新的学科领域，无论是生物智能还是机器智能，计算智能都是其最核心的部分，而人工智能则是外层。大量实践证明，只有把AI和CI很好地结合起来，才能更好地模拟人类智能，才是智能科学技术发展的正确方向。西安电子科技大学内容提要第五章：计算智能1.概述2.神经网络3.模糊计算4.遗传算法西安电子科技大学神经网络人工智能的各种学说符号（功能）主义：符号逻辑推理联结（结构）主义：人工神经网络行为主义：智能行为模拟，“模式-动作”联结主义的观点：智能的寓所在大脑皮层，它由大量非线性神经元互联而成并行处理的神经网络。西安电子科技大学神经网络人工神经网络（ANN）是反映人脑结构及功能的一种抽象数学模型，是由大量神经元节点互连而成的复杂网络，用以模拟人类进行知识的表示与存储以及利用知识进行推理的行为。简单地讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。人工神经网络力求从四个方面模拟人脑的智能行为：物理结构，计算模拟，存储与操作，训练西安电子科技大学人工神经网络的发展人工神经网络的发展段萌芽期：M-P模型,Hebb学习律1890年，美国生物学家W.James首次阐明了有关人脑结构及其功能，以及相关学习、联想、记忆的基本规律1943年，心理学家McCulloch和数学家Pitts建立起了M-P神经元模型。1949年，心理学家D.O.Hebb提出神经元之间突触联系是可变的假说——Hebb学习律。第一高潮期：单级感知器以Minsky,Rosenblatt,Widrow等为代表人物西安电子科技大学人工神经网络的发展人工神经网络的发展1957年FrankRosenblatt定义了一个神经网络结构，称为感知器(Perceptron)。把神经网络研究从纯理论的探讨推向工程实现，在IBM计算机上进行了模拟，并可以用电子线路模拟。反思期：Minsky的质疑1969年Minsky和Papert在《感知机》一书中指出感知机的缺陷，使得神经网络的研究从兴起期进入了停滞期。芬兰学者Kohonen提出了自组织映射理论(SOM)，美国学者Grossberg提出了自适应谐振理论，这些研究成果对神经网络以后的发展产生了重要影响。西安电子科技大学人工神经网络的发展人工神经网络的发展第二高潮期：Hopfield网络,反向传播(BP)算法1982年，Hopfield提出Hopfield模型。1984年，Hopfield设计研制了Hopfield网的电路。较好地解决了著名的TSP问题，引起了较大的轰动。1985年，Hinton、Sejnowsky、Rumelhart等人在Hopfield网络中引入随机机制，提出Boltzmann机。1986年，Rumelhart,Hinton提出多层感知机与反向传播(BP)学习算法，该方法克服了感知器非线性不可分类问题，给神经网络研究带来了新的希望。国内首届神经网络大会1990年12月在北京举行。西安电子科技大学人工神经网络的发展人工神经网络的发展成熟期：平稳发展，应用广泛与其他领域的结合：–与进化计算结合–与模糊逻辑结合–……实际应用：–计算机视觉–自然语言理解–优化计算–智能控制西安电子科技大学人工神经网络的发展人工神经网络的特性并行分布处理：并行结构，耐故障；非线性映射：任意非线性映射能力；通过训练进行学习：通过数据记录进行训练，能处理由数学模型或描述规则难以处理的问题；适应与集成：自适应和信息融合能力；硬件实现：快速和大规模处理能力。西安电子科技大学神经网络的生物学机理神经元结构包括四个部分：胞体：神经细胞的本体，维持细胞生存功能树突：接收来自其他神经元的信号（输入）轴突：输出信号突触：与另一个神经元相联系的特殊部位西安电子科技大学神经网络的生物学机理神经元的基本工作机制（简化）：一个神经元有两种状态：兴奋和抑制；平时处于抑制状态的神经元，其树突和胞体接收其他神经元由突触传来的兴奋电位，多个输入在神经元中以代数和的方式叠加；如果输入兴奋电位总量超过某个阈值，神经元会被激发进入兴奋状态，发出输出脉冲，并由突触传递给其他神经元。神经元被触发后进入不应期，在不应期不能被触发，然后阈值逐渐下降，恢复兴奋性。西安电子科技大学神经网络的生物学机理生物神经网络的六个基本特征：1.神经元及其联接；2.神经元之间的联接强度决定信号传递的强弱；3.神经元之间的联接强度是可以随训练改变的；4.信号可以是起刺激作用的，也可以是起抑制作用的；5.一个神经元接受的信号的累积效果决定该神经元的状态；6.每个神经元可以有一个“阈值”。西安电子科技大学人工神经元模型MP模型是一种人工神经元的数学模型，它是由美国Culloch和Pitts提出的最早神经元模型之一。MP模型是大多数神经网络模型的基础。MP模型示意图：西安电子科技大学人工神经元模型人工神经元是仿照生物神经元提出的，神经元可以有N个输入：每个输入端与神经元之间有一定的联接权值：神经元总的输入为对每个输入的加权求和，同时减去阈值θ。u代表神经元的活跃值，即神经元状态：12,,,Nwww12,,,Nxxx1Niiiuwx西安电子科技大学人工神经元模型神经元的输出y是对u的映射：f称为输出函数（激励函数，激活函数），可以有很多形式：1Niiiyfufwxxf(x)二值函数非线性斜面函数Sigmoid函数西安电子科技大学人工神经元模型输出函数的作用控制输入对输出的激活作用对输入、输出进行函数转换将可能无限域的输入变换成指定的有限范围内的输出西安电子科技大学人工神经网络拓扑结构神经元的模型确定之后，一个神经网络的特性及能力主要取决于网络的拓扑结构及学习方法人工神经网络（ANN）可以看成是以人工神经元为结点，用有向加权弧连接起来的有向图人工神经元就是对生物神经元的模拟有向弧则是轴突—突触—树突对的模拟有向弧的权值表示相互连接的两个人工神经元间相互作用的强弱。西安电子科技大学人工神经网络拓扑结构人工神经网络实例（一个前馈网络的例子）：ANiANjwij西安电子科技大学人工神经网络拓扑结构人工神经网络连接的几种基本形式前馈（多层）网络从输出到输入有反馈的前向网络用来存储某种模式序列层内互连前向网络限制层内同时动作的神经元；分类功能反馈型全互联网络&反馈型局部互联网络西安电子科技大学人工神经网络拓扑结构前馈（多层）网络最初称之为感知器。应用最广泛，最要原因是有BP学习方法。前馈网络具有递阶分层结构，由同层神经元间不存在互连的层级组成上层单元与下层所有单元相联接。西安电子科技大学人工神经网络拓扑结构从输出到输入有反馈的前向网络：输出层上存在一个反馈回路，将信号反馈到输入层。而网络本身还是前馈型的西安电子科技大学人工神经网络拓扑结构层内互连前向网络：外部看还是一个前向网络，内部有很多自组织网络在层内互联着。西安电子科技大学人工神经网络拓扑结构反馈型全互联网络：所有计算单元之间都有联接。如：Hopfield网络反馈型局部联接网络：每个神经元的输出只与其周围的神经元相连，形成反馈网络。西安电子科技大学人工神经网络学习人工神经网络最具有吸引力的特点是它的学习能力。1962年，Rosenblatt给出了人工神经网络著名的学习定理：人工神经网络可以学会它可以表达的任何东西。人工神经网络的表达能力大大地限制了它的学习能力。神经网络的适应性是通过学习实现的。学习是神经网络研究的一个重要内容，人工神经网络的学习过程表现为对连接权值的训练。西安电子科技大学人工神经网络学习神经网络基本学习算法分为：有师学习(SupervisedLearning)：能够根据期望的和实际的网络输出（对应于给定输入）间的差来调整神经元间连接的强度或权。无师学习(UnsupervisedLearning)：无需知道期望输出，抽取样本集合中蕴含的统计特性。强化学习(ReinforcementLearning)：采用一个“评论员”来评价与给定输入相对应的神经网络输出的优度（质量因数）。西安电子科技大学基于神经网络的知识表示基于神经网络的知识表示在这里，知识并不像在产生式系统中那样独立地表示为每一条规则，而是将某一问题的若干知识在同一网络中表示。例如，在有些神经网络系统中，知识是用神经网络所对应的有向权图的邻接矩阵及阈值向量表示的。西安电子科技大学基于神经网络的推理基于神经网络的推理是通过网络计算实现的。把用户提供的初始证据用作网络的输入，通过网络计算最终得到输出结果。一般来说，正向网络推理的步骤如下：把已知数据输入网络输入层的各个节点。利用特性函数分别计算网络中各层的输出。用阈值函数对输出层的输出进行判定，从而得到输出结果。西安电子科技大学