清华大学--人工神经网络PPT

2020/1/231人工神经网络ArtificialNeuralNetworks2020/1/232蒋宗礼软件学科部联系电话：67392508Email：[e-mail]办公地点：信息北楼2142020/1/233教材书名：《人工神经网络导论》出版社：高等教育出版社出版日期：2001年8月定价：12.4元作者：蒋宗礼2020/1/234主要参考书目1、PhilipD.Wasserman，NeuralComputing:TheoryandPractice，VanNostrandReinhold，19892、胡守仁、余少波、戴葵，神经网络导论，国防科技大学出版社，1993年10月3、杨行峻、郑君里，人工神经网络，高等教育出版社，1992年9月4、闻新、周露、王丹力、熊晓英，MATLAB神经网络应用设计，科学出版社，2001.5.2020/1/235课程目的和基本要求•作为人工神经网络的入门课程，用于将学生引入人工神经网络及其应用的研究领域。•介绍人工神经网络及其基本网络模型，使学生–了解智能系统描述的基本模型–掌握人工神经网络的基本概念、单层网、多层网、循环网等各种基本网络模型的结构、特点、典型训练算法、运行方式、典型问题–掌握软件实现方法。2020/1/236课程目的和基本要求•了解人工神经网络的有关研究思想，从中学习开拓者们的部分问题求解方法。•通过实验进一步体会有关模型的用法和性能，获取一些初步的经验。•查阅适当的参考文献，将所学的知识与自己未来研究课题（包括研究生论文阶段的研究课题）相结合起来，达到既丰富学习内容，又有一定的研究和应用的目的。2020/1/237主要内容•智能及其实现•ANN基础•Perceptron•BP•CPN•统计方法•Hopfield网与BAM•ART2020/1/238主要内容第一章：引论智能的概念、智能系统的特点及其描述基本模型，物理符号系统与连接主义的观点及其比较；人工神经网络的特点、发展历史。2020/1/239主要内容第二章人工神经网络基础本章在介绍了基本神经元后，将概要介绍人工神经网络的一般特性。主要包括，生物神经网络模型，人工神经元模型与典型的激励函数；人工神经网络的基本拓扑特性，存储类型（CAM──LTM，AM──STM）及映象，Supervised训练与Unsupervised训练。2020/1/2310主要内容第三章感知器感知器与人工神经网络的早期发展；单层网能解决线性可分问题，而无法解决线形不可分问题，要想解决这一问题，必须引入多层网；Hebb学习律，Delta规则，感知器的训练算法。•实验：实现一个感知器。2020/1/2311主要内容第四章向后传播•BP（Backpropagation）网络的构成及其训练过程；隐藏层权调整方法的直观分析，BP训练算法中使用的Delta规则（最速下降法）的理论推导；算法的收敛速度及其改进讨论；BP网络中的几个重要问题。•实验：实现BP算法。2020/1/2312主要内容第五章对传网•生物神经系统与异构网的引入；对传网的网络结构，Kohonen层与Grossberg层的正常运行，对传网的输入向量的预处理，Kohonen层的训练算法及其权矩阵的初始化方法；Grossberg层的训练；完整的对传网。•实验：实现基本的对传网。2020/1/2313主要内容第六章统计方法•统计方法是为了解决局部极小点问题而引入的，统计网络的基本训练算法，模拟退火算法与收敛分析，Cauchy训练，人工热处理与临界温度在训练中的使用，BP算法与Cauchy训练相结合。•实验：实现模拟退火算法。2020/1/2314主要内容第七章循环网络•循环网络的组织，稳定性分析；相联存储；统计Hopfield网与Boltzmann机；Hopfield网用于解决TSP问题。•BAM(BidirectionalAssociativeMemory)用于实现双联存储；基本双联存储网络的结构及训练；其他的几种相联存储网络。•实验：实现一个Hopfield网。2020/1/2315主要内容第八章自适应共振理论•人脑的稳定性与可塑性问题；ART模型的总体结构与分块描述；比较层与识别层之间的两个联接矩阵的初始化，识别过程与比较过程，查找的实现；训练讨论。2020/1/2316第1章引言•主要内容：–智能与人工智能；–ANN的特点；–历史回顾与展望•重点：–智能的本质；–ANN是一个非线性大规模并行处理系统•难点：对智能的刻画2020/1/2317第1章引言1.1人工神经网络的提出1.2人工神经网络的特点1.3历史回顾2020/1/2318第1章引言•人类对人工智能的研究可以分成两种方式对应着两种不同的技术：–传统的人工智能技术——心理的角度模拟–基于人工神经网络的技术——生理的角度模拟2020/1/23191.1人工神经网络的提出•人工神经网络（ArtificialNeuralNetworks，简记作ANN），是对人类大脑系统的一阶特性的一种描述。简单地讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。2020/1/23201.1人工神经网络的提出•1.1.1智能与人工智能•一、智能的含义•智能是个体有目的的行为，合理的思维，以及有效的、适应环境的综合能力。•智能是个体认识客观事物和运用知识解决问题的能力。•人类个体的智能是一种综合能力。2020/1/23211.1人工神经网络的提出•智能可以包含8个方面•感知与认识客观事物、客观世界和自我的能力–感知是智能的基础——最基本的能力•通过学习取得经验与积累知识的能力–这是人类在世界中能够不断发展的最基本能力。•理解知识，运用知识和经验分析、解决问题的能力–这一能力可以算作是智能的高级形式。是人类对世界进行适当的改造，推动社会不断发展的基本能力。2020/1/23221.1人工神经网络的提出•联想、推理、判断、决策语言的能力–这是智能的高级形式的又一方面。–预测和认识–“主动”和“被动”之分。联想、推理、判断、决策的能力是“主动”的基础。•运用进行抽象、概括的能力•上述这5种能力，被认为是人类智能最为基本的能力2020/1/23231.1人工神经网络的提出•作为5种能力综合表现形式的3种能力–发现、发明、创造、创新的能力–实时、迅速、合理地应付复杂环境的能力–预测、洞察事物发展、变化的能力2020/1/23241.1人工神经网络的提出•二、人工智能•人工智能：研究如何使类似计算机这样的设备去模拟人类的这些能力。•研究人工智能的目的–增加人类探索世界，推动社会前进的能力–进一步认识自己•三大学术流派–符号主义（或叫做符号/逻辑主义）学派–联接主义（或者叫做PDP）学派–进化主义（或者叫做行动/响应）学派2020/1/23251.1人工神经网络的提出•1.1.2物理符号系统•人脑的反映形式化现实信息数据物理系统物理符号系统表现智能2020/1/23261.1人工神经网络的提出•Newell和Simon假说：一个物理系统表现智能行为的充要条件是它有一个物理符号系统•概念：物理符号系统需要有一组称为符号的实体组成，它们都是物理模型，可以在另一类称为符号结构的实体中作为成分出现，以构成更高级别的系统2020/1/23271.1人工神经网络的提出•困难：–抽象——舍弃一些特性，同时保留一些特性–形式化处理——用物理符号及相应规则表达物理系统的存在和运行。•局限：–对全局性判断、模糊信息处理、多粒度的视觉信息处理等是非常困难的。2020/1/23281.1人工神经网络的提出•1.1.3联接主义观点•核心：智能的本质是联接机制。•神经网络是一个由大量简单的处理单元组成的高度复杂的大规模非线性自适应系统•ANN力求从四个方面去模拟人脑的智能行为–物理结构–计算模拟–存储与操作–训练2020/1/23291.1人工神经网络的提出•1.1.4两种模型的比较心理过程逻辑思维高级形式（思维的表象）生理过程形象思维低级形式（思维的根本）仿生人工神经网络联结主义观点物理符号系统2020/1/23301.1人工神经网络的提出•物理符号系统和人工神经网络系统的差别项目物理符号系统人工神经网络处理方式逻辑运算模拟运算执行方式串行并行动作离散连续存储局部集中全局分布2020/1/23311.1人工神经网络的提出•两种人工智能技术的比较项目传统的AI技术ANN技术基本实现方式串行处理；由程序实现控制并行处理；对样本数据进行多目标学习；通过人工神经元之间的相互作用实现控制基本开发方法设计规则、框架、程序；用样本数据进行调试（由人根据已知的环境去构造一个模型）定义人工神经网络的结构原型，通过样本数据，依据基本的学习算法完成学习——自动从样本数据中抽取内涵（自动适应应用环境）适应领域精确计算：符号处理，数值计算非精确计算：模拟处理，感觉，大规模数据并行处理模拟对象左脑（逻辑思维）右脑（形象思维）2020/1/23321.2人工神经网络的特点•信息的分布表示•运算的全局并行和局部操作•处理的非线性2020/1/23331.2.1人工神经网络的概念•1、定义•1）Hecht—Nielsen（1988年）人工神经网络是一个并行、分布处理结构，它由处理单元及其称为联接的无向讯号通道互连而成。这些处理单元（PE—ProcessingElement）具有局部内存，并可以完成局部操作。每个处理单元有一个单一的输出联接，这个输出可以根据需要被分枝成希望个数的许多并行联接，且这些并行联接都输出相同的信号，即相应处理单元的信号，信号的大小不因分支的多少而变化。2020/1/23341.2.1人工神经网络的概念•（1）Hecht—Nielsen（1988年）（续）•处理单元的输出信号可以是任何需要的数学模型，每个处理单元中进行的操作必须是完全局部的。也就是说，它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。2020/1/23351.2.1人工神经网络的概念•强调：–①并行、分布处理结构；–②一个处理单元的输出可以被任意分枝，且大小不变；–③输出信号可以是任意的数学模型；–④处理单元完全的局部操作2020/1/23361.2.1人工神经网络的概念•（2）Rumellhart，McClelland，Hinton的PDP•1）一组处理单元（PE或AN）；•2）处理单元的激活状态（ai）；•3）每个处理单元的输出函数（fi）；•4）处理单元之间的联接模式；•5）传递规则（∑wijoi）；•6）把处理单元的输入及当前状态结合起来产生激活值的激活规则（Fi）；•7）通过经验修改联接强度的学习规则；•8）系统运行的环境（样本集合）。2020/1/23371.2.1人工神经网络的概念•（3）Simpson（1987年）•人工神经网络是一个非线性的有向图，图中含有可以通过改变权大小来存放模式的加权边，并且可以从不完整的或未知的输入找到模式。2020/1/23381.2.1人工神经网络的概念•2、关键点•（1）信息的分布表示•（2）运算的全局并行与局部操作•（3）处理的非线性特征•3、对大脑基本特征的模拟•1）形式上：神经元及其联接；BN对AN•2）表现特征：信息的存储与处理2020/1/23391.2.1人工神经网络的概念•4、别名•人工神经系统（ANS）•神经网络（NN）•自适应系统（AdaptiveSystems）、自适应网（AdaptiveNetworks）•联接模型（Connectionism）•神经计算机（Neurocomputer）2020/1/23401.2.2学习（Learning）能力•人工神经网络可以根据所在的环境去改变它的行为•自相联的网络•异相联的网络：它在接受样本集合A时，可以抽取集合A中输入数据与输出数据之间的映射关系。——“抽象”功能。•不同的人工神经网络模型，有不同的学习/训练算法2020/1/23411.2.3基本特征的自动提取•由于其运算的不精确性，表现成“去噪音、容残缺”的