9人工神经网络

南京理工大学自动化学院sunjh2006年夏天于南京现代电路理论第九章人工神经网络--ANN9.1引言9.2Hopfield人工神经网络的电路模型9.3神经网络A/D转换器9.4利用多层反馈神经网络求解线性方程第9章人工神经网络ANN—artificialneuralnetwork南京理工大学自动化学院sunjh2006年夏天于南京现代电路理论9.1引言人工神经网络(artificialneuralnetwork)是由大量简单的基本元件—神经元（neuron）相互连接而成的自适应非线性动态系统。每个神经元的结构和功能比较简单，而大量神经元组合产生的系统行为却非常复杂。系统模型可用软件描述（数学方程、算法、程序），而最终目标是以硬件实现（用半导体器件、光学器件或分子器件）。9.1引言南京理工大学自动化学院sunjh2006年夏天于南京现代电路理论生物神经网络和人工神经网络9.1引言生物神经网络人工神经网络两个网络都是由可计算单元高度互联构成，但人工神经元要比生物神经元简单得多。大规模并行与串行组合处理，因而在许多问题上可以作出快速判断、决策和处理。并行处理，工作速度很高（人脑毫秒级，人工神经网络时钟频率可达107甚至更高。）信息储存在神经元之间连接强度的分布上，存储区和运算区和为一体。信息存储和数据运算互不相关，只有通过人编程给出指令使之沟通。有很强的自适应与自组织能力。系统的功能取决于程序给出的知识和能力。南京理工大学自动化学院sunjh2006年夏天于南京现代电路理论人工神经网络与数字计算机比较9.1引言人工神经网络数字计算机在构造和功能特点等方面更接近人脑，能够自身适应环境、总结规律、完成某种运算、识别和过程控制，属非程序化的自适应处理机或非算法计算机。按给定的程序一步一步地执行计算，属指令程序式计算机或算法计算机并行分布处理PDP系统，往往是连续与离散（模拟与数字）混合系统串行处理的离散系统解决非结构问题，如语言或图形识别解决结构问题，如数字计算或方程求解称为神经网络计算机或第六代计算机以发明者命名，称为冯·诺依曼计算机PDP—paralleldistributedprocessing南京理工大学自动化学院sunjh2006年夏天于南京现代电路理论人工神经网络研究的发展简史9.1引言人工神经网络早期研究应追溯到二十世纪40年代，下面一时间为顺序，以著名的人物或某一方面突出的研究成果为线索，简要介绍人工神经网络的发展史。1、McCulloch和Pitts1943年，心理学家W.McCulloch和数理逻辑学家W.Pitts在分析、总结神经元基本特性的基础上首先提出神经元的数学模型，此模型一直沿用至今，并且直接影响着这一领域研究的进展，因而两人可称为人工神经网络研究的先驱。南京理工大学自动化学院sunjh2006年夏天于南京现代电路理论人工神经网络研究的发展简史9.1引言2、VonNeumann1945年，成功研制存储式电子计算机；1948年，提出了以简单神经元构成的自再生自动机网络结构。3、感知机50年代末，F·Rosenblatt设计制作了“感知机”，它是一种多层的神经网络。但由于当时数字计算机的发展处于鼎盛时期，故而使得感知机的工作没有得到重视。到60年代末，人工神经网络的研究进入了低潮。南京理工大学自动化学院sunjh2006年夏天于南京现代电路理论人工神经网络研究的发展简史9.1引言4、Widrow60年代初，Widrow提出了自适应线性元件网络，这是一种连续取值的线性加权求和阀值网络。主要用于雷达天线控制、自适应均衡和回波抵消等方面。后来，在此基础上发展了非线性多层自适应网络。虽未以“神经网络”命名，但实际上就是人工神经网络模型。南京理工大学自动化学院sunjh2006年夏天于南京现代电路理论人工神经网络研究的发展简史9.1引言5、Hopfield80年代初，Hopfield根据网络的非线性微分方程，引用能量函数（lyapunov函数）的概念，使神经网络的平衡稳定状态有了明确的判据方法；利用模拟电路的基本元件构造了人工神经网络的硬件原理模型，为实现硬件奠定了基础；将上述成用于求解目前数字机不善于解决的典型问题，其中最著名的实例是“旅行商最优路径”（TSP）问题，取得了令人满意的效果。随后，掀起了人工神经网络的研究热潮。南京理工大学自动化学院sunjh2006年夏天于南京现代电路理论人工神经网络研究的发展简史9.1引言6、多层网络反向传播算法1986年Rumelhart和McClelland提出多层网络的“逆推”（或称“反传”backpropagation）学习算法，简称BP算法，该算法从后向前修正各层之间的连接权重，可以求解感知机所不能解决的问题。BP算法是目前最为引人注目的，应用最广的神经网络算法之一。此外，还有不少学者为神经网络的发展作出了重要贡献。如：Hinton、Sejnowski和Ackley提出的波耳兹曼机；Grossberg与Carpenter的自适应谐振理论（ART）以及Kohonen的自组织特征映射模型。南京理工大学自动化学院sunjh2006年夏天于南京现代电路理论人工神经网络主要应用在以下三个方面9.1引言1、信号处理与模式识别（如手写体字符识别）；2、知识处理工程或专家系统（如医疗诊断或市场估计）；3、运动过程控制（如机器人的手眼协调自适应控制）。南京理工大学自动化学院sunjh2006年夏天于南京现代电路理论9.1引言具体应用领域举例基于高速运算机和快速算法，神经网络在许多领域都得到了广泛的应用。航空：高性能飞行器自动驾驶仪，飞行路径模拟，飞机控制系统，自动驾驶优化器，飞行部件模拟等；汽车：汽车自动导航系统，担保行为分析器等；银行：支票和其它公文阅读器，信贷申请评估器等；国防：武器操纵，目标跟踪，目标辨识，面部识别，声纳、雷达和图像信号处理器等；电子：代码序列预测，集成电路芯片布局，过程控制，机器视觉，语音综合，非线性建模等；南京理工大学自动化学院sunjh2006年夏天于南京现代电路理论9.1引言具体应用领域举例娱乐：动画，特技，市场预测等；金融：不动产评估，借贷咨询，公司证券分级，公司财务分析等；医疗：癌细胞分析，EEG和ECG分析，移植次数优化，费用节流等；制造：生产流程控制，产品设计和分析，过程和机器诊断，实时微粒识别，可视质量监督系统，项目投标，计划和管理等；机器人：轨道控制，操作手控制器，视觉系统等；此外，在保险、石油勘探、有价证券、电信、交通等领域也有广泛的应用。南京理工大学自动化学院sunjh2006年夏天于南京现代电路理论人工神经网络的构成原理包括9.1引言1、神经元功能函数2、神经元之间的连接形式3、神经网络的学习方式1、神经元功能函数神经元模型的外特性：神经元在输入信号作用下产生输出信号的规律由神经元功能函数f给出。过程：输入信号净输入激活值输出信号。f有三种：①简单映射关系②动态系统方程③概率统计模型南京理工大学自动化学院sunjh2006年夏天于南京现代电路理论9.1引言(1)简单映射关系各神经元输出向量Y与输入向量X符合某种映射关系，不考虑神经元的滞后效应。例如:Y=f（WX-θ）W--连接权值矩阵，θ--阀值向量第i个神经元的输出为如右图所示。()iiijjiyfwx南京理工大学自动化学院sunjh2006年夏天于南京现代电路理论9.1引言(2)动态系统方程模型动态系统方程模型反映了输出与输入之间的延时作用。通常用差分方程或微分方程描述，如：Y（t+1）=f（WX(t)-θ）(3)概率统计模型概率统计模型的输出Y与X之间不存在确定关系，而是利用随机函数说明神经元特性，研究状态的统计规律。南京理工大学自动化学院sunjh2006年夏天于南京现代电路理论2、神经元的连接方式9.1引言对ANN的性质和功能产生重要的影响。每个神经元只有一个输出，而输入可以与许多别的神经元相连。而神经元输入又可同时输入其它许多神经元。典型的网络结构有：前馈网络和反馈网络。（1）前馈网络分为若干“层”，各层依次排列。第i层神经元只接受第（i-1）层神经元给出的信号，在第i层，各神经元之间无反馈。南京理工大学自动化学院sunjh2006年夏天于南京现代电路理论9.1引言第1层为输入结点，无计算功能，仅表示输入向量各元素的值，即T12X[,,,]nxxx第2层及以后各层结点表示有计算功能的结点，为计算单元。每个单元可有任意个输入，但只有一个输出，该输出可送到多个神经元作输入。南京理工大学自动化学院sunjh2006年夏天于南京现代电路理论9.1引言（2）反馈网络每个结点都表示一个计算单元,同时接受输入和其他神经元的反馈输入,每个结点也直接向外输出。如Hopfied网络。3、学习方式神经元的激活函数是固定的，不能调节改变。而连接权值可调，它们能进行动态调节以产生给定的输出。可变权值的调节过程正是学习的本质。NN学习方式有两种：（1）有监督或有导师的学习。样本数据加到输入，将相应的期望输出与实际输出比较得到误差信号，以此控制网络权值的调整，最后使期望输出与当前输出的误差为最小。对于有监督学习，NN在工作前必须进行“训练”。如BP网络的训练过程。南京理工大学自动化学院sunjh2006年夏天于南京现代电路理论9.1引言（2）无监督学习或称无导师学习：只规定学习方式或规则，具体学习内容随输入而异，网络自己在输入寻找规律，并根据网络的功能进行自适应调节。二、ANN的特点（1）大规模并行处理：计算分布在多个处理单元上同时进行。（2）分布存储式：与传统的计算机不同，信息分布存储在整个系统中。（3）容错性：当部分神经元失效时，不会影响全部NN的行为。（4）自适应性：指整个NN进行自我调节能力。学习(训练)、自组织、泛化（推广）。南京理工大学自动化学院sunjh2006年夏天于南京现代电路理论9.1引言三、ANN的应用（1）信号处理与模式识别（如手写体字符识别、语音识别、图形识别等）。（2）知识处理工程或专家系统。（3）运动过程控制（如机器人的手眼协调、自适应控制）。上述应用的共同特点是：难以用算法来描述问题，但存在大量的范例可供学习。信息问题可分两类：结构性问题（适合于计算机处理）和非结构性问题（适合于ANN处理）。四、ANN的研究内容（1）网络模型和学习方法（2）应用系统南京理工大学自动化学院sunjh2006年夏天于南京现代电路理论9.2Hopfied神经网络的电路模型Hopfied网络有连续型和离散型之分。连续型（又称模拟型）HNN是利用模拟电子电路构成的反馈型ANN。如图：9.2Hopfied神经网络的电路模型南京理工大学自动化学院sunjh2006年夏天于南京现代电路理论图中具有正、反相输出的放大器用来模仿神经元的非线性函数关系。第i个神经元输出电压Vi与输入电压ui之间的转移特性是Sigmoid函数曲线，如图所示。表达式为：01()[1tanh()]2iiiiuVfuuu0—归一化基准值，u00，fi为硬限幅函数9.2Hopfied神经网络的电路模型南京理工大学自动化学院sunjh2006年夏天于南京现代电路理论Ci与Ri模仿神经元的时间常数，在Vi与ui之间产生延时作用。连接电导Wij模仿生物神经元的突触作用，Wij表示第j个放大器输出Vj在第i放大器产生的输入电流之间的关系。9.2Hopfied神经网络的电路模型南京理工大学自动化学院sunjh2006年夏天于南京现代电路理论外加偏置电流用Ii表示，相当于功能函数的阈值θ。由KCL得：9.2Hopfied神经网络的电路模型()iiijjiiiduuWVuICdtR1111iiijjijiiiiijjiiijiiiijduuCWVWuIdtRuWVIRWRRRR设各神经元参数相同，并令R=R'i，C=Ci=1，RC=τ，就得到Vj与ui的约束方程，连同书（9-1）式，构成了描述书中图9-4的非线性方程组：南京理工大学自动化学院sunjh2006年夏天于南京现