哈工大智能控制神经网络课件第一课 人工神经网络理论及应用

人工神经网络理论及应用屈桢深哈尔滨工业大学1.概述主要内容引子：神经网络特点发展历史应用模型、结构与学习算法关于课程神经网络特点——引子一小段视频(“TheMatrix”,1998)；问题：机器是否能模拟人的思维？如果有一天，机器能够模拟人的所有感觉电信号，并且具有决策判断能力，那么如何定义“智能？”生物神经网络特点分布存储，容错性并行处理信息处理和存储二合为一自组织性和可塑性层次与系统性信息按内容分布于大量的神经细胞之中，每个神经细胞存储着多种不同信息的部分内容；信息的记忆反映在神经元的连接强度上；网络各部分对学习和记忆具有等势作用，即使个别信息出错，完整信息仍能恢复。人脑平均每天有10～40万个神经细胞死亡，但不影响人的记忆和处理功能生物神经网络特点I——分布存储与容错性神经网络的处理速度：慢，每次1ms左右；cmpPIV2G计算机，每次1ns.神经细胞结构也简单，但可在短时间内对一个复杂过程做出判断和决策。在神经网络中，大量的神经元（人脑有100亿个）可同时进行处理，与传统的串行计算机具有不同的操作机理。生物神经网络特点II——并行处理性大脑对信息的分布存储和并行处理不是相互独立的，而是相互融合的；即每个神经元都兼有信息处理和存储功能。神经元的连接强度的变化，既反映了对信息的记忆，又与神经元对激励的响应一起反映了信息的处理；大脑对信息的提取，是寻找与处理过程的融合cmp计算机线寻址再存取生物神经网络特点III——信息与处理合一人脑在生长的过程中具有良好的可塑性；不同能力发展：语言，运动，推理；大脑可通过内部神经网络的自组织、自学习能力不断适应外界变化。“熟能生巧”反映的就是自组织能力。e.g.反复从事一项工作时，工作的各项技术特征就会“融化”在大脑的神经元中，随着工作的反复进行，提高神经元对这些技术特征及操作要领的灵敏度生物神经网络特点IV——可塑性与自组织性结构极为简单的神经元，通过系统的组合功能效应，完成复杂的信息处理；大脑对信息的处理分层次进行：初级皮层-颅顶区皮层-脑前额叶；cmp数字计算机存储／计算均为线性关系，不存在层次性。生物神经网络特点V——层次与系统性人工神经网络——介绍人工神经网络(ANN)是从微观结构与功能上模拟人脑神经系统而建立的一类模型，是模拟人的智能的一条途径。人工神经网络信息处理由人工神经元间的相互作用来实现，由联接权来传递，具有学习能力、自适应性、联接强度的可变性。神经网络是人脑的抽象、简化和模拟，反映了人脑功能的若干基本特征：网络的信息处理，由神经元间的相互作用实现，具有并行处理的特点；知识与信息的存储，表现为神经元间分布式的物理联系；网络的学习和识别，决定于神经元联接权系数的动态演化过程；具有联想记忆特性。人工神经网络特点神经网络发展历史：产生和初步发展核心：对人类神经系统的模拟萌芽：19世纪末~20世纪初神经生理学；创始：1943年，McCulloch和W.Pitts，提出NN数学模型；1949年，Hebb规则初步发展：1958年，Rosenblatt感知机和联想学习1960年，Widrow和HoffADALINE学习算法停滞期1969年Minsky“Perceptron”XOR问题缓慢发展期二十世纪七十年代1976GrossbergART1972KohonenSOM福岛邦彦Cognition中野馨AMM原因：理论问题和实现问题同期相关理论：Marr视觉计算理论和Poggio初级视觉神经网络发展历史：缓慢发展神经网络发展历史：复兴期标志：1982Hopfield解决TSP问题1986Rumelhart和McClellandBP计算机的大众化和计算技术的迅速普及新型神经网络提出RBFNFNNHopfield网络Boltzman机神经网络应用在各个行业均有应用，擅长的有：模式识别人工智能控制工程优化分析和联想记忆信号处理神经网络应用——模式识别模式识别本质上是一种分类操作。NN应用包括图像处理语音识别雷达及声纳信号识别药物构效关系分子与生物DNA神经网络应用——人工智能模拟人的推理判断过程，NN应用包括自然语言理解：自动翻译，输入法模拟专家医学诊断市场/股票分析故障诊断博弈：政策，下棋神经网络应用——控制工程完成复杂非线性对象的控制，NN应用包括：模型辨识自适应控制：控制器自适应改变改进PID控制：自动调整PID参数鲁棒控制模糊控制：模糊神经控制神经网络应用——优化计算用于在大量、复杂的搜索空间内寻找最优解系统规划组合优化智能交通管理货物调度航班分配神经网络应用——信号处理主要用于自适应信号处理，NN应用包括自适应滤波；自适应编码；系统辨识(和控制领域交叉)；故障诊断(和人工智能领域交叉)；信号估计和特征提取弱信号检测神经网络应用——应用领域(1)航空航天：自动驾驶仪，部件故障检测汽车：自动驾驶系统，故障检测银行：风险评估，投资预测武器工业：指导，目标跟踪与识别，雷达金融业：有价证券交易，决策支持制造业：缺陷检测，生产过程控制，优化保险业：政策应用评估，产出最优化神经网络应用——应用领域(2)医药：模拟专家诊断，CT、心电分析石油：勘探，油井检测与效用分析电子：自动布线，芯片检测机器人：行走/机械臂控制，机器人视觉交通：智能监控，车流控制，车辆调度神经网络应用实例(1)美国海湾沿岸炼油厂利用神经网络增加产品回收率BP-Amoco公司得克萨斯城炼油厂原油蒸馏装置加工能力大于2000万吨/年，原油经预热，并分割成五股物流：塔顶物流（去蒸汽回收）、石脑油、煤油、柴油（主要产品）和塔底物流。装置采用在线分析仪控制迟后时间长达30min以上，为此竭力寻求减少物流数据应答时间的办法。1996年起，炼厂使用了GenSym公司G2诊断支持(GDA)软件和采用GenSym公司Neur-On-Line建立的三个神经网络模型，以控制蒸馏过程，神经网络模型的开发可在分析仪不可靠时或价格过于昂贵时用以推断过程物流数据。Neur-On-Line模型可提供质量数据的瞬时估算值，它可表达为馏分的沸点温度。该值然后可用于闭环控制。该先进控制系统用于闭环控制的投用率大于95％，估算回收产品的节约金额超过$50万/年。神经网络应用实例(2)CA有限公司发布了首度成功运用其先进的神经网络技术（Neugents）实现的企业管理产品UnicenterTNGNeugents管理解决方案。Neugents技术产品的成功面世，标志着商务应用系统进入了一个新纪元——实现了现有常规趋势分析和资源分析解决方案所无法达到的预报分析精度和准确度，使人们对系统未来可能发生的性能或可用性故障加以预测、预防。也就是说，它使企业IT部门彻底从传统的工作方式中解脱出来——掌握如何防止故障发生，而不再是等到故障发生后再去想办法解决。Neugents之所以能够实现上述重要功能，是因为它具备较完善的“自学习”能力。这种“自学习”功能使得Neugents能够日积月累地不断吸取新信息并形成知识，然后将所积累的知识自动应用于新环境中。神经网络应用实例(3)赛门铁克公司日前宣布将IBM的专利技术-神经网络启动监测技术集成到NortonAntiVirus产品之中。这一神经网络技术利用人工智能监测启动性病毒，补充了赛门铁克创新的Bloodhound启发式技术，该技术通过专家系统确认类似病毒行为，以达到监测启动病毒的目的。IBM的神经网络启动监测技术通过模仿人的神经细胞来区分被病毒感染和未感染的电脑启动记录，因而该技术提供了更全面的安全保护。神经网络接受许多病毒和非病毒的样本，因而学会了辨认病毒演示神经元模型细胞体：由细胞核、细胞质和细胞膜等组成。树突：胞体上短而多分枝的突起。相当于神经元的输入端，接收传入的神经冲动。轴突：胞体上最长枝的突起，也称神经纤维。端部有很多神经末稍传出神经冲动。突触：神经元间的连接接口，每个神经元约有1万～10万个突触。神经元通过其轴突的神经末稍，经突触与另一神经元的树突联接，实现信息的传递。由于突触的信息传递特性是可变的，形成了神经元间联接的柔性，称为结构的可塑性。细胞膜电位：神经细胞在受到电的、化学的、机械的刺激后，能产生兴奋，此时，细胞膜内外有电位差，称膜电位。电位膜内为正，膜外为负。神经元模型——结构兴奋与抑制：当传入神经元的冲动，经整和，使细胞膜电位升高，超过动作电位的阈值时，为兴奋状态，产生神经冲动，由轴突经神经末稍传出。当传入神经元的冲动，经整和，使细胞膜电位降低，低于阈值时，为抑制状态，不产生神经冲动。学习与遗忘：由于神经元结构的可塑性，突触的传递作用可增强与减弱，因此，神经元具有学习与遗忘的功能。神经元模型——学习列举两种分类方式：按联接方式：前馈（前向）型与反馈型按学习方式有导师的学习（监督学习）无导师的学习（无监督学习）再励学习（强化学习）它们都是模拟人适应环境的学习过程的一种机器学习模型，因此，具有学习能力的系统，称为学习系统（学习机）神经网络——分类前馈型神经网络uy反馈型神经网络u(t)y(t)有导师的学习（监督学习）在学习过程中，网络根据实际输出与期望输出的比较，进行联接权系的调整，将期望输出称导师信号是评价学习的标准（见图）。期望输出实际输出学习机输入NN比较无导师的学习（无监督、或称自组织)无导师信号提供给网络，网络能根据其特有的结构和学习规则，进行联接权系数的调整，此时，网络的学习评价标准隐含于其内部（见图）。实际输出学习机输入NN自我比较再励学习（强化学习）把学习看为试探评价过程，学习机选择一动作作用于环境，环境的状态改变，并产生再励信号反馈至学习机，学习机依据再励信号与环境当前的状态，再选择下一动作作用于环境，选择的原则是使受到奖励的可能性增大（见图）。状态输入NN1NN2学习机输出---动作环境re课程与其他学科关联模式识别：监督学习，无监督学习函数逼近论：逼近能力最优化方法：学习算法控制论：反馈网络，稳定性模糊数学：模糊神经网络课程主要研究角度I——函数逼近给定一个函数f(x),设计逼近函数使误差小于给定误差。ˆ;fxθ课程主要研究角度II——模式识别给定一组数据{xi},确定Q个分类，使qiqx课程主要内容神经网络基本结构，BP网络及学习算法其他类型网络神经网络应用与实例神经网络基本结构网络基本结构与学习算法BP网络基本结构与学习算法BP算法改进BP算法与问题实例其他类型网络径向基函数网络竞争网络与自组织网络Hopfield网络与联想记忆*随机网络与模拟退火算法*模糊神经网络递归网络(时延网络)*实例演示神经网络应用与实例神经网络辨识神经网络控制神经网络模式识别应用实例考核方式平时40%主要来自二次设计作业(10%+30%)如有相互抄袭，平时0分！考试60%——闭卷联系方式科学园E2栋(空间控制与惯性技术研究中心)40386402350-4031屈桢深参考文献人工神经网络原理——入门与应用适于入门神经网络设计全面介绍，深入浅出神经网络控制神经网络+控制神经网络模型及其MATLAB仿真程序设计IEEETrans.IE,2007(1)“NeuralNetworkApplicationsinPowerElectronicsandMotorDrives—AnIntroductionandPerspective”清晰简洁，适于入门