6章-人工神经网络与专家系统及在材料科学与工程中的应用

计算机在材料科学与工程中的应用6章人工神经网络与专家系统及在材料科学与工程中的应用重庆大学材料学院汤爱涛6.1专家系统(expertsystem)基本知识6.1.1概述历史产生于20世纪60年代DENDRAL系统定义运用大量的专业知识及知识推理解决特定领域中实际问题的计算机程序系统.特点:高效率求解复杂问题、逻辑推理、结构良好、自适应性类型：解释、预测、设计、诊断、规划、控制、决策、咨询等专家系统的构成知识库：领域知识与经验的存储器；数据库：存储该问题的初始数据和推理过程中得到的各种中间信息，也就是存放用户回答的事实、已知的事实和推理得到的事实。推理机：一组用来控制、协调整个系统的工作程序。它根据当前输入的数据，利用知识库中的知识，按一定的推理策略，去解决当前的问题；解释部分：处理人机对话，即对用户的提问作出回答，为用户了解推理过程，向系统学习和维护系统提供方便的一组程序；知识获取部分：系统的学习功能，它为系统改善提供方便。主要工作是知识库的维护:如知识库一致性检验、知识的扩充与修改等。解释程序专家系统基本特征启发性——不仅能使用逻辑性知识还能使用启发性知识；透明性——能向用户解释它们的推理过程，还能回答用户的一些问题；灵活性——系统中的知识应便于修改和扩充；推理性——系统中的知识必然是一个漫长的测试、修改和完善过程。6.1.3专家系统的开发开发工具开发过程识别阶段概念化阶段形式化阶段实现阶段测试阶段维护阶段实例焊接专家系统焊接领域知识的复杂性和经验性,被认为是最适合于开发专家系统的领域之一。功能焊接工艺设计或工艺选择焊接缺陷或设备故障诊断焊接成本估算实时监控焊接CAD(疲劳设计、符号绘制)焊工考试焊接裂纹预测及诊断专家系统天津大学李午申董建明张炳范焊接裂纹预测知识库抗裂性试验数据知识库冷裂纹的插销试验数斜Y型坡口焊接裂纹试验方法试验数据判据公式知识库有各种焊接裂纹的多种判据公式及有关数据经验知识库按钢种牌号、板厚、施焊时的预热温度及环境温度预测产生冷裂纹的倾向。预测的推理原则预测的推理原则(1)选择要预测的裂纹种类(2)根据屏幕提示输入裂纹预测所需的信息。(3)根据输入的信息，推理机首先搜索抗裂性试验数据库。(4)利用判据公式知识库预测裂纹。(5)利用经验知识进行预测。经上述预测后，若得出最终预测结果，则由屏幕或打印机输出，否则系统提示“系统不能预测，需要增加相应裂纹的预测知识”的信息。如用户具备这方面的知识，则可转到学习功能，选择有关知识库加入相应的知识。焊接裂纹诊断决策树基于Web的专家系统结构图复合材料结构设计框图专家系统应用（复合材料设计）流程图基于Web的复合材料设计专家系统富威1，王鹏2，李庆芬11哈尔滨工程大学2哈尔滨理工大学6.1.4材料专家系统的研究方法以知识检索、简单计算和推理为基础的专家系统。以计算机模拟和运算为基础的材料设计专家系统。以模式识别和人工神经网络为基础的专家系统。——人工神经网络(artificialneuralnetwork）专家系统6.2人工神经网络(ANN)专家系统基于半经验方法构建的，即是从已有试验数据出发，获取相关材料的成分、工艺、组织和性能之间的关系规律，然后进行成分设计或性能预测。神经网络专家系统的结构神经网络专欢系统的形成知识的表示知识获取及存储推理机制解释机侧6.3人工神经网络的基本知识人工神经网络（ArtificialNeuralNetworks，简记作ANN），是对人类大脑系统的一阶特性的一种描述。简单地讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。人工神经网络的理论基础人工神经元模型和网络结构误差反向传播神经网络模型人工神经网络的理论基础胞体(Soma)枝蔓（Dendrite）胞体(Soma)轴突（Axon）突触（Synapse）生物神经网神经元主要由三部分构成：（1）细胞体;（2）轴突-突触;（3）树突(枝蔓);生物神经网六个基本特征：1）神经元及其联接；2）神经元之间的联接强度决定信号传递的强弱；3）神经元之间的联接强度是可以随训练改变的；4）信号可以是起刺激作用，也可以是起抑制作用；5）一个神经元接受的信号的累积效果决定该神经元的状态；6)每个神经元可以有一个“阈值”。人工神经元模型和网络结构人工神经元模型其中:输入信号;为神经元输出表示从神经元到神经元的连接强度,又称为权值.表示神经元的偏置（也称阀值）f为传递函数，又称激发或激励函数12,,,nxxxjiwiiy)xw(fy1n0iii10niiixw1n0iiixw＝几种常用的传递函数①阀值型函数②S形函数③双曲正切函数10()00xfxx1()1xfxe1()1xxefxe人工神经元模型和网络结构人工神经网络模型人工神经网络模型是在人工神经元模型的基础上构建的，其在不同角度与背景下有着多种定义,其中比较典型的定义有两种:(1)见教材p175定义1(2)见教材p175定义2网络结构人工神经网络中，各神经元的不同连接方式就构成了网络的不同连接模型。基本上有两大类：分层网络递归网络（输入层、中间层-隐层、输出层）相互连接型网络常见的连接模型有:前馈式有反溃的前馈式前馈内层互联反溃型全互联反溃型局部互联学习方式神经网络主要通过两种学习算法进行训练，即指导式（有师）学习算法和非指导式（无师）学习算法。此外，还存在第三种学习算法，即强化学习算法，可以看做有师学习的一种特例。有导师学习根据期望的和实际的网络输出之间的差来调节神经元的连接的强度和权。无导师学习不需要知道期望输出。抽取训练数据统计特征。强化学习采用一个“评论员”来评价与给定输入相对应的神经网络输出的优度。δ学习律（有师学习）权的修正量ΔWqj=ηδjvq其中δj=F(yj-y’j)F(x)=x（一般）η：步长vq：q个神经元输出误差反向传播神经网络模型结构及其工作原理示意图输入层隐层…………输出层No.层No.层神经网络比较输入输出调整权重目标No.神经元(b)(c)(a)误差反向传播神经网络模型（BP网络）误差反向传播神经网络模型基本原理（包括两个过程）正向：输入信息从输入层经中间隐层逐层计算并传向输出层，即工作信号的正向传播。反向：当输出达不到期望输出时，误差信号的反向传播，并按照减小期望输出与实际输出的误差的原则，从输出层经中间隐层，层层修正网络权值及阀值，并将修正结果反馈给输入层。学习方法梯度下降法误差反向传播神经网络模型误差反向传播算法的一般性步骤：1.随机选定初始权值；2.正向计算过程：计算每层各单元的各种输出；反向计算过程：对每层的各单元，计算误差对输入的偏导，；3.根据下式修正权值，其中η为步长（常称为学习速率0.01~1），且；4.若误差停止，否则转2。(1)()()()EWkWkWkE误差反向传播神经网络模型特点优点：理论基础牢固，推导过程严谨，物理概念清晰，通用性好等。所以，它是目前用来训练前向多层网络较好的算法。缺点：（1）该学习算法的收敛速度慢；（2）网络中隐节点个数的选取尚无理论上的指导；（3）从数学角度看，B-P算法是一种梯度最速下降法，这就可能出现局部极小的问题。当出现局部极小时，从表面上看，误差符合要求，但这时所得到的解并不一定是问题的真正解。所以B-P算法是不完备的。误差反向传播神经网络模型设计过程包括5个方面网络结构传输函数初始权值学习规则（即学习算法）期望误差BP网络的设计网络结构1.输入层，输出层单元数2.网络层数，即中间隐层数目。见教材P178表6.1BP网络的设计传输函数S双曲正切线性(较少)BP网络的设计初始权值BP网络的设计学习算法(1)()[(1)()()]()(1)EEWkWkWkWk学习参数η:学习效率α：比例因子（动量项系数/因子）BP网络的设计期望误差对比于初始权值和学习参数，期望误差是较次要的参数。但是在网络设计过程中，应该确定一个比较合适的期望值。所谓“合适”是相对于所需要的隐层的节点数及实际问题而言的。因为较小的期望误差是要靠增加隐层的节点及训练时间为代价获得的。一般情况下，作为对比可以同时对两个或多个不同期望误差的网络进行训练，然后通过综合考虑来选择。数据分析确定输入参数确定中间隐层确定输出参数选定学习算法选取学习参数程序实现训练结果分析网络结构部分算法部分程序部分①②③神经网络构建的一般性步骤(参见教材)6.4matlab神经网络工具箱及其使用MATLAB神经网络工具箱(NeurslNetworkToolbox)以神经网络理论为基础，利用MATLAB语言编写出线性、竞争性等典型神经网络激活函数，通过对激活函数的调用，实现对选定网络输出的计算。MATLAB7对应的神经网络工具箱的版本号为Version4.0.3，其涉及到的网络模型有：感知器模型、线性滤波器、BP网络模型、控制系统网络模型、径向基网络模型、自组织网络、反馈网络、自适应滤波和自适应训练等。神经网络工具箱中提供的神经网络模型主要应用于以下四个方面:(1)函数逼近和模型的拟合；(2)信息处理和预测；(3)神经网络控制；(4)故障诊断。神经网络工具箱的通用函数函数类型函数名称函数用途神经网络仿真函数sim针对给定的输入，得到网络输出神经网络训练函数train调用其他训练函数，对网络进行训练trainb对权值和阀值进行训练adapt自适应函数神经网络学习函数learnp网络权值和阀值的学习learnpn标准学习函数revert将权值和阀值恢复到最后一次初始化时的值初始化函数init对网络进行初始化initlay多层网络的初始化initnw利用Nguyen-Widrow准则对层进行初始化initwb调用制定的函数对层进行初始化神经网络输入函数netsum输入求和函数netprod输入求积函数concur使权值向量和阀值向量的结构一致传递函数harlim硬限幅函数hardlims对称硬限幅函数其他dotprod权值求积函数函数类型函数名称函数用途前向网络创建函数newcf创建级联前向网络newff创建前向BP网络newffd创建存在输入延迟的前向网络传递函数logsigS型的对数函数dlogsiglogsig的导函数tansigS型的正切函数dtansigtansig的导函数purelin纯线性函数dpurelinPurelin的导函数学习函数learngd基于梯度下降法的学习函数learngdm梯度下降动量学习函数性能函数mse均方误差函数msereg均方误差规范化函数显示函数plotperf绘制网络的性能plotes绘制一个单独神经元的误差曲面plotep绘制权值和阀值在误差全面上的位置errsurf计算单个神经元的误差曲面BP网络的神经网络工具箱函数BP网络的Matlab实现BP人工神经网络的一个重要功能就是信息处理和预测，利用MATLAB实现BP网络的相关操作主要有以下四部分：(1)数据操作：包括数据的导入、导出，对于工具箱来说，还包括数据的存储、删除等相关操作。(2)网络模型的创建：设定网络类型、层数、每层神经元个数、传递函数、用于模型训练的函数类型等相关参数。(3)训练：包括确定输入向量、目标向量以及训练步数、训练目标、动量项系数等训练相关参数。(4)仿真：主要是确定输入向量和目标向量。6.5应用实例数据的处理数据收集数据变换处理*（归一化）特征参数的提取样本集的构造*BP网络模型的设计网络结构的设计传输函数的选择初始权值的选择学习算法的选择期望误差的选取镁合金神经网络模型训练方案不同数据预处理方式不同隐层结构不同学习参数不同学习算法模型训练及其评价最佳模型人工神经网络工具箱实现1.数据导入两种方式默认网络名选择网络类型选择样