智能检测理论与技术07

第七章基于神经网络的智能检测IntelligentDetectionTheoryandTechnology智能检测理论与技术智能检测第六章内容回顾一、模糊智能检测概述模糊集合、模糊推理、模糊判决方法、模糊推理系统、模糊检测系统的基本结构二、模糊智能检测技术应用实例智能检测7.1基于神经网络智能检测的概述第七章基于神经网络的智能检测软测量概念常规传感器或在线分析仪无法实现或及时的对控制过程中某些质量变量进行在线测量。软测量技术的发展解决了这一不足，软测量建模是软测量技术的核心。用以实现软测量技术的实体称作软仪表，也被称作虚拟分析仪。同在线分析仪相比，软仪表优势在于：安装及维护费用低，测量实时性好，可靠性高，精度良好。智能检测7.1基于神经网络智能检测的概述第七章基于神经网络的智能检测建立软测量模型基本方法机理建模简称建模，一般又称为“白箱问题”。机理建模有先验性，预估性等优点。但是这种方法要求对研究对象的机理有较为深刻的了解，必须提出简化假设以使建模问题比较易于处理。对于实际的复杂工业过程，机理建模可能代价很高，引入假设条件会影响建模精度。智能检测7.1基于神经网络智能检测的概述第七章基于神经网络的智能检测建立软测量模型基本方法辨识建模简称辨识，一般又称为“黑箱问题”。利用直接反应过程动态特性的输入输出数据来建立数学模型，无需深入了解过程机理，可以理解为在最小限度的先验知识和假设条件下进行建模。优点是辨识模型易于实现和对非线性关系的良好逼近能力。机理建模与辨识建模相结合--灰箱建模智能检测7.1基于神经网络智能检测的概述第七章基于神经网络的智能检测神经网络基础神经网络是一种由许多简单的、高度互联的处理单元（又称神经元）构成的运算处理系统，它以对外部输入做出动态响应的形式处理信息。特点：并行分布，使信息的处理效率得到惊人的提高。神经网络具有高度的容错能力（或称鲁棒性）。神经网络的实现形式是针对特定任务的软件，也可由硬件实现，相比之下，软件的使用更为灵活，简单。基于神经网络的建模方法属于辨识建模。智能检测7.1基于神经网络智能检测的概述第七章基于神经网络的智能检测神经网络智能检测的应用状况基于神经网络的软测量方法，最早应用之一是估计青霉素发酵过程中的菌体浓度，尽管所用测量模型相当简单，仍取得了非线性观测器所无法获得的成功。MassimoCD,MontagueGA,WillisMJ,etal.Towardsimprovedpenicillinfermentationviaartificialneuralnetworks[J].ComputersandChemicalEngineering,1992,16(4):283-291英国纽卡斯尔大学（NewcastleUniversity）近年来，基于神经网络的软测量技术在化工过程工业中的成功应用日益增多。迄今，安装运行的实例累计超过了1000个。较多的论文和报道是来自于连续搅拌反应过程、精馏过程和硫化催化裂化过程等典型的化工过程系统。智能检测7.2神经网络与智能检测建模第七章基于神经网络的智能检测人工神经元模型人工神经元模型是生物神经元的抽象和模拟。通常一个神经元可能有多个输入端，但只有一个输出端，一般是多输入—单输出的非线性器件，这个输出值是对所有输入值处理后的结果。Wij:x2x1xn::xiθjyjf(.)sjW1jW2jWnj输入信号连接权阈值处理单元净值转移函数输出智能检测7.2神经网络与智能检测建模第七章基于神经网络的智能检测前向传播神经网络典型的多层前向神经网络如图所示典型的多层前向网络智能检测7.2神经网络与智能检测建模第七章基于神经网络的智能检测前向传播神经网络典型的多层前向神经网络是由一个输入层、一个或更多的隐层和一个输出层组成。输入层的神经元相当于缓冲器，用于将输入信号分配给隐层的神经元。每个隐层的神经元对其输入信号计算加权和，经过阈值限制和激励函数，得到这个隐层神经元的输出。智能检测7.2神经网络与智能检测建模第七章基于神经网络的智能检测前向传播神经网络以第j个隐层神经元为例，它的输入输出关系可由下式表示()jjiijyfx其中：为第j个隐层神经元的第i个输入值；ji为第i个输入到第j个隐层神经元的连接权值；j为阈值；为激励函数。fix智能检测7.2神经网络与智能检测建模第七章基于神经网络的智能检测激励函数f的主要类型阈值型：线性型：双曲函数：Sigmoid型：高斯型（径向基型）：1s0()0s0yfs10()10syfss()yfsks()tanh()yfss1()1exp()yfss22()exp()syfs智能检测7.2神经网络与智能检测建模第七章基于神经网络的智能检测激励函数f的主要类型智能检测7.2神经网络与智能检测建模第七章基于神经网络的智能检测反向传播算法（BP算法）反向传播(BackPropagation,BP)是多层前向神经网络最常用的学习算法，是一种基于梯度下降的最优化算法，通过调节连接权值，使系统误差函数或其他形式的代价函数极小化。“反向传播”是指其权值调节的方式。在训练（学习）阶段，输入样本逐层向前传播，直到输出层计算出网络的输出。目标输出与实际输出进行比较，形成误差项。智能检测7.2神经网络与智能检测建模第七章基于神经网络的智能检测反向传播算法此时，网络的连接可以被理解为发生了“反向”，误差作为连接反向后的网络输入，逐层反向传播，所经过的连接，其权值被调整，如图。智能检测7.2神经网络与智能检测建模第七章基于神经网络的智能检测反向传播算法常用的系统误差函数为均方差（MSE）函数：相应的误差评价准则为：其中，和()tpjy目标和实际输出。P为训练样本总数。分别为第p个训练样本作用下的网络的pjyE其中，理论上是无穷小，而实际上是反映误差允许度的一个设定值。PpjpjtpjyyPE12)(])(21[1智能检测7.2神经网络与智能检测建模第七章基于神经网络的智能检测反向传播算法神经元i到j的连接权值为wji，对其调节量△wji作如下定义：jijix其中，是学习率，误差项的定义取决于神经元j处于输出层还是隐层。j对于输出层神经元()[]()tjjjjfyynet对于第q层隐层神经元其中是神经元j的输入信号加权和。jnet11)1(qqjqjjwnetf智能检测7.2神经网络与智能检测建模第七章基于神经网络的智能检测反向传播算法BP算法是一种强有力的学习算法，但它也存在一些问题：隐含层数和隐含层神经元数目通常是通过实验确定的，缺乏理论依据。学习过程收敛速度慢。算法本身的不确定性，如容易导致网络训练陷入局部极小值，而无法获得问题的全部最优解等。为克服上述缺点，改进的BP算法可谓层出不穷。智能检测7.2神经网络与智能检测建模第七章基于神经网络的智能检测径向基函数（RBF）神经网络具有单隐层的前馈神经网络。RBF网络隐层的形式与BP网络的隐层不同，这个隐层有时称为模式层（PatternLayer)。所用激励函数是径向基函数型的。在经过输入缓冲层以后，隐层神经元并不直接接收输入向量，而是进行“距离”测量，即测量输入向量到径向基函数的距离。RBF网络结构：智能检测7.2神经网络与智能检测建模第七章基于神经网络的智能检测径向基函数（RBF）神经网络21221()[]mijijijixca具体的说，第j个隐层神经元的输入为：其中，为输入分量；为径向基函数的中心分量；称为径向基函数的有效半径。ixjicji智能检测7.2神经网络与智能检测建模第七章基于神经网络的智能检测径向基函数（RBF）神经网络经过径向基函数转换，这个隐层神经元的输出为2exp()2jiay径向基函数仅有一个最大值，即中心。当超过中心的有效半径范围后，函数值将迅速衰减趋近于0。智能检测7.2神经网络与智能检测建模第七章基于神经网络的智能检测径向基函数（RBF）神经网络输出层的神经元对其输入向量根据相应的连接权值计算加权和，得到网络的输出z，即iyiwniiiywZ1智能检测7.2神经网络与智能检测建模第七章基于神经网络的智能检测径向基函数（RBF）神经网络RBF网络与BP网络都是非线性多层前向网络，它们都是通用逼近器。对于任一个BP网络，总存在一个RBF网络可以代替它，反之亦然。RBF网络只有一个隐层，而BP网络的隐层可以是一层也可以是多层。对于存在大量训练样本的情况，RBF网络的性能比较好。如何选择合适的径向基函数以及如何确定隐节点数，目前还无法解决。智能检测7.2神经网络与智能检测建模第七章基于神经网络的智能检测多层前向神经网络在非线性过程系统建模中，用于辨识系统输入变量到输出变量的映射关系f，f要求是时不变的。理论上，前向网络能够以任意的精度逼近f，这主要取决于网络的结构，即隐层神经元的个数是否足够。至于如何确定隐层神经元的个数是困难的。智能检测7.2神经网络与智能检测建模第七章基于神经网络的智能检测多层前向神经网络一个确定的、时不变的单输入单输出（SISO）系统在离散时间域的输入输出模型：(1)[(),(1),...,(1);ppppykfykykykn(),(1),...,(1)]ukukukm[()()]pukyk、其中，表示k时刻的系统输入输出对。n和m分别表示过去时刻的系统输出、输入的个数；f是一个静态非线性函数。智能检测7.2神经网络与智能检测建模第七章基于神经网络的智能检测多层前向神经网络多层前向神经网络的SISO动态过程系统辨识模型如下图。TDL代表多分接头延时单元，其输出向量由其输入向量的延迟构成。TDL方法使前向网络辨识动态系统成为可能。多层前向网络动态系统辨识模型智能检测7.2神经网络与智能检测建模第七章基于神经网络的智能检测多层前向神经网络非线性静态系统可以看作非线性系统处于稳态时的特例，其状态变量一般不是时间函数。一个具有m维输入向量和n维输出向量的静态系统，可由如下方程组表示：对上述系统，可用n个前向网络辨识模型。),...,(.............),...,(),...,(2121222111mnnmmxxxfyxxxfyxxxfy智能检测7.2神经网络与智能检测建模第七章基于神经网络的智能检测多层前向神经网络将待辨识系统的实际输入和输出数据作为结构已确定的前向网络的训练样本，进而确定网络内部的连接权值，这样的结构和权值均确定的前向网络即为过程系统的辨识模型。前向网络静态系统辨识模型智能检测7.3基于神经网络智能检测的通用模型第七章基于神经网络的智能检测基本原理基于神经网络的软测量方法主要是利用神经网络强大的建模能力，用神经网络来代替常规的数学模型描述辅助变量和主导变量间的关系，完成由可测信息空间到主导变量的映射。基于神经网络的建模方法属于辨识建模，这种辨识方法的主要特点是辨识模型易于实现和对非线性映射关系的逼近性能良好。软仪表的概念常用于特指基于神经网络的过程主变量在线估计或预测模型，辅助变量一般被表示为神经网络的输入，而神经网络的输出为主变量的预估值。智能检测7.3基于神经网络智能检测的通用模型第七章基于神经网络的智能检测一个在线应用软测量模型结构测量有效性确认模型：用于检出过程仪表失败的测量结果，并自动生成有效的或是合理的替代值。预估模型：是一个普通的三层网络结构，预估模型的输入来自测量有效性确定模型，输出可以用于估计当前时刻或预测未来某时刻的测量值。这两个模型均可由多层前向神经网络实现智能检测7.3基于神经网络智能检测的通用模型第七章基于神经网络的智能检测基于神经网络的软测量模型智能检测7.3基于神经网络智能检测的通用模型第七章基于神经网络的智能检测软测量建模的主