第六章 人工神经元计算方法

1第六章人工神经元计算方法第一节概述神经网络－模式识别引例：水果分类的问题（识别不同的水果）说明：1.对水果的分类，是一个模式的识别问题。而对机械运行状态的判断，也是一个模式识别，因此可以使用神经网络进行判断。2.为神经网络提供数值参量（形状、大小、成分等），就可以得到对应的种类属性（苹果、桔子）。因此，使用各种信号数据参数作为输入，也可以获得机械运行状态的属性参量。3.权值相量、判断标准、误差输入可以不断的修正。三.具体实例通过该例，说明网络建立、训练、识别的过程问题的提出齿轮传动在运行过程中经常会出现各种类型的故障，如齿面擦伤、胶合、点蚀、裂纹、局部断齿等，均会引起振动烈度增加。如何根据所测振动信号自动识别故障的类型，是目前齿轮故障诊断研究的一个重点内容，属于模式识别问题。本节介绍以小波分析为基础，采用神经网络识别点蚀故障的方法。2三.具体实例齿轮点蚀故障的小波神经网络识别三.具体实例齿轮点蚀故障的小波神经网络识别神经网络理论的应用取得了令人瞩目的发展，特别是在人工智能、自动控制、计算机科学、信息处理、机器人、模式识别、CAD/CAM等方面都有重大的应用实例。下面列出一些主要应用领域：（1）模式识别和图像处理。语音识别、签字识别、指纹识别、人体病理分析、目标检测与识别等。（2）控制和优化。机械过程控制、机器人运动控制、金属探伤、故障3分析等。（3）预报和智能信息管理。股票市场预测、地震预报、有价证券管理、借贷风险分析、IC卡管理和交通管理。一、什么是人工神经元计算人的大脑是众所周知的最复杂的计算“装置”，其强大的思考、记忆和解决问题的能力激发了许多科学工作者去尝试建立人脑的计算模型。经过近半个多世纪的努力，形成了人工神经元计算理论。1.模拟人脑神经元是脑神经系统中最基本的细胞单元。每个神经元都是一个简单的微处理单元，其接受和综合许多其它神经元通过所谓树突的输入结构传来的信号，并将输出信号沿着轴突向外传送。这种信号传递本质上是一个化学过程，但其信号是可以测量的。41.2神经细胞与生物神经网络1.神经网络组织形式大脑中大约有100亿个神经元，它们相互连接，形成一个复杂庞大的网络系统。因此大脑的结构是一个神经（元）网络。根据估计，每个神经元大约与上千个神经元相互连接。大脑所形成的神经网络是由一些小的网络连接而成。根据估计，所有神经元被安排到约1000个主要的功能模块，每个功能模块大约有上百个神经网络，每个网络约有10万个神经元。信息的传递从一个神经元到另一个神经元；从一个网络到另一个网络；从一个模块到另一个模块。2.人工神经元网络在人工神经元网络中，模拟生物神经元的单元一般称为神经元。一个神经元有许多输入通道（树突），它通常用简单求和的方式对所有输入值进行合成操作。操作结果是神经元的一个内部激发值，由传递函数作进一步的修改。传递函数可以是阈值函数，只有当激发值达到一定水平时才输出细胞体突触轴突树突图12.2生物神经元功能模型输入输出信息处理电脉冲形成传输5信号。传递函数也可以是合成输入的连续函数。传递函数的输出值接传送到神经元的输出通道。常用传递函数形式如下所示。(f)*即为神经元的I/O特性，常用的神经元I/O特性有以下三种：神经元的信号处理过程如图6-2所示。神经元的输出通道可通过一个相应的权，输入到神经元的信号在求和前进进行权操作。因此，和函数实际上是一个加权和。6Wj1神经元Wj2输出..Wjn.联结权图6-2神经元的计算模型神经元网络由许多相互联结在一起的神经元所组成。神经元按层进行组织，连续两层之间全部或随机联结。通常有两层与外界联系即输入与输出层，其他层称为隐层。细胞体突触轴突树突图12.2生物神经元功能模型输入输出信息处理电脉冲形成传输求和传递函数73.网络计算神经元网络的计算分两个阶段——学习和记忆。网络学习，即对网络进行训练，是一个根据施加在输入层与输出层的刺激来调整网络联结权的计算过程。输出层的刺激对应于给定输入之期望响应，必须由有经验的“教师”给出。这种学习称为有导师的学习。二、人工神经元计算的特点神经元计算不同事传统的计算与人工智能，主要现在如下几个方面：1.样本学习传统专家系统（一种模拟人类专家解决领域问题的计算机程序系统）的知识是用规则的形式给出的。神经网络与专家系统不同，其规则是由样本学习形成的。其中学习规则是根据样本输入及期望输出来调整网络联结权的方法。2.分布联想记忆神经元计算网络的一个重要特征是其储存信息的方式。神经元计算是分布记忆的，联结权为神经网络的记忆单元，权值体现了网络知识的当前状态。由一对输入—期望输出样本表示的一条知识分布在网络的多个记忆单元里，与储存在网络内的其他条知识共享这些记忆单元。3.容错特性传统的计算系统只要损坏少量的记忆单元，就不能正常工作。神经元计算系统则是能容错的。容错是一些神经元破坏损伤后或联结少许再变差一点。神经元计算系统之所以能够容错，是因为信息不是储存在一个地方，8而是分布在整个系统的联接内。4.综合能力神经元网络能够学习复杂连续的映射。综合复杂连续函数的能力类似于生理系统学习协调运动的能力，如学习挥动球拍和击球。第二节反向传播网络（BP-BackPropagation）反向传播神经元网络是使用最广泛的一种神经网络，成功地应用于很多领域，其中包括文字识别、目标跟踪、图像分类、信号处理、运动控制及故障诊断等等。反向传播网络可解决任何需要模式映射的问题，即给定一个输入模式，网络产生一个相关的输出模式。反向传播网络是一种最容易理解的神经网络。它的学习思想相当直观，即当网络输出有错误时，就修改联结权，使得误差减小。训练过的网络能产生正确的输出响应。BP算法（即反向传播法）的基本思想是：学习过程由信号的正向传播与误差的反向传播两个过程组成。1）正向传播：输入样本－输入层－各隐层（处理）－输出层注1：若输出层实际输出与期望输出（教师信号）不符，则转入2）（误差反向传播过程）2）误差反向传播：输出误差（某种形式）－隐层（逐层）－输入层其主要目的是通过将输出误差反传，将误差分摊给各层所有单元，从而获得各层单元的误差信号，进而修正各单元的权值（其过程，是一个权9值调整的过程）。一、网络结构反向传播网络通常有一个输入层，一个输出层和至少一个隐层，每层由一个以上的神经元所组成。右图所示为一个典型的三层反向传播网的拓扑结构。底层是输入层，其神经元接受外部输入；上层是输出层，其神经元给出网络的输出相应；中间层是隐层，其神经元与上下层的神经元相互联结。右图所示为一个神经元，左边是输入，右边是接受神经元输出的神经元。该神经元拥有一个输入加权和（Sj）一个输出值(αj),和一个相关的误差值（δj）。这个误差在联结权调整时有用。神经元i到j的权记为Wji，10在网络学习时得以确定。学习结束后权值是不变的，用于网络输出响应的计算，即前向传播计算。二、网络运算与传递函数网络远算是网络输入信号的前向传播和网络输出响应的计算。当给网络一个输入信号时，信号就开始前向传播。输入层每个神经元对应于输入矢量的一个分量，输入值取这个分量的值。三、误差反向传播误差反向传播是网络学习时联结权的修正量的计算从输出层开始，通过网络反向传播到输入层为止。给定网络联结权的初值（通常是随机数），在输入样本信号的前向传播完成后开始进行比较误差校正。首先由输出层各神经元的误差。然后调整与输出值，并与训练样本的目标输出进行比较，计算出输出层各神经元的误差。然后调整与输出层相联的联结权，再计算隐层各神经元的误差值。接着调整与隐层相联的联结权。上述过程到最后一层的权值调整完为止。112.3学习算法2.BP算法BP算法的训练样本集由输入样本与理想输出对组成。对网络进行训练目的和训练结束的标志是使网络各输入样本下的实际输出与其理想输出一致(目标函数值最小)。开始学习时，各连接权值和节点阈值赋予（-1，+1）间的随机数。BP算法学习过程由正向传播和反向传播两部分组成。网络一旦训练结束，其连接权值和节点阈值便不再变化，此时如给网络新的输入，网络只需经前向计算即能得到相应的输出。该算法实质是求误差函数的极小值，它通过多个样本的反复训练，并采用最快下降法使得权值沿着误差函数负梯度方向改变，并收敛于最小点。四、网络训练与测试网络训练实际上是一个确定联结权的学习过程。反向传播网络用所谓有导师的学习技术来训练，即输入和目标输出训练样本成对地提代给网络。训练样本是一个实数矢量。目标输出是输入样本的期望响应，用来确定调整联结权所需的网络误差。训练样本可重复使用。一次训练迭代提供给网络一对输入-输出样本，一个训练循环包括所有的样本。反向传播网络的训练通常需要成千上万次训练循环。网络训练的收敛准则一般用输出误差的均方根（RMS）值不定义。收敛12是指RMS值越来越逼近0的过程。常需要很长的时间。如果训练样本具有代表性，网络一般可收敛到一个较小的RMS值。若存在局部极小，可用一些技术，例如，改变学习参数或增加隐层神经元的数目，使网络避开局部最小。给联结权一个随机摄动，也可使网络离开局部最小位置。如果新的位置离开局部最小位置足够远，则收敛就朝新的方向进行，而不至于停滞在原先的最小位置。习题6-1什么是神经网络？反向传播网至少有几层？6-2为什么神经网络具有联想记忆、容错能力？与网络结构有什么关系？6-3神经网络信息主要存储在什么地方？学习目的是什么？13齿轮点蚀故障的小波神经网络识别判据：齿轮的点蚀是一种较难于识别的故障，我们的研究结果表明：齿轮点蚀故障会在齿轮啮合过程中产生冲击，激发轮齿按其固有频率振动，致使在包含轮齿固有频率的频带内能量大幅度提高。可以此作为是否出现点蚀的判据。方法：对齿轮振动信号进行小波包分解，以各频带的能量变化情况作为齿轮点蚀故障的识别的定量的依据。使用神经网络识别技术，以各频带能量归一化值作为神经网络的输入，齿轮不存在点蚀故障和存在点蚀故障两种情况作为神经网络的输出。实例：以台权矿主井提升机大齿轮点蚀故障为例进行说明。该齿轮的固有频率在2300Hz左右。对信号作小波包分解到3层，得到8个分解频段及相应的振动相对能量。三.具体实例14点蚀发生前后齿轮振动信号各频段相对能量及其比值注：相对能量值－－各分解频带信号能量占信号总能量的百分比四.具体实例5.00006.000010.91677.45451.07112.37346.21640.9793比值(B/A)0.00100.00060.01310.00820.02260.03752.407697.5094点蚀后相对能量B（％）0.00020.00010.00120.00110.02110.01580.387399.5732点蚀前相对能量A（％）3062.5～3500.02625.0～3062.52187.5～2625.01750.0～2187.51312.5～1750.0875.0～1312.5437.5～875.00～437.5W8W7W6W5W4W3W2W1频段（Hz）15神经网络的输入向量为各频带的相对能量，个数为8个。隐层节点数量选择为6个。网络的目标输出向量为2种状态：齿轮不存在点蚀故障（10），齿轮存在点蚀故障（01）。对两种齿轮情况分别采集测试信号50组，组成网络训练样本100组，另外各取5组作为网络测试样本。各连接权值和节点阈值的初始值可赋予（-1，+1）间的随机数。设置网络最大训练步数1000，训练目标误差为0.001。16下图给出了某次训练结果的误差变化曲线，设置网络最大训练步数1000，训练目标误差为0.001。可见，当网络训练到702步时，网络性能达标。BP网络误差变化曲线17将网络测试样本（齿轮点蚀故障样本5组、齿轮正常样本5组，共10组）送入该网络进行故障识别。从表中可以看到，该BP网络对齿轮点蚀故障的识别具有较高准确性。