智能运维与健康管理-第5章

融入新一代人工智能的智能运维主讲人：李巍华导读1新一代人工智能概述2深度神经网络3迁移学习4深度迁移学习及其特征挖掘5讲义提纲本章导读学习要求：了解新一代人工智能技术的特点；掌握典型的深度学习模型，迁移学习方法，结合实例加深对深度学习与迁移学习的理解与认识；了解结合深度学习和迁移学习的深度迁移学习模型。基本内容及要点：人工智能的定义；新一代人工智能的特点；卷积神经网络的基本结构；深度置信网络的基本结构；堆栈自编码器的基本结构；循环神经网络的基本结构；迁移学习的特点；基于半监督的迁移策略；基于特征选择的迁移策略；基于特征映射的迁移；基于权重的迁移策略；深度迁移学习模型的种类。PART01新一代人工智能概述1新一代人工智能概述人工智能定义5•人工智能(Artificialintelligence,AI)在1956年就已经提出。•关于知识的学科，即如何表示知识、获得并使用知识的科学。研究对象是人类智能活动规律；依赖工具是计算机等具有类人智能的人工系统；目的利用计算机软硬件模拟人类某些智能行为的基本原理、方法和技术。美国斯坦福大学人工智能研究中心尼尔逊教授人工智能创始人之一认知科学家马文·明斯基教授•人工智能就是研究如何使计算机去做过去只有人才能做的智能工作。“Whatmagicaltrickmakesusintelligent?Thetrickisthatthereisnotrick.Thepowerofintelligencestemsfromourvastdiversity,notfromanysingle,perfectprinciple.”——TheSocietyofMind（1987），P308到底有什么神奇的诀窍使我们如此智能？诀窍就是根本没有诀窍。智能的力量来源于我们自身巨大的多样性，而非来源于某一单个、完美准则。1新一代人工智能概述新一代人工智能6我国著名人工智能专家潘云鹤院士•当前大数据、感知融合和深度强化学习等技术的发展，促使人工智能迈向人工智能2.0，即新一代人工智能。•人工智能2.0定义：基于重大变化信息新环境和发展新目标新一代人工智能。030201新一代人工智能互联网与移动终端普及、传感网渗透、大数据涌现和网上社区兴起等信息新环境大数据智能、跨媒体智能、自主智能、人机混合增强智能和群体智能等新技术智能城市、智能经济、智能制造、智能医疗、智能家居、智能驾驶等从宏观到微观的智能化新需求新目标2016年3月2017年7月2017年10月2017年DeepMind团队发布了AlphaGo，可以击败人类围棋职业选手AlphaGo指出大数据驱动的知识学习、跨媒体系统处理、人机协同增强、群体集成智能、自助智能系统等成为人工智能的发展重点国务院发布《新一代人工智能发展规划》DeepMind公布了最强版的AlphaZero，掀起了新一代人工智能浪潮AlphaZero新一代人工智能在制造业的应用中，智能诊断运维被列为重点突破方向之一中国工程院发布《中国智能制造发展战略研究报告》1新一代人工智能概述7新一代人工智能发展1新一代人工智能概述新一代人工智能发展意义•重大装备故障诊断方法普遍存在受到结构复杂、信号微弱等因素影响导致其精度与准确性不高的问题。•新一代人工智能技术在特征挖掘、知识学习与智能程度所表现出显著优势，为智能诊断运维提供了新途径。•新一代人工智能运维技术是提高装备安全性、可用性和可靠性的重要技术手段，有利于制造企业智能化升级并提高企业效益，得到国际学术界与商业组织的重点投入与密切关注。8长期致力于基于人工智能技术的状态监测与预测研究,组织开展数控机床刀具全寿命周期振动、温度等多元异构数据实时监测实验，并邀请国际学者进行剩余寿命预测竞赛，以促进数控机床智能化的发展。美国PHM协会超过15年的持续专项研究，2017年建立“先进诊断与发动机管理”系统，实现发动机设计制造数据、运行监测数据与维修保障数据三位一体深度分析，具备发动机在线诊断预测、地面维护保障关键功能美国普惠公司提出智能发动机概念，并架构智能发动机技术体系，基于先进机器人技术的智能检测与预知、自愈维护是智能发动机的核心技术内涵。英国罗罗公司密切关注机械基础部件（轴承、复合材料结构等）的服役安全性，组织开展全寿命周期多源数据监测实验，开发航空发动机等重大装备的智能诊断与预测技术。美国航空航天局（NASA）提出“智能航空发动机”项目，期望通过专项研究实现发动机整寿命周期内大数据的有效监测与深度分析，提升发动机运行安全性与维护保障性。英国罗罗公司1新一代人工智能概述9新一代人工智能应用1新一代人工智能概述新一代人工智能发展面临的挑战与方向10•重大新一代人工智能技术是国际制造业的重要历史机遇，但是如何融入新一代人工智能技术实现重大装备的运行安全保障，是挑战难题。新一代人工智能发展重要方向智能诊断模型构造根据机械装备检测数据特点实现有针对性的智能诊断模型构造新一代人工智能技术针对装备制造业监测数据高维度、多源异构与流数据等大数据特性，探索多源数据融合、深度特征提取与流数据处理等新一代人工智能技术智能处理框架与技术体系研发基于大数据分析的智能处理框架与技术体系PART02深度神经网络卷积神经网络堆栈自编码网络循环神经网络深度置信网络01020304深度神经网络12卷积神经网络13全连接前馈网络识别结果可以有很多卷积层和池化层卷积层1池化层1卷积层2池化层2化为一列卷积神经网络卷积神经网络14卷积层的计算池化层的运算化成一列3.253.52.753.5-1全连接层3.253.53.52.754343.253.5243,12.753.5234aa卷积神经网络15LeNet-5限制波尔兹曼机16vhw......b1b2bm-1bmcnc1模型参数可视层及隐藏层神经元的状态可视层与隐藏层之间的权值可视层及隐藏层的偏置xh1P(h1|x)P(x|h1)限制波尔兹曼机(RBM)深度置信网络17P(v|h1)P(h1|v)v=xh1xh1P(h2|h1)P(h1|h2)h2P(h3|h2)P(h2|h3)h3xh1h2xh1h2h3y逐层无监督学习监督学习深度置信网络深度置信网络18xh1h2h3yRBM1RBM2RBM3Softmax输入样本低层特征高层特征...深度置信网络自编码网络19自编码器(AE)编码器解码器自编码器通过无监督学习更新其参数取值，使重构误差最小。AfXWXb'''YgAWAb编码：解码：重构误差：222,,LXZLXZCXZ堆栈自编码网络20AE1AE2AEn多个AE堆叠输入层特征表示1特征表示2特征表示n分类层堆栈自编码网络循环神经网络.........x1x2xmy1y2ynW(1)W(2)......W(3)W(4)......W(1)W(2)......W(3)x1x2xmt-1tWt(3)Wt(2)Wt(1)...循环网络结构.........W(1)Wt(1)t-1t...时间连接的隐层反馈权值)(ttXFunY前馈神经网络)~(NtttXXFunY循环神经网络权值共享：不同时刻的网络权值占用共一个存储空间，在计算时同时更新。时间连接：t时刻的网络输出和t时刻以前的输入都有关系。21.........x1x2xmy1y2ynW(1)W(2)......W(3)W(4)tRNN计算原理)**(1ttttSWXWfS)*(touttSWgY前向计算：反向传播：2Y||||21YYδ)*(**)(*WoutYtouttoutoutnewSWgSYYlrWlrWWoutδtYWδlrWWtnewtWYδlrWWnew10110tY000000000*)**(*)*(**)(WtTTtTtTtTtTTToutoutSSWXWfSWgWYYδ1010Y000000000*)**(*)*(**)(WtTTtTtTtTtTTToutoutXSWXWfSWgWYYδ输出层隐藏层输入层22LSTM结构前向计算：1)**(100000TtTtTtTTSWXWf常数误差流：网络的循环结构不通过激活函数。长短时记忆单元的结构门控制单元：对网络输入、输出进行限制。截断回传误差：限制网络误差回传的时间跨度。区别不同输入的影响控制计算量23RNN的应用24RNN的典型应用，如机器翻译、图像描述等。Thesunwestering夕阳西下编码：解码：RNN的应用25图像描述：1.输入图像特征映射2.卷积特征提取3.RNN图片注意力模型4.逐词描述基于深度学习的刀具退化评估实验数据来源于美国国家宇航局Ames研究中心，共包含16组刀具磨损退化的监测数据[33]。每组数据包含不同数量的信号样本，均采集了刀具磨损过程中的振动信号、声发射信号和电信号，采样频率为250Hz。各组数据采集时的工况和铣刀最终磨损情况见表5-1。刀具退化案例26原始信号刀具有进入阶段、稳定切割阶段和退出阶段，选取稳定切割阶段的信号进行分析。27基于深度学习的刀具退化评估样本构造：从6个传感器监测数据中提取其有效值、绝对均值、方差和峰峰值4个时域特征形成训练数据特征集作为深度自编码网络的训练样本。特征提取和降维：将24维高维特征样本经由深度自编码特征提取器进行特征降维和提取。结构参数优化：降维编码后的重构误差作为粒子群算法参数更新的适应度，由此确定网络结构参数。28基于深度学习的刀具退化评估由降维编码的回归输出可以看出，降维编码保留的信息和磨损量高度相关。经过有标签数据的训练和微调，降维编码在变化趋势上与磨损量保持一致，但是在幅值上有所偏差，这表明深度自编码网络对多维传感器特征集的特征提取和降维是有效的。降维编码的回归模型输出(a)CASE1(b)CASE229基于深度学习的刀具退化评估DAE-LSTM模型退化程度识别结果(a)CASE1(b)CASE2深度网络作为特征提取器在进行参数优选的训练之后可以获得在训练数据上拟合效果足够好的深层网络。去除其回归层之后的低层网络在差异不大的同类测试数据中仍然有较好的特征提取效果，这表明深层网络可以在浅层学习到一般而概括的特征，并将浅层特征进一步抽象提取和深度挖掘。在将低层特征编码作为输出结合其他深度网络模型进行后处理即可得到适用于装备退化评估的深度学习模型。30基于深度学习的刀具退化评估PART03迁移学习从机器学习到迁移学习32机器学习已成为一种日渐重要的方法，并已经得到广泛的研究与发展。然而传统的机器学习需要做如下的两个基本假设以保证训练得到的分类模型的准确性和可靠性：但是，在实际的工程应用中往往无法同时满足这两个条件：•学习数据时效性强，如基础部件随时间退化而产生的数据。•有标签的分类样本数据匮乏，如大规模风电场的设备数据。机器学习基本假设•用于学习的训练样本与新的测试样本是独立同分布的；•有足够多的训练样本用来学习获得一个好的分类模型。机器学习的局限性从机器学习到迁移学习33迁移学习是指一种学习或学习的经验对另一种学习的影响，迁移学习能力代表不同领域或任务之间进行知识转化的能力。骑自行车骑摩托车打羽毛球（压腕）打网球（不压腕）正迁移：一种学习经验对另一种学习起促进作用。负迁移：一种学习经验对另一种学习起阻碍作用。迁移学习概念从机器学习到迁移学习34•传统机器学习的任务之间是相互独立的，不同的学习系统是针对不同的数据分布而专门训练的。•迁移学习中不同任务间不再相互独立，虽然两者不同，但可以从不同源任务中挖掘出与目标任务相关的知识，去帮助后者的学习。任务一任务二任务三学习系统一学习系统二学习系统三源任务源任务目标任务学习系统知识(a)传统机器学习(b)迁移学习传统机器学习和迁移学习过程的差异迁移学习特性从机器学习到迁移学习35迁移学习定义迁移学习策略36学习过程无需人工干预，对无标签数据加以利用，并取得最佳泛化