智能运维与健康管理-第4章

智能运维与健康管理讲义提纲引言4.1工业大数据质量改善4.2大数据健康监测4.3大数据智能诊断4.4大数据健康管理案例4.524.1.1工业大数据概念与特点随着互联网的发展，以移动互联、社交网络、电子商务等为代表领域的数据增长速度比以往任何时期都要迅猛，数据规模越来越大，数据变得越来越多样化，也越来越复杂，促使人类社会进入“大数据”时代。“大数据”的诞生Facebook社交网络TwittereBay电子商务Amazon移动互联GoogleApple腾讯微博淘宝京东百度小米34.1.1工业大数据概念与特点0.81.21.87.935051015202530354020092010201120152020单位：ZB时间/年1ZB=1000亿GB人类社会的数据量指数上升根据IDC监测，人类产生的数据量正在呈指数级增长，大约每两年翻一番，这个速度在2020年之前会继续保持下去。这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量。44.1.1工业大数据概念与特点各国的大数据发展的战略性指导文件2012年，美国奥巴马政府投资2亿美元启动“大数据研究和发展计划”，认为数据是“未来的新石油”，将大数据上升到国家战略层面。2015年，我国印发《促进大数据发展行动纲要》，其中明确指出数据是国家的基础性战略资源，并引导和鼓励各个领域在大数据分析方法及关键应用技术等方面开展探索性研究54.1.1工业大数据概念与特点•工业大数据定义：工业大数据通常指机械设备在工作状态中，实时产生并收集的涵盖操作情况、工况状态、环境参数等体现设备运行状态的数据，即机械设备产生的并且存在时间序列差异的大量数据，主要通过多种传感器、设备仪器仪表采集产生。该数据贯穿于机械工艺、生产、管理、服务等各个环节，使机械系统具备描述、诊断、预测、决策、控制等智能化功能的模式，但无法在可承受的时间范围内用常规技术与手段对数据内容进行抓取、管理、处理和服务。•大数据对传统信息技术带来了革命性的挑战和颠覆性的创新，正悄然改变着我们的生活以及理解世界的方式，并且已经渗透到了机械智能维护领域。机械领域走向工业大数据时代64.1.1工业大数据概念与特点工业大数据的兴起主要由内、外两方面原因决定。外因使得我们具备了实时监测、及时处理工业大数据的能力。内因要求对机械设备进行全面实时的监测。外因：实时监测数据的成本不再高昂，再加上嵌入式系统、低耗能半导体、处理器、云计算等技术的兴起，使得分析计算能力也大幅提升内因：机械设备具有结构复杂性与功能耦合性，使得微小的故障可能引起连锁反应，导致其无法安全可靠的运行，因此需要进行全面实时的监测海量数据机械领域走向工业大数据时代74.1.1工业大数据概念与特点工业大数据的来源工业大数据的特点•监测的装备群规模大•每个装备需要的测点多•单个测点的采样频率高•从开始服役到寿命终止的数据收集历时长•大容量：依靠诊断专家来手动分析很不现实，需要研究智能方法自动分析•多样性：涵盖了多种机械不同工况下不同物理源辐射出的大量健康状态信息•速度快：保证数据处理的时效性，高效挖掘故障信息并及时预警•低价值密度：设备长期处于正常工作状态，监测数据蕴含的信息重复性大，数据价值密度低，需要数据提纯机械领域走向工业大数据时代84.1.1工业大数据概念与特点•工业大数据已经成为揭示机械故障演化过程及本质的重要资源，数据量的规模、解释运用的能力也将成为当代设备智能维护最为重要的部分。•利用工业大数据技术将大数据资源这样的“石油”提炼成切实可用的“汽油、柴油”等，是将大数据转换为“生产力”的关键。工业大数据资源大数据技术提炼蕴含的运维信息机械领域走向工业大数据时代94.1.2工业大数据技术•定义：使工业大数据中所蕴含的价值得以挖掘和展现的一系列技术与方法的总称，涵盖工业数据采集、存储、预处理、分析挖掘和可视化等。•并行处理框架：Hadoop作为分布式系统基础架构的代表，其框架的核心是基于分布式文件系统（HadoopDistributedFileSystem，HDFS）和MapReduce的分布式批处理计算框架，支持工业高实时性采集、大数据量存储及快速检索，为海量数据的查询检索、算法处理提供了性能保障。•基于分布式系统，工业大数据技术的框架可总结为：工业大数据技术104.1.2工业大数据技术工业设备数据存储分析挖掘智能故障诊断•数据质量改善•健康状态监测•智能诊断维修评估•状态反馈•建议报告•维修措施资产状况•设备信息•备件管理•其它需求可视化资源管理系统•MapReduce•Spark•StormHbase数据库HDFS分布式文件系统上层应用Zookeeper/Ambari平台配置、调度/平台管理Hadoop平台工业大数据技术的研究与突破，旨在从工业大数据中发现新模式和新知识，挖掘有价值的新信息，促进企业的产品创新、提升经营水平以及生产动作效率。而工业大数据驱动的智能故障诊断是发掘这些新模式和新知识的重要环节。114.1.3工业大数据驱动的智能故障诊断•大数据时代的来临打破了事件之间因果关系的固定格局，使相关关系的可用性浮出水面。而工业大数据的智能故障诊断正是一种大数据相关关系分析方法。工业大数据的相关关系分析•适当地放弃“因果”，将关注点转为“相关”，有助于我们更迅速、更全面地把握事件的发生，我们可以从“出现问题-逻辑分析-找出原因”的事后补救模式转换到“收集数据-预测问题-解决问题”的主动预警模式。相关关系分析利用传感器获取发动机监测信号监测信号与历史正常信号进行比对预测出发动机有可能发生的故障因果关系分析发动机无法启动冷却液温度传感器短路混合气过于稀薄，发动机无法启动124.1.3工业大数据驱动的智能故障诊断工业大数据驱动的智能故障诊断框架质量改善•数据评价准则•数据清洗•数据质量增强•…数据获取•传感器组•数据采集设备•分布式存储器•…•大数据质量改善工业大数据信号来源分散、采样形式多变、随机因素干扰等特点，需要依据一定标准对数据进行筛选，剔除冗余和噪声数据，提高机械大数据的可靠性。134.1.3工业大数据驱动的智能故障诊断工业大数据驱动的智能故障诊断框架质量改善•数据评价准则•数据清洗•数据质量增强•…数据获取•传感器组•数据采集设备•分布式存储器•…健康监测•循环神经网络•支持向量回归•自适应阈值•…•大数据健康监测通过信号处理方法提取多域特征，表征设备的健康状态。并结合历史健康状态信息设置自适应阈值或结合人工智能模型进行定量评估，实现设备的健康监测。144.1.3工业大数据驱动的智能故障诊断工业大数据驱动的智能故障诊断框架质量改善•数据评价准则•数据清洗•数据质量增强•…数据获取•传感器组•数据采集设备•分布式存储器•…健康监测•循环神经网络•支持向量回归•自适应阈值•…智能诊断•浅层神经网络•支持向量机•K均值聚类•…•大数据智能诊断将分类、聚类等人工智能算法用于机械设备的故障诊断中，对设备故障信息进行知识挖掘，获得与故障有关的诊断规则，进而识别设备故障状态，以便制订维修策略。15讲义提纲引言4.1工业大数据质量改善4.2大数据健康监测4.3大数据智能诊断4.4大数据健康管理案例4.5164.2.1工业大数据质量定义与成因工业大数据质量定义定义：工业大数据质量受人、机、环境交互作用，用以描述获得数据与所监测设备健康状态的相关程度。即数据质量越高代表数据与所监测设备健康状态相关程度越强，可用性越大，价值性高，反之亦然。人机环境数据质量工业大数据质量影响因素工业大数据质量评价数据质量与可用性关系174.2.1工业大数据质量定义与成因工业大数据质量改善的意义残缺数据漂移数据失真数据无关数据非结构化数据正所谓“进来是垃圾，出去也是垃圾”，基于低质量数据建立的相关健康监测与智能诊断模型，会对设备的健康状态进行误判，制定出错误的运维策略。低质量数据的存储占据大量存储空间，加剧了数据分析的计算负荷，降低了分析效率。184.2.1工业大数据质量定义与成因工业大数据质量降低成因数据传输过程中，传输通道数据遗漏、拥堵。数据传输传感器未进行校准、硬件故障或超出其额定使用寿命。硬件故障信号时间尺度不一致、多物理源信号的存储数据多样性机械设备实际作业环境恶劣，测试环境受随机干扰因素影响。外界干扰工业大数据质量降低194.2.2工业大数据质量的评价指标工业大数据质量的评价指标•准确性:数据与所描述机械设备健康状态的一致程度，是数据能否客观反映设备健康状态的一个重要指标。•完整性:监测数据采集的完整性，涵盖数据采集时间段完整性、多源信号完整性、数据值无缺失等。•时效性:数据时效性越高，则数据分析结果越能反映设备当前的运行状态。•一致性:机械设备监测大数据涉及多物理源信号，如振动信号、声发射信号、温度信号等。204.2.3工业大数据质量改善流程工业大数据质量改善流程21检查硬件设备•传感器•电缆•采集设备•……•检查数据源及优化传感器布置：重点检查并确保传感器、电缆、采集设备等硬件运行完好；根据机械设备的具体情况优化传感器布置，使传感器能够全面捕捉机械健康状态信息，从数据源头保障大数据质量。4.2.3工业大数据质量改善流程工业大数据质量改善流程22检查硬件设备•传感器•电缆•采集设备•……数据收集与规整•结构化数据•非结构化数据•半结构化数据•数据收集与规整：针对多物理源信号，需要分别进行重采样、尺度与维度转换、统一数据格式等相关数据规整和对命名冲突、结构冲突等数据的修正工作，以提高数据的一致性。源数据库4.2.3工业大数据质量改善流程工业大数据质量改善流程23检查硬件设备•传感器•电缆•采集设备•……数据收集与规整•结构化数据•非结构化数据•半结构化数据脏数据•噪声过滤•脏数据检测•数据填充非脏数据数据清洗源数据库可用数据库•数据清洗与填充：数据清洗包括噪声过滤和异常检测。前者指利用去噪方法对监测数据进行预处理。异常检测则主要包括异常点和异常段的检测。数据填充指已知的辅助信息，为缺失数据寻找替代值。4.2.3工业大数据质量改善流程工业大数据质量改善流程24检查硬件设备•传感器•电缆•采集设备•……数据收集与规整•结构化数据•非结构化数据•半结构化数据脏数据•噪声过滤•脏数据检测•数据填充非脏数据数据清洗数据质量增强•数据融合•数据降维•……源数据库可用数据库高质量数据库•数据质量增强：多源数据融合通过检测融合、估计融合、数据关联等，充分挖掘分散、异构数据中所隐含的设备健康状态信息。数据降维将数据从高维映射至低维空间，克服了高维工业大数据分析所面临的“维数灾难”。讲义提纲引言4.1工业大数据质量改善4.2大数据健康监测4.3大数据智能诊断4.4大数据健康管理案例4.5254.3大数据健康监测大数据背景下的健康监测基于故障阈值的健康监测基于智能模型的健康监测故障点报警阈值10大数据背景下的机械设备健康监测在充分挖掘监测数据中所隐含的设备健康状态信息的基础上，通过设置故障阈值定性判断机械设备的健康状态或应用智能模型定量评估机械设备的健康状态。264.3.1基于故障阈值的健康监测基于故障阈值的健康监测主要步骤•特征提取：机械设备的监测信号中虽然蕴含了设备的健康状态信息，需要凭借统计分析手段，如时域分析、频域分析、时频分析等，提取信号的数字特征，发现特征量的变化规律，表征设备的健康状态。•振动•声发射•温度•……高质量数据库•时域分析•频域分析•时频分析•……特征提取274.3.1基于故障阈值的健康监测基于故障阈值的健康监测主要步骤•健康状态定性判断：设备在服役过程中，监测信号的特征值会随着时间不断发生变化。因此，通过设置特征值的故障阈值来定性判断机械设备健康状态是健康状态监测的常用手段。•振动•声发射•温度•……高质量数据库•时域分析•频域分析•时频分析•……特征提取•固定阈值•相对阈值•3σ阈值•……健康状态定性判断284.3.1基于故障阈值的健康监测时域特征提取1.均值5.峰值9.裕度指标2.标准差6.波形指标10.偏斜度3.方根幅值7.峰