CDMiner自动化工程大数据挖掘系统

自动化工程大数据挖掘系统简介在现今的自动化系统中积累了大量原始数据，这些数据一般通过数据库系统来存储和管理。目前的数据库系统只能对数据库中已有的数据记录进行存取和检索,用传统的统计分析手段得到的只是一些表层信息，难以获得隐藏在数据之中深层次的关于数据整体特征描述和数据发展趋势的预测信息。若需要发现更深层次的规律，并保证系统运行的经济性、安全性和可靠性，还必须提供更快，更有效的自动化系统数据挖掘技术。自动化系统数据挖掘系统，对硬件系统、通讯状况、上位机系统进行在线监控，从数据库中挖掘出系统运行故障及其类型与气候状况、供电平稳状况、供货厂商、前期维护状况等蕴含的规律，使用该系统所发现的知识可以方便地用于调度中心的生产指挥决策支持、过程控制及运维指导等工作领域,从而为其科学决策提供有价值的信息。1、自动化工程大数据挖掘技术概论随着国内油田采油过程基本实现了自动化、信息化，采油过程中会产生大量的数据，包括采油过程中的生产、作业等多个类型的大数据。尤其，随着中石油A5系统的推广和油气生产物联网系统A11的实施，为在油田企业在采油生产中应用大数据挖掘技术提供了广阔的空间。以数据库、人工智能以及统计等学科为理论基础，依托现有生产指挥平台，通过监测数据关键指标：仪表自动化设备月投用率、仪表自动化设备受检率、仪表自动化设备的完好率、标准器具的合格率、实时采集存储频率、数据存储量、CPU利用率、内存利用率、吞吐量、上线率、丢包率、误码率、广播包率、硬盘使用率、程序进程等；全面掌握数据采集设备（自动化仪表）、数据处理设备（可编程控制器、远程终端控制器）、数据传输设备（有线传输设备、无线传输设备）、监控设备（监控摄像机、智能视频服务器）、执行设备（调节阀、变频器）等设备生命周期内的设备厂家、型号、投用时间、维修保养、报废等基础信息，并结合气候状况、供电平稳状况、供货厂商、前期维护状况、常用工具、备品备件与消耗材料的规格、数量及技术状态等多种因素，通过数据挖掘可以解决以下问题：1）发现自动化系统各个指标的异常情况，实现快速故障定位、业务处理和恢复；2）各个生产要素之间的关联关系，通过流程自动化处理事件；3）预测系统指标变化趋势，实现由报警向预警智能化发展；4）预测自动化系统的安全性和工况效率指标；5）自动化设备寿命预测和维修预警；6）科学地指导运维和成本控制提出预警和优化，运维人员可及时了解当前自动化设备的运行状态、通讯状态、系统运转状况，降低故障停机时间等。自动化工程大数据挖掘系统主要采用以下挖掘技术和业务应用。2、数据预处理2.1应用场景数据预处理是清晰地定义出业务问题，认清数据挖掘的目的，数据理解开始于数据的收集工作，在此基础上进行数据质量问题的鉴定，并从中发现包含隐含信息的感兴趣的数据子集。数据准备阶段覆盖了所有从初始数据构成最终用于挖掘的数据子集所进行的活动。数据准备的工作可能需要进行多次，而且没有任何预定的顺序。数据准备工作包含选择数据表、记录、属性以及转换和清理数据等。2.2应用示例自动化工程大数据挖掘系统的数据可靠性并非万无一失，如数据采集设备、传输网络、上位机系统出现故障等情况下，数据必然出现缺失或异常，这些情况都需要进行预处理来满足数据挖掘的要求，自动化工程大数据挖掘系统可以根据物理规律及历史情况对其进行有针对性的校验、拆分、删除及容错处理等。2.3技术数据预处理能够按照统一的规则集成并提高数据的价值，是负责完成数据从数据源向目标数据仓库转化的过程，是实施数据仓库的重要步骤。在这个阶段可能需要选择和应用不同的建摸技术，并将其参数校准到最佳值．一般一个类型的数据挖掘问题都需要用到几种技术。一些技术对数据的结构具有特定的要求，因此经常需要返回到数据准备阶段对数据进行相应的处理。该阶段主要建立的模型包括关联规则、分类与预测、聚类、异常检测等。3、数据可视化3.1应用场景数据可视化技术是对大型数据库或数据仓库中的数据的可视化，它是可视化技术在非空间数据领域的应用，使人们不再局限于通过关系数据表来观察和分析数据信息，还能以更直观的方式看到数据及其结构关系。其基本思想是将数据、信息和知识转化为可视的表示形式的过程可视化数据分析技术拓宽了传统的图表功能，使用户对数据的剖析更清晰。它为人类与计算机之间提供了一个接口。自动化工程大数据挖掘系统中的各种图表组件都是利用数据可视化方法将系统运行状态、设备网络拓扑状况、通讯状况、故障类型与气候状况、供电平稳状况、供货厂商等属性进行展示。3.2应用示例可视化展示是将抽象的数据空间转换为直观的视觉空间，以便于人们通过强大的视觉处理能力发现隐藏在抽象数据空间中的模式、见解和知识，可以通过图表以直观的方式展示生产工艺流程图、总貌、报警、组态、趋势、单点、报表等多种画面进行显示，自动学习优化正常运行状态下工艺参数范围，并设置预警报警界限，从而在异常情况下实现自动报警预警功能、生产日报等。3.3技术数据可视化已经提出了许多方法，这些方法根据其可视化的原理不同可以划分为基于几何的技术、面向像素技术、基于图标的技术、基于层次的技术、基于图像的技术和分布式技术等。而我们根据客户的需要，将所采集到的信息，加以可视化解释，使得生产系统运行参数、工艺流程图、报警信息等都可以直观地体现。4、关联分析与因子分析4.1应用场景在自动化工程大数据挖掘系统的实际应用中，系统运行指标往往与很多个影响因素相关，每个因素都在不同程度上反映所研究问题的相关信息，并且因素之间或多或少都存在一些相关性，针对自动化系统报警数据与系统传输网络、数据存储、任务调度、供电情况、气候等因公司成长素进行关联分析，挖掘隐藏在数据间的相互关系，根据关联强度，提高系统趋势预测、系统运行临界预警、降低故障率措施等事项的准确性。4.2应用示例理清楚关系的全貌，在复杂的自动化采集控制服务链上，能知道此时运行在哪一环，状态如何。故障时，知道影响范围有多大，应该通知谁。关联分析主要解决数据如何发现、数据如何传输、数据如何存储、任务如何调度、信息如何管理。运维方案与任务关联、数据关联、资源关联（包括硬件资源、网络配置、系统平台及数据库等）网络传输上线率、丢包率、误码率、广播包率与气候（雷电、雨雾等）、供电平稳状况、供货厂商、前期维护状态、任务调度等关联。数据异常与供电状况、网络通讯状态、生产系统工况、上位机系统数据存储、供货厂商、前期维护状态、任务调度等关联。4.3技术利用灰色关联分析方法，寻求系统中各因素之间的数值关系，进而分析出影响自动化设备有效投用率或维护效率等的这些因素对其的影响程度并进行排序。此外，利用影响因素评价分析法，通过建立影响因素评价指标集和指标评价标准，可建立定性与定量相结合的自动化设备有效投用率或维护效率等影响因素分析体系，实现了单个因素的评估与对比，由此可直接发现自动化设备有效投用率或维护效率低是由哪个因素引起的。可按照时间节点、区域、设备类型、故障类型、故障持续时间、维护效率、投用率等进行统计，利用灰色关联分析方法生成统计报表，为系统运行分析、运行状况评估、服务质量评定、系统配置优化措施、运维方案改进等提供基础的信息资料。、故障诊断与指标趋势预测分析5.1应用场景从预测对象来看，指标趋势预测包括对自动化系统关键指标（如系统投用率、维护效率等）的未来趋势预测，对系统运维效果的指标预测等。其主要工作是预测未来各项关键指标的发展趋势，为自动化系统生产运行和管理提供可靠的决策依据。良好的趋势预测分析有助于技术工程师、生产管理人员和现场运维人员提供了一套强有力的工具，实现高效地管理、分析系统运行动态，实现对系统的自动分析与提醒，帮助用户进行系统运维决策，提高了系统运行稳定性和运维的工作效率，降低了系统运行成本。5.2应用示例自动化系统故障类型、故障持续时间、维护效率、投用率等是自动化系统的重要指标，但是其变化受到多种因子的制约，并且因子间又保持着极其复杂的关系，如果能准确的对故障类型、维护效率、投用率等关键指标进行未来趋势预测，便可提前采取有针对性的措施，保持系统高效稳定运行。生成设备台账及运行台账，全面掌握设备生命周期内的设备厂家、型号、投用时间、维修保养、报废等基础信，按照生产系统、设备名称、安装地点、故障类型、故障持续时间查询统计设备信息。根据设备的维护保养周期，在达到保修期的设备进行提示。5.3技术故障诊断规则挖掘模块本模块主要用于利用粗糙集技术对样本进行数据挖掘，从而获得对自动化系统进行诊断的依据，这是使用此系统的前提。也可以把该过程称为建立模型。只有预先对已有的样本进行分析获得诊断规则，才能实际使用、对用户的待诊断对象进行诊断。本系统中诊断规则的挖掘分为两部分：一部分是粗糙集技术在诊断规则中的挖掘，一部分是粗糙集技术对多故障征兆进行诊断规则挖掘。有了诊断规则挖掘模块挖掘的诊断规则就可以比较方便的进行自动化系统的故障诊断，故障诊断予模块通过将采集到的数据经预处理后作为输入与数据库中的规则进行分析比较，从而获得当前自动化系统的运行状态并输出结果提供给用户。故障存储子模块主要是将诊断的故障存入数据库，以便用户进行查看或作为样本使用。当有新的样本数据录入时，可以再次进行数据挖掘更新诊断规则库从而使诊断结果分析正确率能够得到提高。由于自动化系统运行指标的序列为非平稳的时间序列，因此如果运用传统的结构性因果模型对其进行预测，一般难以达到较为理想的预测效果。自动化工程大数据挖掘系统利用时间序列分析方法，按照时间顺序将随机事件变化发展过程记录下来构成时间序列，通过分析研究找寻变化发展规律并预测对象将来的趋势。其采用ARIMA模型，对系统投用率和设备完好率等关键指标进行预测，获取单设备到达某个效率值的效率时间点和效率寿命，并对单设备效率值即将达到某个下限值进行预警。6、聚类分析6.1应用场景由于传统的自动化系统数据库主要采用面向联机事务的处理方式，对数据的有效挖掘效率较低。采用数据挖掘技术，将这些独立系统中深藏的海量数据进行有效地组织和管理，通过聚类分析算法可以对系统数据进行自动分析，判断系统运行状态的稳定性概率，进一步利用提取出来的安全评估知识，在系统正常运行时给出系统可能存在的隐患，以引起特别注意，预测系统指标变化趋势，实现由报警向预警智能化发展。为系统运行决策提供及时、准确、科学的依据。其主要内容包括：自动化系统安全稳定性评估、自动化系统的调度运行；自动化系统故障分析等。6.2应用示例当遇到如何确定同一区块的众多无线自动化仪表在哪个电压范围内工作时，能提高无线传输系统效率，就可通过聚类分析方法，得到该区块无线传感网络效率高且电量低的供电范围，从而确定出该区块各种无线自动化仪表的合理供电电量，据此统一调整无线自动化仪表的供电指标。6.3技术将数据按照相似性分割成多个类或子集，在同一类中的数据之间具有较高的相似度，不同类中的数据差别较大，聚类可以提高人们对客观事物的认识。聚类分析内容丰富，可分为划分法、层次法、基于密度的方法、基于网格的方法、基于模型的方法等。7、结语面对大数据时代的到来，需要对企业多年集聚的内外部数据进行系统的盘点和清理，整合并优化不同类型的数据。自动化工程大数据挖掘系统通过大量采用数据挖掘技术，可更好地进行数据的管理与挖掘，更有效地分析海量的采油系统大数据，挖掘出蕴含其中的不易发现的规律，实现生产过程智能分析、趋势对比、生产预警，转变运维方式、降低运营成本，对提高自动化系统生产决策的科学性有着重要的指导意义。