基于数据挖掘技术的工业优化软件---DMOS

--------------------------------------------------------------------------------------------------DMOS---基于多种数据挖掘算法的工业优化软件系列陆治荣（思华数据技术有限公司，宁波，315040）陈念贻陆文聪（上海大学化学系计算机化学研究室，上海，200436）摘要基于我们多年从事炼油、化工、冶金工业优化工作的经验，参照国际上先进控制和优化工程公司的工作模式，开发了适用于生产过程优化、故障诊断、优化新产品研制和配方设计的软件系列DMOS。DMOS软件分开发软件和运用软件两大类，前者包括一个数据挖掘方法库，其中的多种模式识别、支持向量机算法、线性和非线性回归以及人工神经网络组成一个信息处理的统一流程。可处理用户的数据，开发适合用户需要的DMOS运行软件。后者包括数据库、模型库和简易方法库，可直接对生产进行优化开环指导或在线控制。DMOS软件系列为化工、炼油、钢铁等行业生产过程优化的工程化运营创造了条件。关键词DMOS，工业优化，工程化运营DMOS—AComprehensiveSoftwareseriesforIndustrialOptimizationandAdvancedOptimalControlLuZhirong(SeawallDataTechnologyCompany,Ningbo,315040)ChenNianyi,LuWencong(LaboratoryofChemicalDataMining,DepartmentofChemistry,ShanghaiUniversity,Shanghai,200436)AbstractBasedonourexperiencesofindustrialoptimizationinpastmanyyears,andtheoperationmodeofoverseacompaniesdealingwithadvancedoptimalcontrolforpetrochemicalindustries,asoftwareseries–DMOShasbeendeveloped.Itincludesabankofdataminingmethods.Manypatternrecognitionmethods,supportvectormachines,ANNandlinear-nonlinearregressionmethodshavebeenorganizedasadata-processingflowsheet.ItcanbeusedtotreatthedataofusertoproduceoperationversionofDMOSsoftwareseries,whichcanbedirectlyusedforoptimalcontrolinfactories.ThedevelopmentandapplicationofDMOSisadecisivestepforthecommercializationofindustrialoptimizationworkinourcountry.KeywordDMOS,Industrialoptimization,commercialization1.引言DMOS（DataMiningOptimizationSystem的简称）是将各种数据挖掘技术综合运用，服务于化工、炼油、冶金等工业生产过程的优化、故障诊断、新产品研制的实验设计、配方设计和企业经营优化管理的软件系列，是使工业优化工作工程化的应用软件。DMOS软件的开发，一方面是基于我们多年来在炼油、化工、钢铁以及材料研制方面优化工作的经验积累[1-4]，另一方面是参照国际上跨国公司经营先进控制和工业优化的工作模式开发研制的产物。我们从事炼油、化工、冶金工作优化的历史可追溯到上世纪80年代。当时我们通过国际交流和模式识别算法研究，1985年开发了超平面模型算法，用于上海高桥化工厂顺丁橡胶的生产优化，使产品优级品率从71.9%升至94.02%。1985-1990年期间，在中国石化总公司、化工部、中国有色金属总公司的支持下，在我国数十家炼油、化工、有色冶金的大、中型工厂展开了以模式识别方法为基础的过--------------------------------------------------------------------------------------------------程优化工作，普遍获得了提高收率、改善质量、节能降耗等效果。90年代开始在冶金工业部支持下，在宝钢、武钢等钢铁企业开展了一系列优化工作，完成合金钢质量等多项课题。从1994年开始，通过国际合作，为美国福特公司、新加坡超级计算中心等完成过一批优化项目。在多年的优化实践中，我们的算法和软件也在不断发展和改进[5-9]。特别是在最近几年中，参照国际上提出的统计学习理论和支持向量机算法[10]，我们的优化软件内容有了颇大的创新，这都为发展DMOS软件系列打下了基础[11-12]。自我国改革开放以来，国际上几家从事工业先进控制和优化工作的公司也在我国开展了业务。他们的工作模式对我们如何将工业优化工作从科研合作过渡到工程项目经营有所启发。DMOS软件就是以工程化为目标编写的软件系列。2.DMOS软件介绍DMOS工业优化软件是：在对所要优化的对象进行系统分析后，收集相关生产数据，并对这些数据运用数据挖掘技术，从中发现优化生产的规律和知识，建立优化模型或提出优化操作方案。最后，根据生产装置情况，针对具体问题，设计和定制计算机软件（或包含硬件）系统，供用户在线控制或离线地进行生产优化操作指导。DMOS软件有两种版本：DMOS开发软件（或称为DMOS软件开发版）和DMOS运行软件（或称为DMOS软件运行版），前者由本公司数据挖掘专家专门用来为用户寻找优化规律和解决方案，定制用户运行系统。后者为用户设计和定制的、面向工程师和操作人员使用的计算机系统，该系统具有工况诊断、优化操作指导等功能。2.1DMOS开发软件DMOS开发软件从结构上可以分为三部分：（1）数据挖掘方法库，（2）数据挖掘和处理（由数采模块、数据挖掘模块、可视化分析模块和结果生成模块组成），（3）用户定制系统。如下图所示：图1DMOS开发软件的结构Fig.1ThestructureofdeveloperversionofDMOSsoftware数据挖掘方法库方法库中包含了进行数据挖掘过程中所涉及的所有方法，包括以下几个方面：数据评估方法、数据筛选方法、数据结构分析方法、自变量筛选方法、相关分析方法和建模方法。生产数据数采模块数据预处理模块数据挖掘模块数据挖掘方法库可视化分析模块优化结果生成模块用户定制系统定制软件--------------------------------------------------------------------------------------------------数据挖掘和处理这部分由五个模块组成。数采模块是为收集来自工厂管理部门或生产装置的数据而设计的，由于各个厂的具体情况不同，有些数据存放在关系数据库中，有些生产数据可能直接来自装置的DCS系统或SCADA系统，有些则保存在实时数据库中，有些可能尚记录在台账或报表中，本模块将为各种系统提供数据输入接口。数据预处理模块的主要功能为：对来自工厂的生产数据进行去伪存真的处理，为数据挖掘提供真实可靠的数据。所谓去伪存真是指去除由于仪表故障或人为因素造成的过失误差，以及过滤数据中的噪声。该模块还针对工业过程所提供的复杂数据进行特殊处理。数据挖掘模块的功能是从生产数据中发现知识和寻找规律，该模块与数据挖掘方法库相连，根据优化问题的要求和所提供数据的情况调用有关的方法，该模块应与可视化分析模块配合使用，以加快数据挖掘的速度和提高数据分析的质量。可视化分析模块将高维空间中的样本点通过降维后映射到平面上，以便形象、直观、多视角地考察优化区的分布，为数据挖掘专家寻找优化规律提供重要的人机交互界面。最后，由优化结果生成模块产生各种形式的优化结论。由于工业生产优化问题通常涉及多因子，而且因子间相互关联，来自生产现场的数据为高噪声、非高斯分布、非均匀分布，以及样本分布的复杂性，因此数据挖掘是一个极其复杂的过程，这一过程由我们的数据挖掘专家进行。用户定制系统各种工业部门都有其特定的生产活动，即便是相同种类的生产装置，其生产特点也有很大的差异。因此，企图设计一个通用的优化软件来解决各个具体优化问题，就犹如企图制造一把“万能”钥匙来开启所有的锁，这是很难做到的。用户定制系统的功能就是为每一把“锁”配制一把“钥匙”，即为每一个优化问题“量体裁衣”，设计和开发专用的在线或离线运行的计算机系统。用户定制系统的功能是产生最终提交用户的定制软件，我们称这个软件为“DMOS运行软件”。DMOS开发软件的输入是从生产现场收集到的数据，输出的结果是生产优化模型和安装在用户计算机上的DMOS运行软件。2.2DMOS运行软件如上所述，DMOS运行软件是在对优化问题进行系统分析后，通过对收集的生产历史数据的挖掘，获得了生产优化结果后为用户定制的运行版软件。该软件有以下功能：工况诊断和目标预测、优化操作指导、建模和模型维护。工况诊断和目标预测工况是指与生产的目标相对应，有关生产参数所达到的状态，是衡量生产操作性能的一种指标。例如，生产的目标是产品质量达到某项标准，可以将凡是符合该标准的生产参数的状态定义为工况好，凡是不符合标准的定义为工况差。生产的目标也可以是综合的。工况诊断就是根据用户提供的某些工艺参数的测量值来推断生产的工况，以便及时发现生产中问题，调整生产参数，使工况保持好的状态。如果已经建立了预报模型，则输入某些工艺参数的测量值后，系统将自动预报目标值。在流程行业中，大部分产品或半成品的质量不能在线检测到，通常由人工采样分析获取，分析周期为数小时、一个班、或一天，甚至更长。在这种情况下，工况诊断和目标预测能提前预报生产中存在的问题，对于控制产品质量、优化生产操作、提高生产效益十分重要。优化操作指导如果当前工况处于“差”的状态，如何调节工艺参数，使工况转到“好”的状态呢？当影响优化目标的因素有多个时，调节哪几个参数？调节多少？这是生产操作人员所面临的难题，目前大部分企业仅靠工人的经验，还没有一个行之有效的辅助决策工具。本软件将为操作工人提供详细的操作指导，告诉你应该调整那几个参数，其中每个参数各调整到多少。本软件还提供各种图形，帮助操作人员分析工况，决定操作动作，观察操作后的效果。建模和模型维护以上两项功能都是基于生产优化模型，只有好的模型才有好的效果。当生产装置运行的过程中，在设备或工艺流程方面会有所变动，在一般情况下我们为用户提供的定制系统都能适应小的变化，但是当这种变动较大时，优化模型的精度较差，这就会影响工况诊断和目标预测的准确率，会影响优化操作指导的效果。这时，应当考虑重新建模，为此，本软件提供了用户自己建模的功能。DMOS运行软件的结构如下图所示：--------------------------------------------------------------------------------------------------图2DMOS运行软件结构Fig.2ThestructureofoperatorversionofDMOSsoftwareDMOS运行版软件由四个功能模块和四个公用模块组成，四个功能模块是：数据采集、建模和模型维护、诊断和预测、操作指导。四个公用模块为：数据挖掘简易方法库、数据库、模型库、公用程序。其中数据采集、建模和模型维护、简易方法库这三部分，实际上是DMOS开发软件的一个简易版。数据挖掘简易方法库只包含那些适用于本优化项目的方法，供用户自己建模时使用。数据采集模块仅提供与用户现场仪表或自动化设备相关的接口。数据库用于存放建模时所用的样本点，检验和评价模型所用的样本