论文：智能制造的基础：工业数据质量及其标准化20160816

智能制造的基础——工业数据质量及其标准化1王志强，杨青海，岳高峰（中国标准化研究院，北京100191）摘要：数据质量问题及其研究均时日已久，在智能制造时代来临之际，其重要性已经比肩数据资源本身。文章回顾了工业数据领域国际数据质量研究与实践的进展，重点对ISO8000数据质量国际标准提出的工业数据质量框架、主数据质量、事务数据质量和产品数据质量进行了探讨，最后对我国制造企业进行工业数据质量控制及其标准化建设提出了建议。关键词：工业数据、主数据、产品数据、数据质量、ISO8000TheBasisofIntelligentManufacturing——IndustryDataQualityanditsStandardizationWangzhiqiang,Yangqinghai，Yuegaofeng(ChinaNationalInstituteofStandardization,Beijing100191)Abstract:InIntelligentManufacturing,theimportanceofindustrydataqualityisnolessthanthatofdataresources.Thispaperreviewedtheprogressofresearchandpracticeinindustrydataqualityitsstandardization,introducestheframeworkofindustrialdataquality,whichisputforwardbytheinternationalstandardofISO8000dataquality，Themasterdataquality,transactiondataqualityandproductdataqualityarediscussed.Atlast,thispaperputsforwardsuggestionsforChina'smanufacturingenterprisesintheindustrialdataqualitycontrolandstandardization.Keywords:IndustryData,.Masterdata,ProductData,DataQuality,ISO8000.1、引言在工业生产中，无时不刻不在产生数据。生产机床的转速、能耗，食品加工的温湿度，火力发电机组的燃烧和燃煤消耗，汽车的装备数据，物流车队的位置和速度等，都是在生产过程中形成的数据。迈入工业4.0时代，制造业的主要特征转向智能和互联，企业的运营越来越依赖信息技术，制造业整个价值链、制造业产品的整个生命周期都涉及到诸多的数据，数据量的暴涨成了许多行业共同面对的严峻挑战和宝贵机遇。在德国的工业4.0中，工业大数据被认为是物理与信息融合中的关键技术。在美国GE提出的工业互联网中，大数据分析作为联机数据处理分析的核心，被认为是重构全球工业、激发生产力的关键技术。在我国提出的《中国制造2025》中，云计算、物联网和大数据作为新一代的信息技术，成为两化融合的关键技术。无论是工业4.0、工业互联网还是《中国制造2025》，智能制造是共同目标，工业互联网是基础，工业大数据是引擎。在工业互联网和工业大数据环境下的智能制造，需以数据的方式反映在企业的信息系统中，企业用数据做分析，做决策，都必须建立在高质量数据基础之上。没有准确的数据做基础，数据分析和数据挖掘就不可靠，企业决策就会受到重大影响。通过工业数据质量标准的研制，可以强化我国工业企业的全面数据质量管理意识，推动《中国制造2025》工业制造数据标准体系框架建设，提高我国制造产品质量和工业企业的国际市场竞争能力。基金项目：本文受2016年国家重点研发计划项目课题“支撑工业三基的模块化设计与工业数据等通用技术标准研究”（课题编号：2016YFF0202103）资助2、工业数据及其数据质量管理不管是工业自动化、还是工业智能化（工业4.0）、或者是工业互联网概念，它们的基础都是工业数据。从企业经营的视角来看，工业数据可以按照数据的用途分成三类：第一类是经营性数据，比如财务、资产、人事、供应商等基础信息数据，这些数据在企业信息化建设过程中陆陆续续积累起来，表现了一个工业企业的经营要素和成果。第二类是生产性数据，这部分是围绕企业生产过程中积累的数据，包括原材料、研发、生产工艺、半成品、成品、售后服务等。随着数字机床、自动化生产线、SCADA系统（数据采集与监视控制系统）的建设，这些数据也被企业大量记录下来。这些数据是工业生产过程中价值增值的体现，是决定企业差异性的核心所在。第三类是环境类数据，包括布置在机床的设备诊断系统，库房、车间的温湿度数据，以及能耗数据，废水废气的排放等数据。这些数据对工业生产过程中起到约束作用。从目前的数据采用情况看，经营类数据利用率最高，生产性数据和环境类数据相比差距比较大。从未来数据量来说，生产性数据在工业企业数据中的占比将越来越大，环境类数据也将越来越多样化。随着信息系统的广泛应用，人们在获得海量信息的同时，越来越被数据的质量问题所困扰[1]。数据质量问题及其研究由来已久，特别是伴随着计算机为主的信息技术的发展，数据质量逐渐成为被广泛关注的研究热点。虽然如此，至今业界仍然没有就数据质量的概念达成共识，在不同时期，数据质量有着不同的概念和标准。20世纪80年代以来，国际上对数据质量的标准基本上是以提高数据准确性为出发点。但随着质量含义的不断延伸，对数据质量的概念也从狭义向广义转变，准确性不再是衡量数据质量的惟一标准。20世纪90年代美国麻省理工学院(MIT)开展的全面数据质量管理(TDQM)活动，借鉴了物理产品质量管理体系的成功经验，提出基于信息生产系统生产的数据产品的质量管理体系。它提出应理解用户的信息需求，将数据作为具有生命周期的产品进行管理，要设置数据产品管理员管理数据生产过程和结果。在数据生产过程中形成的质量，如精度、一致性、完整性等，成为基本要求，对数据用户要求的满意程度也成为衡量数据质量的重要指标。如有的研究人员认为高质量数据就是指那些适合用户使用的数据，有的研究人员认为数据质量就是“反映出数据对特定应用的满足程度[2]”。数据，如同形形色色的其它各种产品一样，是为了满足人们的特定需求。在智能制造系统中，数据是应用程序的初始原料和最终产品，并经过应用程序的组织，提供给用户[3]。同样的一组数据，面对不同的应用要求，可能表现出不同的数据质量。数据质量概念认识主要包括以下两个方面：一是注重从面向实践方面来衡量数据质量，即从用户角度来判定，强调用户的满意度，还有就是从数据生产者和管理者来考虑；二是注重从面向系统的角度来评价，认为数据质量是一个综合性概念，是一个多维度的概念，包括数据本身也是多维度的。需要从多角度来衡量其基本质量要素，如适用性、准确性、适时性、完整性、一致性和可比性等多角度来评价数据质量的好坏。数据质量的研究和实践总体上可归纳为“自上而下”和“自下而上”两种方式[4]。“自上而下”方法通常是先提出数据质量框架(DataQualityFramework)和数据质量维度(DataQualityDimensions，也称为数据质量属性、数据质量元素、数据质量衡量指标、数据质量特征等)，然后在应用中通过与具体的需求相结合，构建可执行的细化的数据质量维度；而“自下而上”则是从具体需求出发提炼出一系列的数据质量维度，通过实际应用的验证，最后归纳形成数据质量框架。在具体的应用实践中，既存在理论上构建数据质量框架并不细化到可操作的维度的现象，也存在仅在具体操作层面定义数据质量维度、改善数据质量状况并不上升到数据质量框架的具体应用，而且在实际实践中后者更多。2、工业数据质量标准化现状如前所述，数据质量是一组数据质量特性满足数据使用者的需求的程度。质量特性对应用户的不同需求。目前，在汽车工业、船舶工业、工业数据、工业自动化、产品设计与制造等工业领域已经形成了较为成熟的数据质量特性，研制了相关的数据质量标准。（1）在工业数据领域，以美国牵头的ISOTC184/SC4（工业自动化系统与集成委员会/工业数据标准化分技术委员会）提出了ISO8000数据与信息质量标准，致力于帮助企业确定数据质量，增加产品与数据可见性，实现自动差距分析，供应链的可靠数据整合与共用等。ISO8000的数据质量特性从数据源、精度和一致性三大质量特性来定义数据质量，具体的质量要求在数据规范中描述，并提出了数据框架[5]。数据质量另一套重要标准是PDQ9000（产品数据质量），它从质量管理的角度，采用ISO9000的方式，从两个方面对产品数据进行规范1）产品数据“内容的质量”，2）产品数据“产生过程的质量”。此外，PDQ9000借鉴ISO9000认证的方式，力图建立PDQ认证机制。ISO8000和PDQ9000两套标准分别从技术和管理两个角度对工业数据质量的框架、概念、模型和质量控制机制进行了规范，为工业数据质量的标准化奠定了基础。（2）在工业自动化领域，英国发布了BS7986-2005《工业测量和控制系统用数据质量度量标准规范》[6]。规定了用于工业测量和控制系统的功能性要求，指定应用和数据质量度量，从数据质量和功能模块、模拟测量和监控参数的数据质量、离散参数的数据质量、模拟控制和激励参数的数据质量、离散控制和激励参数的数据质量、维护支持、功能模块之间数据与质量的传播、出错时的规格转换等方面出发，制定了数据质量标准。（3）在产品设计与制造数据领域，中国标准化研究院起草制定了GB/T18784-2002《CAD/CAM数据质量》[7]和GB/T18784.2-2005《CAD/CAM数据质量保证方法》[8]两项国家标准，用于企业间CAD/CAM数据交换的质量检查。该标准中提到了设计方法、用户知识/培训、CAD系统程序、修复、数据交换和检查程序等影响数据质量的因素。此外，该标准还定义了CAD/CAM数据质量的检查方法。（4）在汽车工业领域，ISO发布了规范性技术文件ISO/PAS26183-2006《全球汽车工业的SASIG产品的数据质量导则》[9]。该导则涵盖了计算机辅助设计（CAD）数据、计算机辅助制造（CAM）数据、计算机辅助工程（CAE）数据、产品数据管理(PDM)数据以及其他类型数据的质量要求。认为“好的数据质量意味着在正确的时间为正确的用户提供正确的数据”、“可访问性，无论数据多么合适和健康有力，如果不能以一种及时的方式提供给需要的人，那么它就是没有价值的”。该导则提出了数据生命周期的概念。在数据的生命周期中，数据的质量设计、特征、可靠性、维护费用以及可用性都要被追踪，追踪的结果将影响未来的数据。该导则定义了CAD数据的质量标准，几何学质量标准、非几何学质量标准和绘图质量标准三个质量特性来描述。此外，该导则提出了产品数据质量改进的概念、方法和指导原则。列举了导致数据质量问题的大量因素，如果这些因素被忽略，则很可能会影响显著的改进。日本汽车工业协会（JAMA）和日本汽车部品工业协会（JAPIA）已经根据ISO/PAS26183-2006制定了PDQ指南，正在推动PDQ的完善。而此次获得批准，将使PDQ进一步扩大到其他产业界。（5）在智能运输领域，ISO发布了技术报告《ISO/TR21707-2008智能运输系统集成的运输信息、管理和控制ITS系统中的数据质量》[10]。规定了一套标准术语，用来定义在ITS系统中相互交换的数据的质量，列出了一个数据质量的发布与评估框架，规定了一组参数或元数据，可以用来度量交换数据或整个系统的质量。本标准所指的数据不仅包括最初采集的原始数据，也包括处理后的数据，两种数据通过用户界面都是有效的。数据用户可能包括组织内和组织外的。此外，数据既可能是实时采集数据，也包括线下静态数据（如定义网络的定位图表）。因此本标准适用于交通信息管理和服务、交通控制系统、特别适用于系统间的公开界面；同时也适用于其他界面形式，包括内部界面等。除了工业数据领域，在地理信息