数据质量管理规范

I项目编号INFO-115-C01文档编号TR-REC-063中国科学院数据应用环境建设与服务数据质量管理规范（征求意见稿）中国科学院数据应用环境建设与服务项目组2009年9月I目次1范围................................................................................1 2规范性引用文件......................................................................1 3术语和定义..........................................................................1 4总则................................................................................3 4.1数据质量管理......................................................................3 4.2数据质量描述......................................................................4 4.3数据质量评价......................................................................5 4.4质量控制..........................................................................6 5数据质量............................................................................6 5.1数据质量描述基本原理..............................................................6 5.2识别数据质量......................................................................8 5.3数据质量评价过程..................................................................9 5.4数据质量评价方法.................................................................10 5.5数据质量控制.....................................................................11 5.6报告数据质量信息.................................................................13 附录A（资料性附录）栅格数据质量评价实例.........................................15 A.1数据质量评价对象.................................................................15 A.2数据质量评价参数.................................................................15 A.2.1评价方法........................................................................15 A.2.2评价参数及权重的确定............................................................15 A.3数据质量评价参数的获取...........................................................16 A.3.1元数据信息获取..................................................................16 A.3.2利用ArcCatalog提取数据空间信息..................................................17 A.4数据质量评价.....................................................................18 A.4.1评价参数汇总....................................................................18 A.4.2评价计算........................................................................18 A.5结论.............................................................................20 II前言制定本规范旨在指导中国科学院“数据应用环境建设和服务”的数据质量管理。本规范为第一次制定。本规范由中国科学院计算机信息网络中心提出。本规范主要起草单位：中国科学院地理科学与资源研究所、中国科学院计算机信息网络中心。本规范主要起草人：王卷乐、孙崇亮1数据质量管理规范1范围本规范明确了数据质量描述的基本原理，详细说明了识别及报告数据质量信息的基本方法，规范了数据质量控制的基本原则与方法。本规范适用于中国科学院数据应用环境建设和服务项目中数据质量管理。2规范性引用文件下列规范性引用文件通过本部分的引用而成为本规范的条款。凡是注日期的引用文件，其随后所有的修改（不包括勘误的内容）或修订版均不适用于本规范。但是，鼓励根据本规范达成协议的各方，研究是否可使用这些文件的最新版本。凡是不注日期的引用文件，其最新版本适用于本规范。科学数据共享工程质量管理规范（征求意见稿），2005TR-REC-001主题数据库建设规范GB/T19000-2000质量管理体系—基础与术语GB/T21337-2008地理信息质量原则GB/T21336-2008地理信息质量评价过程ISO19113Geographicinformation—QualityprinciplesISO19114Geographicinformation—Qualityevaluationprocedures3术语和定义3.1质量一组固有特性满足要求的程度。注1：术语“质量”可使用形容词如差、好或优秀来修饰。注2：“固有的”（其反义是“赋予的”）就是指在某事或某物中本来就有的，尤其是那种永久的特性。3.2准确度在一定观测条件下，观测值及其函数的估值与其真值的偏离程度。3.3一致性满足规定的要求。[GB/T19333.5-2003]3.4一致性质量级别数据质量结果的一个或一组阈值，用于确定数据集符合产品规范规定或用户要求的程度。3.5数据质量定量元素说明数据集质量的量化组成部分。[ISO19101]注：数据集的质量定量元素的适用性既取决于数据集的内容也取决于其产品规范，因此并非所有数2据质量定量元素都适用于所有数据集。3.6数据质量评价过程应用和记录质量评价方法及评价结果的操作。3.7数据质量测量数据质量定量元素的取值。例：正确的属性值所占的百分比。3.8数据质量非定量元素说明数据集质量的非量化组成部分。[ISO19101]注：有关数据集目的、使用情况和数据志等信息是非定量元素。3.9数据质量结果数据质量测量得到的一个值或一组值，或者将获取的一个值或一组值同规定的一致性质量级别相比较得到的评价结果。示例：数据质量定量元素及其子元素“完整性—多余”的数据质量结果为“90”、数据质量值类型为“百分比”，是对数据质量范围指定的数据进行数据质量量测而得到的例子。而数据质量结果为“真”、数据质量值类型为“布尔型变量”是将值（90）同规定的、可接受的一致性质量级别（85）相比较的例子，记录的评价结果为良好、合格或不合格。3.10数据质量范围记录其质量信息的数据的覆盖范围或特征。注：一个数据集的数据质量范围可以由该数据集所属的数据集系列组成，也可由该数据集本身，或是物理上位于数据集中、具有相同特征的较小的数据组组成。相同特征可以是相同的要素类型、要素属性或要素关系；可以是相同的数据采集标准；可以是相同的数据源；或是一个指定的地理或时间覆盖范围。3.11数据质量定量子元素数据质量定量元素的组成部分，用于描述质量定量元素某一方面。3.12数据质量值类型记录数据质量结果的值的类型。示例：“布尔型变量”、“百分比”、“比率”。注：每个数据质量结果都要给出数据质量值类型。3.13数据质量值单位记录数据质量结果的值的单位。示例：“米”。注：只在应用数据质量结果时，才给出数据质量值单位。33.14数据集可识别的数据集合。注：通过诸如空间覆盖范围或要素类型的控制，数据集在物理上可以是更大数据集较小的部分。从理论上讲，数据集可以小到更大数据集内的单个要素或要素属性。一张硬拷贝地图或图表均可以被认为是一个数据集。3.15数据集系列符合相同产品规范的数据集集合。3.16要素现实世界现象的抽象。注：要素可以作为类型或实例出现，当只能用一个含义时，应使用要素类型或要素实例。3.17要素属性要素的特征。注：一个要素属性包括名称、数据类型和与之关联的值域等。一个要素实例的要素属性同样具有来自该值域的属性值。3.18直接评价方法以数据集内部检验单元检验为基础的数据集质量评价方法。3.19非直接评价方法通过外部知识来评价质量的方法。3.20完全检查检查质量范围内的所有个体。3.21检验单元可被单独描述或考察的事物。注：检验单元可以是数据集的任何部分，如要素、要素关系、要素属性或它们的组合。3.22总体检验的的检验单元。3.23元数据关于数据的数据。本规范中，具体指描述数据及其环境的数据。4总则4.1数据质量管理中国科学院“数据应用环境建设和服务”数据质量管理主要是对中国科学院“数据应用环境建设和服务”的数据质量进行规范和控制。该规范要求中国科学院“数据应用环境建设和服务”的数据质量管4理必须识别相应产品规范或用户需求中的质量信息，在元数据、质量评价报告中形成正确的质量描述，并在这些规范上的质量结果均为“合格”。图1为中国科学院“数据应用环境建设和服务”数据质量管理框架。数据产品规范或用户需求数据产品生产、加工和管理识别质量信息形成质量描述质量描述合作？决定一致性合格？进入数据应用环境数据应用环境标准规范整改否是元数据、质量评价报告否是否图1数据质量管理框架4.2数据质量描述该规范认为产品规范或用户需求中包含数据质量信息。该规范通过识别其中的质量元素来描述质量信息。数据质量应当用以下两个组件来描述：●质量定量元素●质量非定量元素每个质量定量元素可细分为多个质量定量子元素。每个质量定量子元素用多个质量定量子元素描述子描述。质量定量元素、质量定量子元素及质量定量子元素描述子描述数据资源满足相应规范中预先设定的标准的程度并提供定量的质量信息。质量非定量元素提供非定量的质量信息。图2为数据质量信息框架。5图2数据质量信息框架4.3数据质量评价数据质量评价过程是产生和报告质量结果的一系列步骤。图3描述了评价和报告质量结果的过程流。图3评价与报告质量结果64.4质量控制质量控制大体上可分为自查、第三方检查及项目组验收三个步骤。质量控制的对象为：数据资源及对它们的质量描述。5数据质量该部分阐述了数据质量描述的基本原理，详细说明了识别及报告数据质量信息的基本方法，规范了数据质量评价的过程、方法及数据质