科学数据共享通用标准培训系列教材

科学数据共享通用标准培训系列教材科学数据分类与编码培训教材科学数据共享工程办公室2006年5月目录《科学数据分类与编码》标准培训教材.................................................................................-1-一、编制背景.....................................................................................................................-1-(一)科学数据分类与编码标准编制的背景..........................................................-1-(二)科学数据分类与编码需要解决的问题..........................................................-2-二、编制思路.....................................................................................................................-3-(一)国内外情况的简单分析..................................................................................-3-(二)本标准的基本解决思路..................................................................................-3-(三)科学数据分类与编码的最终方案..................................................................-5-(四)与其他标准关系............................................................................................-44-(五)适用范围........................................................................................................-44-三、标准总体结构...........................................................................................................-45-四、标准内容要点解析...................................................................................................-46-(一)分类依据........................................................................................................-46-(二)分类编码标准的应用....................................................................................-48-(三)分类编码标准的维护....................................................................................-48-(四)数据集的分类标引........................................................................................-48-(五)标引过程中组配方法的应用........................................................................-50-(六)标准的映射及标引结果集的转换................................................................-51-五、标准使用...................................................................................................................-51-(一)资源环境科学数据集使用示例....................................................................-51-(二)医药卫生科学数据集使用示例....................................................................-52-科学数据共享通用标准培训教材-1-《科学数据分类与编码》标准培训教材一、编制背景(一)科学数据分类与编码标准编制的背景1.海量科学数据的共享需求科学数据共享工程中的“科学数据”是指人类在认识世界、改造世界的科技活动所产生的原始性、基础性数据，以及按照不同需求系统加工的数据产品和相关信息。它既包括了社会公益性事业部门所开展的大规模观测、探测、调查、实验和综合分析所获得长期积累与整编的海量数据，也包括国家科技计划项目实施与科技工作者长年累月科学实践所产生的大量数据。建国50多年以来，我国通过大量的观测、探测、监测、调查、试验等公益性业务工作和重大科学工程、重点实验室、工程中心、野外观测研究站网的建设以及一系列科技计划的实施，积累了海量的科学数据。同时，在科学数据的采集和积累方面，初步形成了以部门为主体与科研院所、高等院校互为补充的格局。这些宝贵的科学数据资源的充分共享，将会在科技进步、社会发展、经济增长和国家安全各方面发挥重要的作用。2.海量科学数据需要有序地组织、管理目前看来，共享工程的科学数据主要包括基础科学数据、资源环境科学数据、农业科学数据、工程技术数据、医药卫生数据和若干区域、综合研究领域的数据。这些数据分散在我们国家的各个科研单位、部委、高等院校等，数据内容基本涵盖科学研究的各个方面，数据量极其庞大。为了能提高数据的使用效率，首先必须要对数据进行有序的组织和管理，这样才能有效地帮助科研人员获取其需要的数据。分类是人类认识事物的基础，数据分类，就是解决这一问题的最好途径。3.科学数据共享工程门户网站需要按照分类来组织数据目录作为科学数据共享工程的门户网站，必须有一个全局性的、涵盖全部共科学数据共享通用标准培训教材-2-享的科学数据的分类目录，这样，无论在数据库的设计、存储、管理、交换，还是在为用户提供数据服务，就会从混沌的无序化，转为明朗的有序化。因此，门户网站需要用科学数据分类与编码标准来生成数据的目录，进而为网站的建设奠定基础。4.数据用户需要从分类编码中查询数据科学数据的最终用户有相当一部分需要按照数据的分类编码的途径去查询他们所需要的数据。(二)科学数据分类与编码需要解决的问题1.多学科、跨行业部门科学数据的分类目前参加科学数据共享工程的已经有气象、农业、海洋、水文水资源、地质与矿产资源、林业、地球系统科学、医药卫生、地震、基础科学、可持续发展、材料科学、先进制造与自动化、能源、交通、公共安全和区域综合等十多个试点，参与单位有几十个科研单位和部门。这些单位和部门在科研过程中，有的已经制定了分类编码标准，有的在使用行业标准，有的在使用约定俗成的习惯性的约定。因此，作为所有科学数据的分类编码标准，必须要支持上述所有单位和部门的数据的分类，才能在科学数据共享工程中发挥作用。2.分类编码如何应用由于目前计算机存储能力和计算能力的提高，信息分类编码已经从原有的“代码”作用框架中脱离出来，分类编码目的逐步转变为使数据标准化、保证数据正确的使用。但是，科学数据分类编码是要做目前科学领域内所有专业内的“要素”的编码，还是其他？经过研究，我们认为：科学数据分类编码应该是研究面向数据集的分类。科学数据分类编码难于做出庞大的、用于填充数据库中数据项的“代码表”，一是几乎不太可能，其次，即便做出来，也难于在科学数据共享工程中推行，因为这会和行业内的编码标准相悖。科学数据共享通用标准培训教材-3-3.如何支持网络信息化的数据集分类和共享由于目前的数据共享都是基于网络条件下的数字化的信息共享，因此，标准的实施，不能是像传统标准那样，仅仅是做出一纸文本。尤其科学数据共享工程中涉及到的“产品”都是数字形式的，更是要求标准的实施最好能贴近软件化。所以，科学数据分类与编码标准制定后的实施，非常有必要开发相应的管理软件，用于辅助标准的实施，扩展标准的应用范围。4．与已有科学数据共享工程中诸多试点的分类标准之间如何交互科学数据共享工程自2001年逐步开展以来，一些数据共享中心已经做了非常多的基础性工作，包括数据的分类标准。因此，让这些试点完全放弃原有的分类标准，转而投向科学数据分类与编码标准，是不合理也是不现实的。只有考虑采用一种方法，能够把试点单位的数据分类应用的结果，相对简单地、通过软件的方法迁移到科学数据分类的系统中，这样才是合乎情理的。二、编制思路(一)国内外情况的简单分析根据课题组的查阅，国内外没有专门针对“科学数据”的分类编码标准，在相关标准中大多集中在单个的学科或者行业，且大多数是面向“要素”分类的，不适用于数据集的分类。这些信息分类编码标准，可以在制定科学数据分类与编码标准的时候参考。此外，对于数据分类编码标准的应用，尚无成熟的应用软件来支持。(二)本标准的基本解决思路1.标准研制的过程——三个主要的版本（1）2004年11月——“科学数据分类与编码标准”和“科学数据共享工程科学数据共享通用标准培训教材-4-分类与编码标准”之所以推出这两个版本的标准，是因为在广泛调研的过程中，许多数据共享中心对科学数据的分类持不同意见：部分认为应该按照学科体系划分，部分认为应该按照现有数据的情况划分。因此，当时制定了两个不同的标准，供各个单位讨论，择优使用。在广泛征求了各个数据中心的意见后，最终决定还是采用后者。（2）2005年6月——第二次修订后的“科学数据分类与编码标准”在上述“科学数据共享工程分类编码标准”的基础上，通过对科学数据共享未来的资源规划的调查，以及对相关共享中心网站的调查，修订形成了2005年的第二版，并在湖北大厦讨论会中征求了意见。（3）2006年5月——最终修订后的“科学数据分类与编码标准”通过与医药卫生科学数据共享网的一年多的合作，利用课题组的分类思路、方法，以及开发的分类与编码工具软件，在医药卫生科学数据的分类编码方面，做出了典型的示范，取得了良好的成效。同时，通过结合学科分类国家标准、行业分类编码标准，对之前的科学数据共享工程分类编码标准进行了进一步的修订，得到目前的最新版本。2．强调科学数据分类与编码标准是应用于“数据集”的分类、组织、管理与检索课题组在经过调查研究和反复论证后，认为科学数据分类与编码应该强调面向数据集的分类，而不是数据集中的要素的分类。分类最终解决的问题应该是生成统一的数据目录，或者说，应用这个标准，是形成整个科学数据集分类目录的编目过程，是解决数据集的分类、组织、管理、检索的重要手段。3.参照科技部对科学数据共享工程的远景规划，对标准进行动态扩充科学数据分类与编码标准，不同于常规的信息分类编码标准。由于科学数据共享工程是一个不断扩充、壮大的项目，数据的内容也在不断地扩充，科学数据共享通用标准培训教材-5-因此，分类面对的对象也在不断的扩大。这必将导致这个标准在相当一段时间内，甚至无法达到