TCSES 59-2022 流域水环境管理大数据存储与交换技术规范

ICS01.040.35CCSL70/84团体标准T/CSES59—2022流域水环境管理大数据存储与交换技术规范Technicalspecificationforbigdatastorageandexchangeofwaterenvironmentalmanagementofwatershed（发布稿)2022-07-29发布2022-08-01实施中国环境科学学会发布T/CSES59—2022I目次前言................................................................................................................................................................II1范围................................................................................................................................................................12规范性引用文件................................................................................................................................................13术语和定义........................................................................................................................................................14缩略语................................................................................................................................................................25流域水环境管理大数据组成..........................................................................................................................26流域水环境管理大数据存储..........................................................................................................................37流域水环境管理大数据交换..........................................................................................................................6附录A（规范性）交换接口定义...................................................................................................................12T/CSES59—2022II前言本文件按照GB/T1.1-2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由北京师范大学提出。本文件由中国环境科学学会归口。本文件起草单位：北京师范大学、山东大学、北控水务（中国）投资有限公司、山东省生态环境规划研究院、中科宇图科技股份有限公司。本文件主要起草人：王国强、王运涛、冯艳霞、王宝刚、黄鹏飞、朱宜、谢刚、彭岩波。T/CSES59—20221流域水环境管理大数据存储与交换技术规范1范围本文件规定了与生态环境业务相关的流域水环境信息系统建设或集成过程中流域水环境管理大数据组成、流域水环境管理大数据存储和流域水环境管理大数据交换等内容。本文件适用于生态环境领域流域水环境管理业务相关的系统数据存储与交换。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T18793信息技术可扩展置标语言（XML）1.0GB/T22239信息安全技术网络安全等级保护基本要求GB/T37722信息技术大数据存储与处理系统功能要求GB/T37737信息技术云计算分布式块存储系统总体技术要求HJ/T416环境信息术语HJ726环境空间数据交换技术规范HJ727环境信息交换技术规范3术语和定义HJ/T416界定的以及下列术语和定义适用于本文件。3.1流域水环境waterenvironmentalofwatershed自然界由分水线所包围的集水区中水的形成、分布和转化所处空间的环境。3.2流域水环境业务数据businessdataofwaterenvironmentalofwatershed流域水环境信息化应用领域的所有与业务相关的数据。3.3流域水环境空间数据spatialdataofwaterenvironmentalofwatershed流域水环境信息化应用领域的所有与空间位置直接或间接相关的数据，包括基础空间数据和专题空间数据。T/CSES59—202223.4结构化数据structureddata一种数据表示形式，按此种形式，由数据元素汇集而成的每个记录的结构都是一致的并且可以使用关系模型予以有效描述。3.5非结构化数据unstructureddata不具有预定义模型或未以预定义方式组织的数据。3.6元数据metadata关于数据的数据，即定义和描述其他数据的数据。3.7节点node参与数据交换的设备或单位。4缩略语4.1HTTP/HTTPS超文本传输协议（HypertextTransferProtocol）4.2XML可扩展标记语言（eXtensibleMarkupLanguage）4.3FTP/SFTP安全文件传输协议（SecretFileTransferProtocol）4.4GML地理标记语言(GeographyMarkupLanguage)5流域水环境管理大数据组成流域水环境管理大数据可分为流域水环境空间数据和流域水环境非空间数据，其中流域水环境空间数据包含基础空间数据和专题空间数据；流域水环境非空间数据包含流域水环境业务数据和流域水环境非业务数据（如图1）。流域水环境管理大数据可按结构化和非结构化形式进行存储。T/CSES59—20223图1流域水环境管理大数据组成6流域水环境管理大数据存储6.1存储体系存储体系遵循GB/T37722和GB/T37737的规范和要求，并且要求如下：a)流域水环境管理大数据的数据来源可从物联网、互联网、生态环境业务专网和政务网中采集；b)流域水环境大数据初始化可按离线计算和流式计算处理；c)流域水环境大数据数据库宜按流域水环境管理的业务功能划分（如图2）。图2流域水环境管理大数据存储体系结构图6.2存储模式T/CSES59—20224存储模式要求如下：a)流域水环境管理大数据存储模式宜为分布式存储、集中式存储、内存存储和混合存储；b)分布式存储规模应按数据类型、数据体量而定，独立设备宜不低于5台，设备内存不低于8GB；c)流域水环境管理中数据规模达GB级、流式数据和非结构数据宜按分布式存储；d)流域水环境管理中分级上报、审核、汇集的业务数据宜按分布式存储；e)集中式存储规模应按业务属性、数据内容而定，流域水环境管理核心业务数据宜按集中式存储；f)流域水环境管理中的环境监察、行政处罚、复议、诉讼、日常政务等数据宜按集中式存储；g)内存式存储规模应按数据访问频率、更新频率而定；h)流域水环境管理中的在线监控等数据宜按内存式存储。6.3存储要求6.3.1流域水环境管理大数据存储模块的基本要求存储模块的基本要求如下：a)应支持数据上传、数据下载、目录查看、目录创建、目录删除、权限修改等操作；b)应支持标准、开放的数据访问API对数据进行操作；c)应提供数据加载工具功能，满足流域水环境大数据存储与处理系统和传统关系型数据库其他文件系统之间交换数据和文件；d)应具备关键节点(部件)高可用性设计与要求；e)宜提供流域水环境管理核心业务数据自动备份和手动备份功能；f)宜支持流域水环境管理核心业务数据的批量更新、删除等数据管理功能；g)宜支持流域水环境管理视频监控流式数据的实时入库，支持实时查询。6.3.2流域水环境大数据存储数据节点要求存储节点要求如下：a)流域水环境大数据可靠性存储应将数据切分成等大数据块，并存储到多台机器（数据节点）；b)数据节点中主节点应包含主备节点；c)数据节点应不少于5个数据节点；d)数据节点数据块大小应不少于128MB；e)数据节点备份应不少于3个；f)数据节点存储大小应不少于2TB。6.3.3流域水环境大数据存储安全要求存储安全要求如下：a)对敏感数据应进行加密，应采用对称加密或不对称加密；b)包含重要、敏感或关键数据信息的传输应加密并经过专人审核；c)删除敏感或关键数据时，应使用专用工具进行彻底删除；d)数据入库或出库应经过授权。6.4资源存储结构6.4.1资源存储T/CSES59—20225资源存储包括资源目录中涵盖内容的结构化数据和非结构化数据的存储，两类数据的逻辑存储结构为资源目录存储结构。6.4.2资源存储基本结构资源按一定的资源目录进行组织，资源目录相关的数据文件按不同的媒体类型归类，基本结构如表1所示。表1资源目录基本结构文件根目录媒体文件资源目录说明文件【dataFile】--文件根目录-音频【audio】-音频文件根目录--分组文件目录【流域水环境管理业务、环境政务管理、……】流域水环境资源目录音频文件分组-视频【video】-视频文件根目录--分组文件目录【污染源与排口、流域生态环境、流域水环境管理业务、……】流域水环境资源目录视频文件分组-图像【image】-图像文件根目录--分组文件目录【流域水环境质量、污染源与排口、流域生态环境、环境管理业务、环境政务管理、……】流域水环境资源目录图像文件分组-文档【document】-文档文件根目录--分组文件目录【流域水环境质量、污染源与排口、流域生态环境、环境管理业务、环境政务管理、社会经济、……】流域水环境资源目录文档文件分组-关系型数据【relationalData】-关系型数据资源根目录--分组文件目录【流域水环境质量、污染源与排污口、水文与气象、水模型、社会经济、水环境管理业务、……】流域水环境关系型资源分组-其他【other】-其他类资源根目录--分组文件目录【水资源、水生态、经济、……】流域水环境其他类资源分组注1：【】代表存储时所定义的存储分类名称。注2：数据文件存于分组的对应资源目录下。注3：当某一类数据文件数量较多时，在对应的媒体文件目录下，可以定义多个分组文件目录，并建立分组关系，本部分未对分组文件目录的数量层级等做出要求。6.4.1关系型资源存储关系数据库以二维表结构对实例数据进行组织和存储。当数据存储于关系数据库中时,每个资源作为独立的文本单元，存储于数据库表中。表结构见表2所示。T/CSES59—20226表2资源索引表序号字段名说明类型非空备注1ID当前资源本地标识字符串型是主键2Code当前资源编码字符串型是唯一键3Description资源描述长文