GB∕T 38637.2-2020 物联网 感知控制设备接入 第2部分：数据管理要求

书书书犐犆犛３５．１１０犔７９!#$%&’’()*犌犅／犜３８６３７．２—２０２０!#　$%&’()*+,２-.：/01234犐狀狋犲狉狀犲狋狅犳狋犺犻狀犵狊—犃犮犮犲狊狊狅犳狊犲狀狊犻狀犵犪狀犱犮狅狀狋狉狅犾犾犻狀犵犱犲狏犻犮犲—犘犪狉狋２：犇犪狋犪犿犪狀犪犵犲犿犲狀狋狉犲狇狌犻狉犲犿犲狀狋狊２０２００７２１56２０２１０２０１78’(+,-./012’()*3/045656书书书目　　次前言Ⅲ…………………………………………………………………………………………………………１　范围１………………………………………………………………………………………………………２　规范性引用文件１…………………………………………………………………………………………３　术语和定义１………………………………………………………………………………………………４　概述２………………………………………………………………………………………………………　４．１　数据管理功能框架２…………………………………………………………………………………　４．２　感知控制设备接入架构２……………………………………………………………………………５　数据采集３…………………………………………………………………………………………………　５．１　通用要求３……………………………………………………………………………………………　５．２　感知数据要求３………………………………………………………………………………………　５．３　控制数据要求３………………………………………………………………………………………６　数据处理４…………………………………………………………………………………………………　６．１　数据预处理４…………………………………………………………………………………………　６．２　数据存储４……………………………………………………………………………………………　６．３　数据分析５……………………………………………………………………………………………　６．４　数据呈现５……………………………………………………………………………………………７　数据交换６…………………………………………………………………………………………………　７．１　数据分发规则制定６…………………………………………………………………………………　７．２　数据分发６……………………………………………………………………………………………８　数据安全６…………………………………………………………………………………………………　８．１　数据完整性６…………………………………………………………………………………………　８．２　数据加密６……………………………………………………………………………………………　８．３　数据访问权限控制６…………………………………………………………………………………　８．４　数据可审计性７………………………………………………………………………………………参考文献８………………………………………………………………………………………………………Ⅰ犌犅／犜３８６３７．２—２０２０前　　言　　ＧＢ／Ｔ３８６３７《物联网　感知控制设备接入》分为以下两个部分：———第１部分：总体要求；———第２部分：数据管理要求。本部分为ＧＢ／Ｔ３８６３７的第２部分。本部分按照ＧＢ／Ｔ１．１—２００９给出的规则起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。本部分由全国信息技术标准化技术委员会（ＳＡＣ／ＴＣ２８）提出并归口。本部分起草单位：中国电子技术标准化研究院、河南中天高新智能科技股份有限公司、深圳赛西信息技术有限公司、无锡物联网创新中心有限公司、国网电子商务有限公司、东北大学、江苏易安联网络技术有限公司、浙江晶日科技股份有限公司、京东方科技集团股份有限公司、厦门瑞德利校准检测技术有限公司。本部分主要起草人：卓兰、李然、韩丽、杨宏、李骁驰、庄宝森、董接莲、张晖、余晖、王一蓉、谢祥颖、毕远国、靳明星、杨正权、沈庆跃、沈杰、杨志伟、杜洪军、蒲灵峰、张永东、刘自重、唐少志、牛建强、张会欣。Ⅲ犌犅／犜３８６３７．２—２０２０物联网　感知控制设备接入第２部分：数据管理要求１　范围ＧＢ／Ｔ３８６３７的本部分规定了物联网感知控制设备接入网关或平台时的数据采集、数据处理、数据交换和数据安全等数据管理要求。本部分适用于物联网感知控制设备接入网关或平台时数据管理功能的设计与实现。２　规范性引用文件下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。ＧＢ／Ｔ３２６３０—２０１６　非结构化数据管理系统技术要求ＧＢ／Ｔ３３４７４—２０１６　物联网　参考体系结构ＧＢ／Ｔ３６３４４—２０１８　信息技术　数据质量评价指标ＧＢ／Ｔ３７０２５—２０１８　信息安全技术　物联网数据传输安全技术要求３　术语和定义下列术语和定义适用于本文件。３．１感知数据　狊犲狀狊犻狀犵犱犪狋犪通过数据采集获取的原始数据或在此基础上进行加工处理的表征对象信息的数据统称。［ＧＢ／Ｔ３３４７４—２０１６，定义３．１１］３．２控制数据　犮狅狀狋狉狅犾犱犪狋犪作用于对象的执行控制操作的数据。［ＧＢ／Ｔ３３４７４—２０１６，定义３．１２］３．３结构化数据　狊狋狉狌犮狋狌狉犲犱犱犪狋犪一种数据表示形式，按此种形式，由数据元素汇集而成的每个记录的结构都是一致的并且可以使用关系模型予以有效描述。［ＧＢ／Ｔ３５２９５—２０１７，定义２．２．１３］３．４非结构化数据　狌狀狊狋狉狌犮狋狌狉犲犱犱犪狋犪不具有预定义模型或未以预定义方式组织的数据。［ＧＢ／Ｔ３５２９５—２０１７，定义２．１．２５］１犌犅／犜３８６３７．２—２０２０３．５半结构化数据　狊犲犿犻狊狋狉狌犮狋狌狉犲犱犱犪狋犪不符合关系型数据库或其他数据表的形式关联起来的数据模型结构，但包含相关标记，用来分隔语义元素以及对记录和字段进行分层的一种数据化结构形式。３．６脏数据　犱犻狉狋狔犱犪狋犪不在给定的范围内，无实际意义或数据格式非法。３．７数据分析　犱犪狋犪犪狀犪犾狔狊犻狊为提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。［ＧＢ／Ｔ３３７４５—２０１７，定义２．５．４］４　概述４．１　数据管理功能框架感知控制设备接入网关或物联网平台时的数据管理包括数据采集、数据处理、数据交换和数据安全，数据管理功能框架如图１所示，具体应用部署时可根据需求进行功能选取。图１　数据管理功能框架４．２　感知控制设备接入架构根据ＧＢ／Ｔ３３４７４—２０１６的物联网概念模型，物联网系统中资源交换域、服务提供域和运维管控域的软硬件设备通常部署在云端或中心服务器，构成物联网平台。感知控制设备接入物联网平台的框架如图２所示，感知控制接入设备可通过以下两种方式接入物联网平台：ａ）　间接接入：感知控制设备的通信能力有限时，感知控制设备通过网关接入物联网平台。ｂ）　直接接入：具备直接接入物联网平台功能的感知控制设备可不通过其他逻辑网元，直接与物联网平台之间进行感知数据和控制数据的交互。感知控制设备接入网关或物联网平台时可上传感知数据，网关或物联网平台也可向感知控制设备发送控制数据。本部分仅规范感知控制设备接入网关或物联网平台时的数据管理功能，网关的数据管理功能主要包括数据存储、数据分析、数据预处理、数据安全，物联网平台的数据管理功能主要包括数据存储、数据分析、数据预处理、数据呈现、数据分发规则制定、数据分发、数据安全。２犌犅／犜３８６３７．２—２０２０图２　物联网感知控制设备接入架构５　数据采集５．１　通用要求感知控制设备中采集的感知数据和执行的控制数据要求如下：ａ）　应支持对结构化数据、非结构化数据、半结构化数据等类型数据的采集；ｂ）　应支持多种异构数据源的接入并实现数据格式的转换。５．２　感知数据要求感知数据要求可包括：ａ）　感知单元生成并输出感知数据，其内容是感知单元从感知对象上获取的表征数据；如温湿度传感器生成并输出空气温度、湿度数据，电子血压计生成并输出血压、脉搏数据等。ｂ）　对于智能感知控制设备感知单元，其输出的感知数据是通信协议封装的二进制数字信号形式，可使用不同的通信协议封装。ｃ）　对于非智能感知控制设备感知单元，其输出的感知数据是模拟量形式，可被网关接收和处理。ｄ）　网关输出的感知数据是经过网关对原始感知数据处理后的数据，对各种不同的感知单元通信协议进行解析，使用统一的通信协议封装，并以二进制数字信号形式输出处理后的感知数据。５．３　控制数据要求控制数据要求可包括：３犌犅／犜３８６３７．２—２０２０ａ）　控制数据传递到控制单元对被控对象实施控制；如控制发电机启动或停机，调整空调的温度设定值，调整电动机的转速等。ｂ）　控制数据由物联网平台生成，直接或经网关发给控制单元。ｃ）　对于智能感知控制设备控制单元，接收的控制数据是通信协议封装的二进制数字信号形式。ｄ）　对于非智能感知控制设备控制单元，接收的控制数据是模拟量形式。６　数据处理６．１　数据预处理６．１．１　数据异构转换数据异构转换指从不同协议消息格式承载的数据进行结构转换，转换为感知控制设备、网关或平台可识别处理的数据结构，要求如下：ａ）　应支持感知控制设备或平台的通信协议；ｂ）　应支持解析指定的感知数据包和控制数据包；ｃ）　应支持通过协议转换模块进行数据结构转换，实现感知控制设备与网关或平台之间数据互通。６．１．２　数据抽取数据抽取指从数据源中提取数据的过程，要求如下：ａ）　应支持全量抽取、增量抽取、基于日志抽取等抽取模式，可支持地理空间信息数据的抽取；ｂ）　应支持数据抽取格式和流程的自定义配置；ｃ）　对文本、图像、音频、视频等数据特征抽取应符合ＧＢ／Ｔ３２６３０—２０１６中６．４的要求。６．１．３　数据清洗数据清洗指利用现有数据挖掘手段和方法将脏数据转化为满足数据质量要求或应用要求的过程。要求如下：ａ）　应支持对错误数据、无效数据、重复数据等异常数据的处理；ｂ）　应支持对缺失数据进行填补；ｃ）　应支持对数据不一致性进行监测。６．１．４　数据质量评估数据质量评估是针对现有的数据质量问题，通过测试和改善数据综合特征来优化数据使用价值的过程。数据质量的评估指标及方法见ＧＢ／Ｔ３６３４４—２０１８。６．２　数据存储６．２．１　通用要求数据存储通用要求如下：ａ）　应支持时序型数据库存储实时性数据，可用于监测、检查设备所采集的实时数据等；ｂ）　应支持关系型数据库存储历史性数据，可用于分析优化生产管理过程等；ｃ）　数据存储前应对数据进行预处理，包括数据清洗与数据质量评估等；４犌犅／犜３８６３７．２—２０２０ｄ）　可提供存储调度、存储监控、存储管理的可视化管理界面。６．２．２　存储调度存储调度要求如下：ａ）　应支持制定存储调度计划，尤其是对存储节点的迁移、扩容、复制、更改、删除等操作进行规划和执行；ｂ）　应支持满足不同使用方的需求动态调度存储服务；ｃ）　应支持存储权限的划分，并通过资源排队、时间划分等机制进行存储服务的优化。６．２．３　存储监控存储监控要求如下：ａ）　应支持按照需求定制存储监控计划；ｂ）　应支持存储状态监控；ｃ）　应支持监控、追踪各存储服务使用方对存储部位执行的所有操作；ｄ）　应支持存储资源信息、文件信息以及历史操作等数据的获取。６．２．４　存储管理存储管理要求如下：ａ）　应支持存储分级策略，尤其是支持单机级、跨平台级等级分类的划分；ｂ）　应支持数据隔离机制，使不同数据使用方的数据相互独立不可见；ｃ）　应支持各类数据模型融合功能；ｄ）　应支持本地和远程的数据导入和导出等功能。６．２．５　存储备份存储备份要求如下：ａ）　应支持备份进程并行的容错机制，备份进程的宕机不影响数据的可用性；ｂ）　应支持数据备份的集中控制，应针对不同使用要求制定数据备份策略；ｃ）　应支持镜像备份、冗余备份等方式提高数据存储可靠性；ｄ）　应支持备份程序与应