GB∕T 38643-2020 信息技术 大数据 分析系统功能测试要求

书书书犐犆犛３５．２４０犔６７中华人民共和国国家标准犌犅／犜３８６４３—２０２０信息技术　大数据分析系统功能测试要求犐狀犳狅狉犿犪狋犻狅狀狋犲犮犺狀狅犾狅犵狔—犅犻犵犱犪狋犪—犉狌狀犮狋犻狅狀犪犾狋犲狊狋犻狀犵狉犲狇狌犻狉犲犿犲狀狋狊犳狅狉犪狀犪犾狔狋犻犮狊狔狊狋犲犿２０２００４２８发布２０２０１１０１实施国家市场监督管理总局国家标准化管理委员会发布目　　次前言Ⅰ…………………………………………………………………………………………………………１　范围１………………………………………………………………………………………………………２　规范性引用文件１…………………………………………………………………………………………３　术语和定义１………………………………………………………………………………………………４　缩略语１……………………………………………………………………………………………………５　概述２………………………………………………………………………………………………………６　数据准备模块功能测试２…………………………………………………………………………………　６．１　数据抽取功能测试２…………………………………………………………………………………　６．２　数据清洗功能测试２…………………………………………………………………………………　６．３　数据转换功能测试２…………………………………………………………………………………　６．４　数据加载功能测试３…………………………………………………………………………………７　分析支撑模块功能测试３…………………………………………………………………………………　７．１　查询功能测试３………………………………………………………………………………………　７．２　机器学习功能测试３…………………………………………………………………………………　７．３　统计分析功能测试４…………………………………………………………………………………　７．４　可视化功能测试４……………………………………………………………………………………８　数据分析模块功能测试４…………………………………………………………………………………　８．１　分析模式测试４………………………………………………………………………………………　８．２　分析类型测试５………………………………………………………………………………………９　流程编排模块功能测试６…………………………………………………………………………………　９．１　工作流管理测试６……………………………………………………………………………………　９．２　告警和日志测试６……………………………………………………………………………………附录Ａ（资料性附录）　测试示例７…………………………………………………………………………犌犅／犜３８６４３—２０２０前　　言　　本标准按照ＧＢ／Ｔ１．１—２００９给出的规则起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。本标准由全国信息技术标准化技术委员会（ＳＡＣ／ＴＣ２８）提出并归口。本标准起草单位：浪潮电子信息产业股份有限公司、中国电子技术标准化研究院、中国人民大学、上海计算机软件技术开发中心、浪潮软件集团有限公司、勤智数码科技股份有限公司、深圳迅策科技有限公司、成都四方伟业软件股份有限公司、陕西省信息化工程研究院、中国铁道科学研究院集团有限公司、平安科技（深圳）有限公司、内蒙古大学、江苏中数据技术有限公司、重庆大数据研究院有限公司。本标准主要起草人：赵江、苏志远、卫凤林、张群、杜小勇、陈敏刚、黄先芝、公维锋、陈文捷、蔡立志、王建华、李正、耿大为、赵志强、颜怀柏、顾美营、张勇、朱志祥、马小宁、吴艳华、赵正阳、韩梅、李华、魏清、张海静、王东强。Ⅰ犌犅／犜３８６４３—２０２０信息技术　大数据分析系统功能测试要求１　范围本标准规定了大数据分析系统的数据准备模块、分析支撑模块、数据分析模块、流程编排模块的功能测试要求。本标准适用于指导大数据分析系统的设计、开发和交付。２　规范性引用文件下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。ＧＢ／Ｔ３７７２１—２０１９　信息技术　大数据分析系统功能要求３　术语和定义ＧＢ／Ｔ３７７２１—２０１９界定的以及下列术语和定义适用于本文件。３．１大数据分析系统　犫犻犵犱犪狋犪犪狀犪犾狔狊犻狊狊狔狊狋犲犿在大数据存储和处理系统提供的原始数据和计算框架的基础上，集成了一系列数据分析生命周期过程中所用工具的系统。４　缩略语下列缩略语适用于本文件。ＡＰＩ：应用程序接口（ＡｐｐｌｉｃａｔｉｏｎＰｒｏｇｒａｍｍｉｎｇＩｎｔｅｒｆａｃｅ）ＡＵＣ：ＲＯＣ曲线下方的面积（ＡｒｅａｕｎｄｅｒｔｈｅＲＯＣＣｕｒｖｅ）ＣＰＵ：中央处理器（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）ＧＰＵ：图形处理器（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）ＨＤＦＳ：分布式文件系统（ＨａｄｏｏｐＤｉｓｔｒｉｂｕｔｅｄＦｉｌｅＳｙｓｔｅｍ）ＪＳＯＮ：ＪＳ对象标记（ＪａｖａＳｃｒｉｐｔＯｂｊｅｃｔＮｏｔａｔｉｏｎ）ＯＬＡＰ：联机分析处理（ＯｎＬｉｎｅＡｎａｌｙｔｉｃａｌＰｒｏｃｅｓｓｉｎｇ）ＰＣＡ：主成分分析（ＰｒｉｎｃｉｐａｌＣｏｍｐｏｎｅｎｔｓＡｎａｌｙｓｉｓ）ＲＥＳＴ：表述性状态转移（ＲｅｐｒｅｓｅｎｔａｔｉｏｎａｌＳｔａｔｅＴｒａｎｓｆｅｒ）ＲＯＣ：接受者操作特性（ＲｅｃｅｉｖｅｒＯｐｅｒａｔｉｎｇＣｈａｒａｃｔｅｒｉｓｔｉｃ）ＳＱＬ：结构化查询语言（ＳｔｒｕｃｔｕｒｅｄＱｕｅｒｙＬａｎｇｕａｇｅ）ＳＳＤ：固态硬盘（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅｓ）ＸＭＬ：可扩展置标语言（ＥｘｔｅｎｓｉｂｌｅＭａｒｋｕｐＬａｎｇｕａｇｅ）１犌犅／犜３８６４３—２０２０５　概述本标准根据ＧＢ／Ｔ３７７２１—２０１９规定的大数据分析系统的功能要求，给出了相应的测试要求。测试示例参见附录Ａ。６　数据准备模块功能测试６．１　数据抽取功能测试数据抽取功能测试要求如下：ａ）　应测试大数据分析系统数据准备模块是否支持按照需求抽取存放在存储系统中的数据；ｂ）　应测试大数据分析系统数据准备模块是否对结构化数据、非结构化数据提供不同抽取方法；ｃ）　应测试大数据分析系统数据准备模块是否提供全量抽取及增量抽取模式；ｄ）　应测试大数据分析系统数据准备模块是否支持主动抽取和被动追加；ｅ）　应测试大数据分析系统数据准备模块是否支持定时批量抽取；ｆ）　应测试大数据分析系统数据准备模块是否支持分布式数据抽取，并测试在数据抽取过程是否实现负载均衡。６．２　数据清洗功能测试数据清洗功能测试要求如下：ａ）　应测试大数据分析系统数据准备模块是否支持数据一致性；ｂ）　应通过进行无效数据值删除、修正等操作测试大数据分析系统数据准备模块是否支持处理无效值；ｃ）　应通过填充缺失值或删除缺失值对应数据条目等操作测试大数据分析系统数据准备模块是否支持处理缺失值；ｄ）　应通过合并重复数据或者删除重复数据等操作测试大数据分析系统数据准备模块是否支持处理重复数据；ｅ）　应测试大数据分析系统数据准备模块是否提供清洗前后的数据比对功能；ｆ）　应测试大数据分析系统数据准备模块是否支持逻辑矛盾、关联性验证、不合理数据的清洗。６．３　数据转换功能测试数据转换功能测试要求如下：ａ）　应通过对结构化数据进行列转换操作测试大数据分析系统数据准备模块是否支持结构化数据列转换；ｂ）　应通过对结构化数据进行行转换操作测试大数据分析系统数据准备模块是否支持结构化数据行转换；ｃ）　应通过对结构化数据进行表转换操作测试大数据分析系统数据准备模块是否支持结构化数据表转换；ｄ）　应测试大数据分析系统数据准备模块是否支持非结构化数据的结构化处理；ｅ）　应测试大数据分析系统数据准备模块是否支持对文本、网页类数据的规范化处理，是否支持将文档类数据转化成单一规范形式；ｆ）　应通过进行语音和音频输入，检测输入识别结果准确性，测试大数据分析系统数据准备模块是否支持对语音／音频数据的识别处理；２犌犅／犜３８６４３—２０２０ｇ）　应通过进行图像输入，检测输入识别结果准确性，测试大数据分析系统数据准备模块是否支持提取图像信息。６．４　数据加载功能测试数据加载功能测试要求如下：ａ）　应测试大数据分析系统数据准备模块是否支持把经过清洗和转换之后的数据加载到大数据分析系统；ｂ）　应按照加载的目标结构将转换过的数据输入到目标结构中去，测试大数据分析系统数据准备模块是否支持全量加载；ｃ）　在目标结构中已经存在数据时，应通过在保存已有数据的基础上增加新的数据，测试大数据分析系统数据准备模块是否支持增量加载；ｄ）　应测试大数据分析系统数据准备模块是否支持实时加载或批量加载。７　分析支撑模块功能测试７．１　查询功能测试７．１．１　查询接口测试查询接口测试要求如下：ａ）　应测试大数据分析系统分析支撑模块是否支持通过标准的数据库连接接口进行查询；ｂ）　应测试大数据分析系统分析支撑模块是否支持ＲＥＳＴＡＰＩ查询接口进行查询。７．１．２　查询优化测试查询优化测试要求如下：ａ）　应通过建立数据索引测试大数据分析系统分析支撑模块是否达到查询加速的效果；ｂ）　应测试大数据分析系统分析支撑模块是否支持精确查询和模糊查询；ｃ）　应测试大数据分析系统分析支撑模块是否支持基于规则或者基于成本的查询优化；ｄ）　应测试大数据分析系统分析支撑模块是否支持数据分片和多副本技术；ｅ）　应测试大数据分析系统分析支撑模块是否支持通过ＳＱＬ进行复杂条件高并发查询；ｆ）　应测试大数据分析系统分析支撑模块是否支持二级索引。７．２　机器学习功能测试７．２．１　数据集管理功能测试数据集管理功能测试要求如下：ａ）　应测试大数据分析系统分析支撑模块是否能够将输入数据划分为训练集、验证集和测试集；ｂ）　应通过将训练、验证过的模型导入到大数据分析系统中，以及将大数据系统中训练所得的模型导出的操作，测试大数据分析系统分析支撑模块是否提供机器学习模型的导入和导出的功能。７．２．２　支持算法测试支持算法测试要求如下：ａ）　应测试大数据分析系统分析支撑模块是否支持回归与分类算法；ｂ）　应测试大数据分析系统分析支撑模块是否支持聚类算法；ｃ）　应测试大数据分析系统分析支撑模块是否支持协同过滤算法；３犌犅／犜３８６４３—２０２０ｄ）　应测试大数据分析系统分析支撑模块是否支持降维算法；ｅ）　应测试大数据分析系统分析支撑模块是否支持频繁模式挖掘算法；ｆ）　应测试大数据分析系统分析支撑模块是否支持神经网络算法；ｇ）　应通过检查是否具有特征提取、特征转换、特征选择、模型选择、交叉验证、模型调优组件测试大数据分析系统分析支撑模块是否提供机器学习流程的其他组件；ｈ）　应测试大数据分析系统分析支撑模块是否支持Ｊａｖａ、Ｓｃａｌａ、Ｐｙｔｈｏｎ、Ｒ等一种或多种语言，并且是否支持二次开发增加新的算子。７．２．３　模型评估功能测试应通过检查机器学习模块中包含交叉验证、模型选择等核心评估组件测试大数据分析系统分析支撑模块是否能够支持算法模型的评估模块。７．３　统计分析功能测试统计分析功能测试要求如下：ａ）　应通过计算最大值、最小值、求和、总数等统计量测试大数据分析系统分析支撑模块是否支持基本的数值统计；ｂ）　应通过计算平均数、中位数、众数等统计量测试大数据分析系统分析支撑模块是否支持分析数据集中趋势的统计；ｃ）　应通过计算极差、方差、标准差等统计量测试大数据分析系统分析支撑模块是否支持分析数据离散程度的统计；ｄ）　应通过计算协方差、相关系数等统计量测试大数据分析系统分析支撑模块是否支持分析多个随机变量的关系；ｅ）　应通过保存常用的统计分析方案测试大数据分析系统分析支撑模块是否支持统计分析的自定义模板能力。７．４　可视化功能测试可视化功能测试要求如下：ａ）　应通过以Ｅｘｃｅｌ、关系型数据库、ＪＳＯＮ、ＸＭＬ格式输入测