国家职业技能标准 (2021年版) 大数据工程技术人员

国家职业技术技能标准职业编码：2-02-10-11大数据工程技术人员（2021年版）制定中华人民共和国人力资源和社会保障部中华人民共和国工业和信息化部职业编码：2-02-10-11I说明为贯彻落实《关于深化人才发展体制机制改革的意见》，推动实施人才强国战略，促进专业技术人员提升职业素养、补充新知识新技能，实现人力资源深度开发，推动经济社会全面发展，根据《中华人民共和国劳动法》有关规定，人力资源社会保障部联合工业和信息化部组织有关专家，制定了《大数据工程技术人员国家职业技术技能标准》（以下简称《标准》）。一、本《标准》以《人力资源社会保障部办公厅市场监管总局办公厅统计局办公室关于发布人工智能工程技术人员等职业信息的通知》（人社厅发〔2019〕48号）为依据，按照《国家职业技术技能标准编制技术规程》有关要求，坚持“以职业活动为导向、以专业能力为核心”的指导思想，在充分考虑科技进步、社会经济发展和产业结构变化对大数据工程技术人员专业要求的基础上，以客观反映大数据技术发展水平及其对从业人员的专业能力要求为目标，对大数据工程技术从业人员的专业活动内容进行规范细致描述，明确了各等级专业技术人员的工作领域、工作内容以及知识水平、专业能力和实践要求。二、本《标准》为首次制定，依据有关规定将本职业分为初级、中级、高级三个等级，包括职业概况、基本要求、工作要求、权重表和附录等五个方面内容。三、本《标准》的编制工作在人力资源社会保障部专业技术人员管理司、工业和信息化部人事教育司、中国就业培训技术指导中心的指导下，由工业和信息化部教育与考试中心具体组织实施。四、本《标准》主要起草单位有：工业和信息化部教育与考试中心、新大陆科技集团技术研究院、北京大学、中国电子技术标准化研究院、西安电子科技大学、杭州数梦工场科技有限公司、腾讯科技（深圳）有限责任公司、新华三技术有限公司。主要起草人有：谭志彬、陈钟、张正球、鲍亮、邓立、吴子颖、吴东亚、陈海、龚玉涵、姚明、张耀华、李冰、念灿华、陈旭、胡国华、张融、刘朝晖、罗盛、肖李晨。五、本《标准》主要审定人员有：朱小燕、虞文明、穆勇、朱敏、张群。六、本标准的开发得到了左仁贵、邵昕、刘鹏、张良均、张淑平、宋胜利、李祥林的支持和帮助，在此表示感谢。职业编码：2-02-10-11II七、本《标准》经人力资源社会保障部、工业和信息化部批准，自颁布之日起施行。职业编码：2-02-10-111大数据工程技术人员国家职业技术技能标准（2021年版）1职业概况1.1职业名称大数据工程技术人员1.2职业编码2-02-10-111.3职业定义从事大数据采集、清洗、分析、治理、挖掘等技术研究，并加以利用、管理、维护和服务的工程技术人员。1.4专业技术等级本职业共设三个等级，分别为初级、中级、高级。初级、中级分为三个职业方向：大数据处理、大数据分析、大数据管理。高级不分职业方向。1.5职业环境条件室内，常温。1.6职业能力特征具有较强的学习能力、计算能力、表达能力及分析、推理和判断能力。1.7普通受教育程度大学专科学历（或高等职业学校毕业）。1.8职业培训要求1.8.1培训期限大数据工程技术人员需按照本《标准》的职业要求参加有关课程培训，完成规定学时，取得学时证明。初级128标准学时，中级128标准学时，高级160标准学时。1.8.2培训教师职业编码：2-02-10-112承担初级、中级理论知识或专业能力培训任务的人员，应具有相关职业中级及以上专业技术等级或相关专业中级及以上职称。承担高级理论知识或专业能力培训任务的人员，应具有相关职业高级专业技术等级或相关专业高级职称。1.8.3培训场所设备理论知识培训在标准教室或线上平台进行；专业能力培训在具有相应软、硬件条件的培训场所进行。1.9专业技术考核要求1.9.1申报条件——取得初级培训学时证明，并具备以下条件之一者，可申报初级专业技术等级：（1）取得技术员职称。（2）具备相关专业大学本科及以上学历（含在读的应届毕业生）。（3）具备相关专业大学专科学历，从事本职业技术工作满1年。（4）技工院校毕业生按国家有关规定申报。——取得中级培训学时证明，并具备以下条件之一者，可申报中级专业技术等级：（1）取得助理工程师职称后，从事本职业技术工作满2年。（2）具备大学本科学历，或学士学位，或大学专科学历，取得初级专业技术等级后，从事本职业技术工作满3年。（3）具备硕士学位或第二学士学位，取得初级专业技术等级后，从事本职业技术工作满1年。（4）具备相关专业博士学位。（5）技工院校毕业生按国家有关规定申报。——取得高级培训学时证明，并具备以下条件之一者，可申报高级专业技术等级：（1）取得工程师职称后，从事本职业技术工作满3年。（2）具备硕士学位，或第二学士学位，或大学本科学历，或学士学位，取得中级专业技术等级后，从事本职业技术工作满4年。职业编码：2-02-10-113（3）具备博士学位，取得中级专业技术等级后，从事本职业技术工作满1年。（4）技工院校毕业生按国家有关规定申报。1.9.2考核方式分为理论知识考试以及专业能力考核。理论知识考试、专业能力考核均实行百分制，成绩皆达60分（含）以上者为合格，考核合格者获得相应专业技术等级证书。理论知识考试以闭卷笔试、机考等方式为主，主要考核从业人员从事本职业应掌握的基本要求和相关知识要求；专业能力考核以开卷实操考试、上机实践等方式为主，主要考核从业人员从事本职业应具备的技术水平。1.9.3监考人员、考评人员与考生配比理论知识考试中的监考人员与考生配比不低于1:15，且每个考场不少于2名监考人员；专业能力考核中的考评人员与考生配比不低于1:5，且考评人员为3人（含）以上单数。1.9.4考核时间理论知识考试时间不少于90min，专业能力考核时间不少于150min。1.9.5考核场所设备理论知识考试在标准教室进行；专业能力考核在具有相应软、硬件条件的考核场所进行。职业编码：2-02-10-1142基本要求2.1职业道德2.1.1职业道德基本知识2.1.2职业守则（1）遵纪守法，爱岗敬业。（2）精益求精，勇于创新。（3）爱护设备，安全操作。（4）遵守规程，执行工艺。（5）认真严谨，忠于职守。2.2基础知识2.2.1基础理论知识（1）操作系统知识（2）计算机网络知识（3）编程基础知识（4）数据结构与算法知识（5）数据库知识（6）软件工程知识（7）云计算知识（8）大数据知识2.2.2技术基础知识（1）大数据系统环境安装、配置和调试知识（2）大数据平台架构知识（3）软件应用开发知识（4）接口开发与功能模块设计知识（5）数据采集与数据预处理知识（6）数据计算与数据指标知识（7）常用数据分析与挖掘方法（8）常用数据报表与可视化技术方法（9）数据管理知识（10）数据运营及技术指导知识职业编码：2-02-10-1152.2.3安全知识（1）大数据应用、设备与外部服务组件安全管理知识（2）大数据服务用户身份鉴别与访问控制管理相关知识（3）大数据服务数据活动安全管理知识（4）大数据服务基础设施安全管理知识（5）大数据系统应急响应管理知识2.2.4其他相关知识（1）环境保护知识（2）文明生产知识（3）劳动保护知识（4）资料保管保密知识2.2.5相关法律、法规知识（1）《中华人民共和国劳动法》相关知识（2）《中华人民共和国安全生产法》相关知识（3）《中华人民共和国网络安全法》相关知识（4）《关于加强网络信息保护的决定》相关知识（5）《关键信息基础设施安全保护条例》相关知识（6）《网络安全等级保护条例》相关知识（7）《数据安全管理办法》相关知识（8）《电信和互联网用户个人信息保护规定》相关知识职业编码：2-02-10-1163工作要求本标准对初级、中级、高级的专业能力要求和相关知识要求依次递进，高级别涵盖低级别的要求。3.1初级大数据处理方向的职业功能包括大数据系统搭建、大数据平台管理与运维、大数据技术服务、大数据处理与应用，大数据分析方向的职业功能包括大数据系统搭建、大数据平台管理与运维、大数据技术服务、大数据分析与挖掘，大数据管理方向的职业功能包括大数据平台管理与运维、大数据技术服务、大数据管理。职业功能工作内容专业能力要求相关知识要求1.大数据系统搭建1.1硬件系统搭建1.1.1能根据施工方案，进行需求沟通并确认设备参数1.1.2能参照施工方案，对大数据机架及大型设备进行机房空间规划并部署服务器1.1.3能根据组网规划方案，对各服务器或需联通网络设备进行组网布置1.1.4能根据现场设施及电力系统，对设备进行上电测试及点亮测试1.1.1硬件设备功能知识1.1.2服务器组网知识1.1.3服务器配置知识1.2软件系统部署1.2.1能根据系统部署方案，安装集群环境、硬件环境、虚拟化环境所需的各类系统1.2.2能根据软件部署方案使用脚本部署产品或用原生方法安装各类大数据功能组件1.2.3能根据节点连接信息配置大数据集群1.2.4能根据集群功能对组件进行启动调试1.2.1操作系统安装及操作知识1.2.2云计算及虚拟化部署知识1.2.3大数据组件安装知识1.2.4大数据集群配置知识1.2.5大数据组件基础操作知识2.大数据平台管理与运维2.1平台管理2.1.1能对现有大数据集群的各类组件进行应用变更或版本更迭2.1.2能根据上线计划，按时完成功能上线2.1.3能对提交代码的版本进行管理2.1.1应用变更管理知识2.1.2代码仓库托管知识2.1.3功能持续集成知识2.1.4代码版本控制知识职业编码：2-02-10-1172.2系统运维2.2.1能使用工具对集群的软硬件运行状态进行监控管理2.2.2能使用工具对大数据集群的各类组件、服务的运行状态进行监控管理2.2.3能使用工具对作业运行情况和资源占用情况进行监控管理2.2.4能根据故障报告，参与故障排查，处理故障问题2.2.5能根据容灾计划，定期备份和迁移关键数据2.2.1管理平台操作知识2.2.2系统环境监控知识2.2.3常见故障排查知识2.2.4容灾备份知识2.3安全维护2.3.1能根据权限规范，使用工具配置和管理用户权限2.3.2能针对各类突发的外部攻击或异常事件进行应急处理2.3.3能对安全系统进行升级和维护2.3.1权限管理知识2.3.2常见异常处理知识2.3.3网络攻防知识3.大数据技术服务3.1技术咨询3.1.1能根据团队既定计划，收集市场目标信息3.1.2能配合销售团队制作宣讲材料及解决方案展示材料3.1.3能配合工程师解决客户技术咨询问题并提供参考信息3.1.1大数据行业应用知识3.1.2大数据技术体系知识3.2解决方案设计3.2.1能根据已有的产品解决方案调整输出具体的项目解决方案3.2.2能进行产品演示和讲解产品特性3.2.3能根据客户沟通反馈整理需求文档3.2.4能根据客户需求提供产品咨询及软件架构3.2.1大数据基础理论知识3.2.2大数据行业发展知识3.2.3大数据软件架构知识4.大数据处理与应用4.1数据采集4.1.1能根据业务需求进行在线、离线数据采集4.1.2能根据调度策略使用框架设置调度作业4.1.3能根据存储策略进行数据存储4.1.1网络爬虫知识4.1.2离线数据采集知识4.1.3实时数据采集知识4.1.4作业调度知识4.1.5文件系统数据存储知识4.1.6关系型数据库知识4.1.7非关系型数据库知识职业编码：2-02-10-1184.2数据预处理4.2.1能根据业务需求对遗漏数据、噪音数据、不一致数据等进行清洗4.2.2能根据业务需求对多源数据进行整合4.2.3能根据业务规则对数据格式进行转换4.2.4能根据数据归一性原则对数据进行单位、数值规约4.2.1数据清洗知识4.2.2数据ETL知识4.2.3数据库基础操作知识4.2.4SQL函数知识4.2.5结构化、半结构化与非结构化知识4.3数据计算4.3.1能根据业务需求编写批量、实时数据计算作业4.3.2能根据数据特征计算数据标签并进行汇总4.3.3能根据数据指标规则计算关键业务指标4.3.1分布式计算知识4.3.2内存计算知识4.3.3数据结构封装知识