大数据技术与应用专业建设

《大数据技术与应用专业建设调研报告》第1页大数据技术与应用专业建设调研报告自党的十八大以来，我国提出了实施国家大数据战略的重大决策。国务院和相关部门先后印发了《促进大数据发展行动纲要》、《大数据产业发展规划（2016～2020年）》等指导性文件。各部门、各地方高度重视，据不完全统计，我国已有20多个省级地方和10余个部委出台了本地区、本行业大数据发展规划，我国大数据发展已经正式驶入快车道。2015年9月5日经李克强总理签批，国务院印发《促进大数据发展行动纲要》（以下简称《纲要》），系统指导我国大数据发展的国家顶层设计和总体部署大数据发展工作。《纲要》提出从政府大数据、新兴产业大数据、安全保障体系三个方面着手推进大数据领域十大工程建设，将我国大数据发展推向了另一个制高点。职业教育服务经济与社会发展，必须紧跟产业发展步伐，随着经济增长方式转变而“动”，跟着产业结构调整升级而“走”，围着企业技能型人才需求而“转”，适应市场的需求而“变”。在大数据技术飞速发展的今天，职业教育必须紧跟大数据产业发展步伐。为了更好地了解相关行业企业对大数据人才的需求，促进大数据技术与应用专业教学及专业建设，大数据技术与应用专业教学资源库建设团队在国内外针对大数据在行业企业的需求开展了调研。一、调研目的1、了解大数据行业企业对大数据技术与应用专业人才的需求倾向、人才需求规格预测、就业预测、人才的市场定位等；《大数据技术与应用专业建设调研报告》第2页2、了解大数据行业企业对大数据技术与应用专业人才培养模式、培养目标的意见，以及对专业知识、岗位分工、职业技能等的要求；3、了解往届相关专业毕业生在工作单位的表现及用人单位对往届毕业生的工作、岗位能力评价；4、与相关企业建立校企合作模式，促进教学与社会实践的联系，为大数据技术与应用专业教学资源库的专业建设、课程体系建设及培养模式寻找更完善的发展方向。二、调研方式1.问卷调查：印制问卷涵寄或面交，请企业相关人员作答。2.实地调研：教师到企业和用人单位实地调研。3.座谈调研：邀请用人单位的技术人员、管理人员到系里开展座谈交流。4.网上调查：到网上搜索有关人才需求、课程设计、教学计划等信息。三、国内外大数据发展现状（一）大数据产业呈现爆炸式增长由IDC和EMC联合发布的《TheDigitalUniverseofOpportunities:RichDataandtheIncreasingValueofInternetofThings》研究报告中指出，2011年全球数据总量已达到1.8ZB，并将以每两年翻一番的速度增长，到2020年，全球数据量将达到40ZB，均摊到每个人身上达到5200GB以上。《大数据技术与应用专业建设调研报告》第3页图2-12014-2020年中国大数据市场规模及增速在“2017年世界电信和信息化社会日大会”上，工信部总工程师张峰指出，我国的数据总量正在以年均50%的速度持续增长，预计到2020年，我国数据总量在全球占比将达到21%。美国市场研究公司IDC发布的报告称，全球大数据技术和服务市场将在未来几年保持31.7%的年复合增长率，2016年总规模达到238亿美元。（二）大数据产业应用需求扩张大数据产业应用包括了政府/公共事业、物流零售、文化娱乐、能源/制造、金融/保险、旅游、IT互联网电信等行业，可以看出大数据已经受到广泛的行业关注。图2-2大数据在中国的行业分布《大数据技术与应用专业建设调研报告》第4页参与大数据调查的行业中，来自能源/制造行业的最多，比例达44.9%，其次是政府与公共事业部，比例为17%，第三则是金融与保险行业，为10.3%。接下来，分别是物流零售（8.7%）、文化娱乐（6.3%）、IT/互联网/电信（5.8%）、旅游（3.36%）。与数据规模的调查数据相对比，我们发现50TB以上的数据容量主要分布在能源/制造（47.8%）、金融/保险（20.5%）与政府/公共事业（15.9%）。从各个行业对大数据调研的参与程度其实已经可以反映出各行业对大数据的关注程度，能源/制造行业对于市场行情的数据更为敏感，历史的商品行情对于未来的产品设计、风险评估以及市场导向都有较强的参考意义。而随着政府与公共事业的服务意识的强加与转变，以及更智慧的执政与管理理念的带动，对于数据的管理与分析的需求也在日益加强。在金融与保险行业，则是传统的数据量大户，而在新时代更好更快的发现客户金融习惯，将是金融与保险行业未来竞争必须要做的事情。其次，物流零售的数据价值也在日益显现，成为排名第四的参与调查的行业，而新兴的，数据积累（尤其是非结构化数据）历史尚浅的文化娱乐、IT/互联网/电信行业则分列第五和第六。看来大数据已经成为众多行业关注和探讨的话题，其影响力已经覆盖了从传统的制造行业到新型的文化娱乐、IT、互联网行业。（三）人才供不应求美国人才招聘市场的数据分析领先者WANTEDAnalytics和Forbes对来自150个国家的10亿个岗位信息进行了统计，基于“数据分析”、“数据采集”、“数据挖掘”和“数据结构”四项技能的大数据专业人才市场需求分析，在对过去12个月美国就业市场“大数据”相关岗位的分析中发现：需要“大数据”技能的岗位空缺呈现高速增长。麦肯锡全球研究所（MGI）和麦肯锡商业技术办公室在对医疗、公共、零售、制造业和个人定位等五个领域内详细研究了大数据发展趋势后发布的研究报告《大数据技术与应用专业建设调研报告》第5页预测：由于大数据的引入，会造成信息分析人才的缺乏，预计到2018年，仅美国就需要14～19万信息分析专业人才以及150万懂得大数据的管理人员和分析师。大数据不仅提高了产业价值，还能够大幅度的拉动就业。随着各大公司纷纷上马大数据业务，对大数据人才的需要，市场上正处于十分旺盛的阶段。据Gartner预测，全球将新增440万个与大数据相关的工作岗位。大数据的发展也会催生出一些新职业如大数据分析师、首席数据官等，然而人才供给的缺乏正是大数据发展面临的一个瓶颈。目前企业发展大数据已步入初级阶段，不论是拓展大数据业务的百度、阿里、奇虎360等互联网公司，还是专业提供数据服务的大数据服务商，对专业的大数据人才均有较高的需求量。而今年，这一“人才荒”的情况正在愈演愈烈，从一定程度上说，人才匮乏已经成为制约大数据应用产业发展的重要因素。图2-3大数据人才市场需求分析（四）大数据技术与应用专业系统化课程资源匮乏就目前来看，在互联网上已经拥有了较多的单体资源，例如Java程序设计、MapReduce程序设计、Hadoop体系框架等课程资源非常丰富，但是缺少资源的系统性，很多学习者不知如何去养成职业岗位能力要求。从目前来看，建设一个大数据技术与应用领域的优质资源库，同时为学习者提出科学合理的学习建议，是非常有必要的。四、典型工作岗位及能力分析《大数据技术与应用专业建设调研报告》第6页由于我国大数据产品正处于起步阶段，市场对技能型、操作性的人才需求相对较高，从统计数据上看，大数据行业求职者学历与招聘需求出现错位，主要表现为大专的招聘需求高于求职者占比，而硕士以上的需求则正好相反。目前，大数据相关工作按照专业范围和工作特点大致可分为如下1)、数据处理类：该类职位要求对数据存储方式和数据存储结构有一定的理解，了解数据的定义，并且可以通过多种采集方式获取原始数据，按特定要求处理数据。该职位应了解基本的统计学方法，能应用统计学的工具，同时掌握大数据平台的相关操作技术，能将数据处理方法通过大数据平台实现。对于企业来讲，这部分人群在工作中对专业的熟练程度要求也是非常高的，例如能熟练做出因子分析，聚类等基础技术处理，包括类似的各类数据统计处理技术。完成业务中数据的前期预处理和处理基础工作，提供高质量的数据供数据分析和解读。2)、大数据运维类：该类职位要求具备大规模服务器集群的运维能力，同时具备大型数据库运维能力。服务器运维包括维护并确保服务器的可用性，不断优化系统架构、提升部署效率和优化资源利用率等。数据库运维包括具备软件安装、配置优化、数据恢复和迁移、数据库故障排除、预防性巡检等一系列能力。运维工程师面对的最大挑战是大规模服务器集群的管理问题，如何管理好几十万台服务器上的服务，同时保障服务的高可用性，是运维工程师面临的最大难题。因此，作为运维类工作，特别是大数据级的运维工作，职位要求应该具备扎实的基础知识。包括掌握如Java/Python等至少2种编程语言、熟练掌握常用的算法并能灵活运用、熟悉网络基础知识、深入理解Linux操作系统等。《大数据技术与应用专业建设调研报告》第7页同时，在大数据环境下，还应该掌握熟悉分布式计算或者存储系统。3)、大数据技术支持类：大数据技术支持类包括售前技术支持和售后技术支持。售前技术支持能够在大数据应用系统实施前遇到无法解决的问题时提供技术支持；售后技术支持能够在大数据应用系统部署完成后，为客户提供售后服务，帮助工程师诊断并解决大数据应用系统使用过程中出现的问题。该类职位需要掌握大规模服务器集群知识，以及大数据相关基础。具体包括掌握至少1门编程语言、掌握Linux操作系统、掌握分布式计算和存储系统等。同时技术支持需要面对客户，应具备一定的沟通和团队协作能力。校企专家通过对上述典型工作岗位的能力要求分析研讨，形成大数据技术与应用专业岗位职业能力分析表。表3-4大数据技术与应用主要工作任务描述典型工作任务能力要求知识要求技能要求课程大数据平台运维通过系统监控、集群配置等技术手段，保证大数据平台能够长期稳定的支撑企业大数据业务的工作能力1、掌握计算机基础知识；2、掌握网络基础知识、中小型局域网组建和运维技术；3、掌握服务器及存储基础知识，4、掌握主流操作系统（如Linux、Windows）5、掌握主流数据库基础技术（如oracle、MySQL、NoSql等）6、掌握脚本编写方法（如shell、Python等）1、能够配置和管理网络设备，完成网络搭建2、能够配置和管理服务器和存储，完成相关设备的维护3、能够完成操作系统的安装和配置4、能够完成大数据平台的日常维护数据处理技术（Python）数据库基础Linux操作系统大数据概论网络技术大数据平台构建大数据安全管理Hadoop综合实训云计算与虚拟化Spark综合《大数据技术与应用专业建设调研报告》第8页7、掌握Hadoop/Spark相关组件的基础理论知识及运维工具的使用；8、掌握HDFS、Hbase、hive、yarn等组件的基本操作5、能够使用工具完成大数据平台的软硬件平台运行状态监控6、能够完成大数据平台的故障应急处理实训数据预处理通过数据抽取、整理、传输、加载、校验等技术手段，结合工具，保证高效的为大数据分析提供高质量的数据资源的工作能力1、掌握计算机基础知识；2、掌握主流数据库基础技术（如Oracle、MySQL、NoSql等）3、掌握shell脚本编程，熟悉Java、Python等开发语言4、掌握Hadoop/Spark相关组件的基础理论知识及运维工具的使用；1、能够使用工具从数据源抽取所需数据2、能够使用工具对数据进行指定操作，如转换、清洗、校验等3、能够使用工具完成数据加载，如传输、建库、校验等4、具备分布式ETL过程调优能力应用程序开发基础（Java）数据处理技术（Python）数据库基础Hadoop综合实训Spark综合实训爬虫技术实训云计算与虚拟化概率论与数理统计数据清洗大数据平台部署通过综合运用服务器、交换机、存储、虚拟化、云计算、大数据等基础知识，保证快速、高效的完成大数据平台环境等搭建和部署的工作能力1、掌握计算机基础知识；2、掌握网络基础知识、中小型局域网组建和运维技术；3、掌握服务器及存储基础知识，4、掌握主流操作系统（如Linux、Windows）5、掌握主流数据库基础技术（如Oracle、MySQL、NoSql等）6、了解大数据基础知识和基本框架1、能够配置和管理网络设备，完成网络搭建2、能够配置和管理服务器和存储，完成相关设备的维护3、能够完成操作系统的安装和配置4、能够完成大数据平台的搭建、测试及调优数据