Hadoop大数据开发实战-教学大纲

《Hadoop大数据开发基础》教学大纲课程名称：Hadoop大数据开发基础课程类别：必修适用专业：大数据技术类相关专业总学时：48学时总学分：3.0学分一、课程的性质本课程是为大数据技术类相关专业学生开设的课程。随着时代的发展，大数据已经成为一个耳熟能详的词汇。与此同时，针对大数据处理的新技术也在不断的开发和运用中，逐渐成为数据处理挖掘行业广泛使用的主流技术之一。Hadoop作为处理大数据的分布式存储和计算框架，得到了国内外大小型企业广泛的应用。Hadoop是一个可以搭建在廉价服务器上的分布式集群系统架构，它具有可用性高、容错性高和可扩展性高等优点。由于它提供了一个开放式的平台，用户可以在完全不了解底层实现细节的情形下，开发适合自身应用的分布式程序。经过十多年的发展，目前Hadoop已经成长为一个全栈式的大数据技术生态圈，并在事实上成为应用最广泛最具有代表性的大数据技术。因此，学习Hadoop技术是从事大数据行业工作所必不可少的一步。二、课程的任务通过本课程的学习，使学生学会搭建Hadoop完全分布式集群，掌握HDFS的原理和基础操作，掌握MapReduce原理架构、MapReduce程序的编写。为将来从事大数据挖掘研究工作以及后续课程的学习奠定基础。三、教学内容及学时安排序号章节名称主要内容教学目标学时1大数据概论1.大数据学习基础2.大数据背景3.大数据的定义4.大数据的行业案例5.大数据的基本概念6.大数据技术生态圈1.了解大数据的背景和大数据生态群技术2.理解大数据基本概念和大数据行业案例。22Hadoop集群的搭建及配置1.设置固定IP的方法2.设置远程连接虚拟机3.Linux在线安装软件的方法4.在Window和Linux下安装Java5.了解Hadoop集群相关配置文件6.SSH免密码登录配置7.时间同步服务配置8.启动关闭Hadoop集群以及查看Hadoop集群监控1.掌握安装配置虚拟机和安装JDK2.掌握搭建Hadoop完全分布式集群环境的方法103Hadoop集群基础操作1.解HDFS的操作方法2.MapReduce任务的运行和中断方法3.集群监控的查看方法1.学会查看Hadoop集群的基本信息2.掌握HDFS的基本操作3.掌握运行MapReduce任务的命令64MapReduce入门编程1.Eclipse安装2.MapReduce原理3.MapReduce的编程逻辑1.掌握MapReduce的原理2.掌握MapReduce程序的编程逻辑95MapReduce进阶编程1.MapReduce的输入及输出格式2.HadoopJavaAPI使用方法3.自定义键值对方法4.Combiner及Partitioner的原理与编程5.在Eclipse中提交MapReduce任务的方法1.掌握MapReduce框架中的进阶应用，包括自定义键值对、Combiner、Partitioner等126项目案例：汽车销售数据统计分析项目1.数据概况2.数据背景介绍3.需求分析及代码实现1.掌握项目开发流程，数据业务数据。2.利用大数据存储技术及MapReduce框架从各个需求维度分析汽车销售数据。9学时合计48四、考核方式突出学生解决实际问题的能力，加强过程性考核。课程考核的成绩构成=平时作业（20%）+课堂参与（10%）+期末考核（70%），期末考试建议采用开卷形式，试题应包括基本概念、基本理论、程序设计、综合应用等部分，题型可采用判断题、选择、简答、应用题等方式。