大数据处理与云计算教学大纲

《大数据处理与云计算》教学大纲课程类别：专业教育课课程名称：大数据处理与云计算开课单位：信息与通信工程学院课程编号：N03050703总学时：40学分：2.5适用专业：信息工程专业先修课程：无一、课程在教学计划中的地位、作用大数据处理与云计算是信息工程专业高年级学生开设的一门专业教育课。本课程主要学习大数据处理和云计算的相关原理和技术，根据实际需求，构建相应的大数据处理和云计算平台框架。通过本课程学习，使学生掌握大数据的采集、传输、处理和应用的技术，了解Hadoop分布式系统基础架构，掌握HDFS和MapReduce技术。了解HBase、Hive、Zookeeper、Avro、Pig等相关大数据技术，与实际工程应用相结合，构建相应的云计算平台。教学应当结合实际实验条件，培养学生实践动手能力，了解大数据技术发展现状，促进大数据相关教学改革。二、课程教学内容、要求及学时分配第一章大数据与云计算概况1、了解大数据概念2、了解大数据的产生、应用和作用3、了解云计算技术的概述4、了解云计算的特点及技术分类5、了解大数据与云计算、物联网之间的关系第二章大数据处理与云计算的关键技术1、理解大数据处理的基本流程2、掌握大数据的关键技术3、理解大数据的处理工具4、了解大数据面临的挑战5、理解云计算及关系型数据库第三章Hadoop1、了解Hadoop概述2、了解Hadoop发展简史3、理解Hadoop的功能与作用4、了解Hadoop的优缺点5、了解Hadoop的应用现状和发展趋势6、掌握Hadoop项目及其结构7、掌握Hadoop的体系结构8、掌握HDFS的体系结构第四章MaReduce1、理解分布式并行编程2、理解MapReduce模型概述3、掌握Map和Reduce函数4、掌握MapReduce工作流程5、掌握并行计算的实现6、掌握新的MapReduce框架：Yarn7、理解新旧HadoopMapReduce框架的对比第五章HDFS1、理解HDFS的假设与目标2、理解HDFS的相关概念3、掌握HDFS体系结构4、掌握HDFS命名空间5、掌握HDFS存储原理6、掌握通讯协议7、理解数据错误和异常8、理解从HDFS看分布式文件系统的设计需求第六章Zookeeper1、了解Zookeeper简介2、掌握Zookeeper的工作原理3、理解Zookeeper的数据模型第七章HBase海量实时处理实战技巧1、理解HBase简介和架构2、掌握HBase核心知识点3、掌握HBase高级应用4、理解HBase应用场景5、理解HBase常用接口和SQL引擎层实战章节名称讲授（学时）实验（学时）小计第一章大数据与云计算概况202第二章大数据处理与云计算的关键技术4046、理解基于HadoopV1和V2使用HBase的异同第八章基于HadoopV2的Hive/Pig开发技巧1、理解Hive和Pig架构和理论基础2、理解Hive的作用和原理说明3、掌握Hadoop仓库和传统数据仓库的协作关系4、理解Hadoop/Hive仓库数据数据流5、理解基于HadoopV1和V2使用Hive和Pig等工具的异同6、HQL基本语法第九章实时流框架StormonYARN（HadoopV2）实战技巧1、理解实时流计算的概念2、理解Storm的概念、核心组件、特性3、理解Storm核心概念和数据流模型4、了解运行基于Storm的编程实例第十章内存计算框架SparkonYARN（HadoopV2）实战技巧1、理解Spark核心架构2、掌握在YARN上安装Spark3、理解Spark集群配置介绍4、理解Spark多语言编程第11章云数据库1、了解云数据库概述2、了解云数据库的特性及其需求3、理解云数据库与传统的分布式数据库4、了解云数据库产品5、理解数据模型6、理解数据访问方法及编程模型三、实验四学时分配第三章Hadoop303第四章MaReduce426第五章HDFS426第六章Zookeeper202第七章HBase海量实时处理实战技巧325第八章基于HadoopV2的Hive/Pig开发技巧224第九章实时流框架StormonYARN（Hadoop03V2）实战技巧3第十章内存计算框架SparkonYARN（Hadoop03V2）实战技巧3第11章云数据库202合计32840