大数据学习路径2（DOC35页）

大数据经典学习路线（及供参考）1.Linux基础和分布式集群技术学完此阶段可掌握的核心能力：熟练使用Linux，熟练安装Linux上的软件，了解熟悉负载均衡、高可靠等集群相关概念，搭建互联网高并发、高可靠的服务架构；学完此阶段可解决的现实问题：搭建负载均衡、高可靠的服务器集群，可以增大网站的并发访问量，保证服务不间断地对外服务；学完此阶段可拥有的市场价值：具备初级程序员必要具备的Linux服务器运维能力。1.内容介绍：在大数据领域，使用最多的操作系统就是Linux系列，并且几乎都是分布式集群。该课程为大数据的基础课程，主要介绍Linux操作系统、Linux常用命令、Linux常用软件安装、Linux网络、防火墙、Shell编程等。2.案例：搭建互联网高并发、高可靠的服务架构。2.离线计算系统课程阶段1.离线计算系统课程阶段HADOOP核心技术框架学完此阶段可掌握的核心能力：1、通过对大数据技术产生的背景和行业应用案例了解hadoop的作用；2、掌握hadoop底层分布式文件系统HDFS的原理、操作和应用开发；3、掌握MAPREDUCE分布式运算系统的工作原理和分布式分析应用开发；4、掌握HIVE数据仓库工具的工作原理及应用开发。学完此阶段可解决的现实问题：1、熟练搭建海量数据离线计算平台；2、根据具体业务场景设计、实现海量数据存储方案；3、根据具体数据分析需求实现基于mapreduce的分布式运算程序；学完此阶段可拥有的市场价值：具备企业数据部初级应用开发人员的能力1.1HADOOP快速入门1.1.1hadoop知识背景什么是hadoop、hadoop产生背景、hadoop在大数据云计算中的位置和关系、国内hadoop的就业情况分析及课程大纲介绍国内外hadoop应用案例介绍分布式系统概述、hadoop生态圈及各组成部分的简介1.1.2HIVE快速入门hive基本介绍、hive的使用、数据仓库基本知识1.1.3数据分析流程案例web点击流日志数据挖掘的需求分析、数据来源、处理流程、数据分析结果导出、数据展现1.1.4hadoop数据分析系统集群搭建集群简介、服务器介绍、网络环境设置、服务器系统环境设置、JDK环境安装、hadoop集群安装部署、集群启动、集群状态测试HIVE的配置安装、HIVE启动、HIVE使用测试1.2HDFS详解1.2.1HDFS的概念和特性什么是分布式文件系统、HDFS的设计目标、HDFS与其他分布式存储系统的优劣势比较、HDFS的适用场景1.2.2HDFS的shell操作HDFS命令行客户端启动、HDFS命令行客户端的基本操作、命令行客户端支持的常用命令、常用参数介绍1.2.3HDFS的工作机制HDFS系统的模块架构、HDFS写数据流程、HDFS读数据流程NAMENODE工作机制、元数据存储机制、元数据手动查看、元数据checkpoint机制、NAMENODE故障恢复、DATANODE工作机制、DATANODE动态增减、全局数据负载均衡1.2.4HDFS的java应用开发搭建开发环境、获取api中的客户端对象、HDFS的java客户端所具备的常用功能、HDFS客户端对文件的常用操作实现、利用HDFS的JAVA客户端开发数据采集和存储系统1.3MAPREDUCE详解1.3.1MAPREDUCE快速上手为什么需要MAPREDUCE、MAPREDUCE程序运行演示、MAPREDUCE编程示例及编程规范、MAPREDUCE程序运行模式、MAPREDUCE程序调试debug的几种方式1.3.2MAPREDUCE程序的运行机制MAPREDUCE程序运行流程解析、MAPTASK并发数的决定机制、MAPREDUCE中的combiner组件应用、MAPREDUCE中的序列化框架及应用、MAPREDUCE中的排序、MAPREDUCE中的自定义分区实现、MAPREDUCE的shuffle机制、MAPREDUCE利用数据压缩进行优化、MAPREDUCE程序与YARN之间的关系、MAPREDUCE参数优化通过以上各组件的详解，深刻理解MAPREDUCE的核心运行机制，从而具备灵活应对各种复杂应用场景的能力MAPREDUCE实战编程案例：通过一个实战案例来熟悉复杂MAPREDUCE程序的开发。该程序是从nginx服务器产生的访问服务器中计算出每个访客的访问次数及每次访问的时长。原始数据样例如下：通过一系列的MAPREDUCE程序——清洗、过滤、访问次数及时间分析，最终计算出需求所要的结果，用于支撑页面展现：1.4HIVE增强1.4.1HIVE基本概念HIVE应用场景、HIVE内部架构、HIVE与hadoop的关系、HIVE与传统数据库对比、HIVE的数据存储机制、HIVE的运算执行机制1.4.2HIVE基本操作HIVE中的DDL操作、HIVE中的DML操作、在HIVE中如何实现高效的JOIN查询、HIVE的内置函数应用、HIVEshell的高级使用方式、HIVE常用参数配置、HIVE自定义函数和TRANSFORM的使用技巧、HIVEUDF开发实例1.4.3HIVE高级应用HIVE执行过程分析及优化策略、HIVE在实战中的最佳实践案例、HIVE优化分类详解、HIVE实战案例--数据ETL、HIVE实战案例--用户访问时长统计HIVE实战案例--级联求和报表实例：离线数据挖掘系统学完此阶段可掌握的核心能力：1、通过对数据仓库知识的加强初步掌握数据仓库的核心概念和设计流程;2、通过对HADOOP生态圈关键辅助工具的学习掌握hadoop分析系统的整合能力;3、通过电商系统点击流日志数据挖掘系统实战项目，掌握hadoop离线数据挖掘系统从数据采集、入库、分析及报表展现的整套流程学完此阶段可解决的现实问题：1、可根据企业具体场景设计海量数据分析系统的通用架构2、根据具体场景的特点有针对性地调整数据分析各环节的技术选型;3、根据具体需求搭建起整套离线数据分析系统;4、简单数据仓库模型的设计和架构5、各环节具体功能模块的开发实现学完此阶段可拥有的市场价值：具备企业数据部中高级应用开发和初级架构师能力2.1数据仓库增强2.1.1数据仓库及数据模型入门什么是数据仓库、数据仓库的意义、数据仓库核心概念、数据仓库的体系结构2.1.2数据仓库设计建立数据仓库的步骤、数据的抽取、数据的转换、数据的加载、什么是数据模型、数据模型的常见类型、如何设计数据模型、如何选择数据建模的架构典型数据模型——星型建模实例2.1.3数据仓库建模样例业务建模、领域建模、逻辑建模、物理建模web点击流日志分析系统数据仓库设计实战：通过对数据特点和业务需求的分析，关系梳理，设计出一个主题明确、层次合理的数据模型2.2离线辅助系统2.2.1数据采集系统数据采集概念介绍FLUME日志采集框架介绍、FLUME工作机制、FLUME核心组件、FLUME参数配置说明、FLUME采集nginx日志实战案例2.2.2任务调度系统任务调度系统概念介绍、常用任务调度工具比较、OOZIE介绍、OOZIE核心概念、OOZIE的配置说明、OOIZE实现mapreduce/hive等任务调度实战案例2.2.3数据导出数据导出概念介绍、SQOOP基础知识、SQOOP原理及配置说明、SQOOP数据导入实战、SQOOP数据导出实战、SQOOP批量作业操作2.3web点击流日志分析系统实战项目2.3.1项目介绍1.在PC时代，营销的核心是购买，在移动互联网时代，其核心是如何实现用户个性化互动，对用户传播更为精准化的内容，而实现这一核心的基础就是对数据的管理和分析——数据驱动型商业模型。2.各类互联网服务产品(如网站、APP)都可以通过前端技术获取用户的详细行为数据(如访问的页面，点击的区域、登陆的频次、注册行为、购买的行为等)，将这些点击流日志数据与后台商业数据综合起来，就可以挖掘对公司运营决策意义非凡的商业价值。3.本项目则是一个用大数据技术平台实现的点击流日志分析数据挖掘系统，项目内容涵盖一个典型数据挖掘系统中，包括需求分析、数据采集、数据存储管理、数据清洗、数据仓库设计、ETL、业务模型统计分析、数据可视化的全部流程。2.3.2需求分析什么是点击流日志、点击流日志的商业价值、点击流日志分析需求业务模型指标体系设计——流量分析、来源分析、受访分析、访客分析、转化率分析2.3.3系统设计及开发1.系统架构设计2.数据采集设计及开发——数据格式、数据内容分析、数据生成规律、采集系统技术选型解析、FLUME采集系统实现3.数据存储设计及开发——存储技术选型、存储业务流程解析、存储目录规划及文件命名规则、小文件合并实现4.数据统计设计及开发——数据预处理、数据加载、原始数据表的创建、数据入库、数据ETL5.报表统计设计——数据模型设计、事实表设计、维度表梳理6.业务指标设计及开发——PV统计(时间维度、终端维度、地域维度)、来访次数统计(时间维度、地域维度、终端维度)、独立访客统计(时间维度、终端维度、地域维度)、受访页面统计(时间维度、栏目维度)、页面热点图、转化率分析、来源关键词分析、来源搜索引擎分析、来源广告推广分析2.3.4任务调度系统设计实现任务调度单元实现、各环节任务运行频次及依赖关系梳理、工作流设计及实现、工作流定义配置上传部署、工作流启动即状态监控2.3.5数据可视化——结果报表展现1.hive分析结果使用sqoop导出到msyql数据库2.报表展现系统技术选型：后台使用spingmvc+spring+mybatis前端页面使用全静态异步刷新技术Jquery+Echarts3.web展现程序架构搭建，使用maven构建项目工程4.web展现程序页面设计开发：原型页面设计、js代码开发5.最终实现以下数据可视化效果：(1)流量概况可视化效果：(2)来源地域分析可视化效果：(3)来源类型分析可视化效果：3.Storm实时计算部分阶段实时课程分为两个部分：流式计算核心技术和流式计算计算案例实战。1.流式计算核心技术流式计算核心技术主要分为两个核心技术点：Storm和Kafka，学完此阶段能够掌握Storm开发及底层原理、Kafka的开发及底层原理、Kafka与Storm集成使用。具备开发基于storm实时计算程序的技术能力。学完此阶段可掌握的核心能力：(1)、理解实时计算及应用场景(2)、掌握Storm程序的开发及底层原理、掌握Kafka消息队列的开发及底层原理(3)、具备Kafka与Storm集成使用的能力学完此阶段可解决的现实问题：具备开发基于storm的实时计算程序的能力学完此阶段可拥有的市场价值：具备实时计算开发的技术能力、但理解企业业务的能力不足1.1、流式计算一般结构2011年在海量数据处理领域，Hadoop是人们津津乐道的技术，Hadoop不仅可以用来存储海量数据，还以用来计算海量数据。因为其高吞吐、高可靠等特点，很多互联网公司都已经使用Hadoop来构建数据仓库，高频使用并促进了Hadoop生态圈的各项技术的发展。一般来讲，根据业务需求，数据的处理可以分为离线处理和实时处理，在离线处理方面Hadoop提供了很好的解决方案，但是针对海量数据的实时处理却一直没有比较好的解决方案。就在人们翘首以待的时间节点，storm横空出世，与生俱来的分布式、高可靠、高吞吐的特性，横扫市面上的一些流式计算框架，渐渐的成为了流式计算的首选框架。如果庞麦郎在的话，他一定会说，这就是我要的滑板鞋!上图是流式分析的一般架构图，抽象出四个步骤就是数据采集、数据缓冲、数据处理、数据输出。一般情况下，我们采用Flume+kafka+Storm+Redis的结构来进行流式数据分析。实时部分的课程主要是针对Kafka、Storm进行学习1.2、流式计算可以用来干什么一淘-实时分析系统：实时分析用户的属性，并反馈给搜索引擎。最初，用户属性分析是通过每天在云梯上定时运行的MRjob来完成的。为了满足实时性的要求，希望能够实时分析用户的行为日志，将最新的用户属性反馈给搜索引擎，能够为用户展现最贴近其当前需求的结果。携程-