大数据技术原理与应用-厦门大学数据库试验室

《大数据处理技术Spark》厦门大学计算机科学系林子雨[e-mail]厦门大学计算机科学系2017年版林子雨厦门大学计算机科学系E-mail:[e-mail]主页：第3章Spark的设计与运行原理（PPT版本号：2017年春季学期）厦门大学研究生课程《大数据处理技术Spark》温馨提示：编辑幻灯片母版，可以修改每页PPT的厦大校徽和底部文字扫一扫访问班级主页《大数据处理技术Spark》厦门大学计算机科学系林子雨[e-mail]提纲•3.1Spark概述•3.2Spark生态系统•3.3Spark运行架构•3.4Spark的部署和应用方式免费在线教程：《大数据处理技术Spark》厦门大学计算机科学系林子雨[e-mail]3.1Spark概述3.1.1Spark简介3.1.2Scala简介3.1.3Spark与Hadoop的比较《大数据处理技术Spark》厦门大学计算机科学系林子雨[e-mail]3.1.1Spark简介•Spark最初由美国加州伯克利大学（UCBerkeley）的AMP实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序•2013年Spark加入Apache孵化器项目后发展迅猛，如今已成为Apache软件基金会最重要的三大分布式计算系统开源项目之一（Hadoop、Spark、Storm）•Spark在2014年打破了Hadoop保持的基准排序纪录•Spark/206个节点/23分钟/100TB数据•Hadoop/2000个节点/72分钟/100TB数据•Spark用十分之一的计算资源，获得了比Hadoop快3倍的速度《大数据处理技术Spark》厦门大学计算机科学系林子雨[e-mail]3.1.1Spark简介Spark具有如下几个主要特点：•运行速度快：使用DAG执行引擎以支持循环数据流与内存计算•容易使用：支持使用Scala、Java、Python和R语言进行编程，可以通过SparkShell进行交互式编程•通用性：Spark提供了完整而强大的技术栈，包括SQL查询、流式计算、机器学习和图算法组件•运行模式多样：可运行于独立的集群模式中，可运行于Hadoop中，也可运行于AmazonEC2等云环境中，并且可以访问HDFS、Cassandra、HBase、Hive等多种数据源《大数据处理技术Spark》厦门大学计算机科学系林子雨[e-mail]3.1.1Spark简介图16-1谷歌趋势：Spark与Hadoop对比Spark如今已吸引了国内外各大公司的注意，如腾讯、淘宝、百度、亚马逊等公司均不同程度地使用了Spark来构建大数据分析应用，并应用到实际的生产环境中《大数据处理技术Spark》厦门大学计算机科学系林子雨[e-mail]3.1.2Scala简介Scala是一门现代的多范式编程语言，运行于Java平台（JVM，Java虚拟机），并兼容现有的Java程序Scala的特性：•Scala具备强大的并发性，支持函数式编程，可以更好地支持分布式系统•Scala语法简洁，能提供优雅的APIScala兼容Java，运行速度快，且能融合到Hadoop生态圈中Scala是Spark的主要编程语言，但Spark还支持Java、Python、R作为编程语言Scala的优势是提供了REPL（Read-Eval-PrintLoop，交互式解释器），提高程序开发效率《大数据处理技术Spark》厦门大学计算机科学系林子雨[e-mail]3.1.3Spark与Hadoop的对比Hadoop存在如下一些缺点：•表达能力有限•磁盘IO开销大•延迟高•任务之间的衔接涉及IO开销•在前一个任务执行完成之前，其他任务就无法开始，难以胜任复杂、多阶段的计算任务《大数据处理技术Spark》厦门大学计算机科学系林子雨[e-mail]3.1.3Spark与Hadoop的对比Spark在借鉴HadoopMapReduce优点的同时，很好地解决了MapReduce所面临的问题相比于HadoopMapReduce，Spark主要具有如下优点：•Spark的计算模式也属于MapReduce，但不局限于Map和Reduce操作，还提供了多种数据集操作类型，编程模型比HadoopMapReduce更灵活•Spark提供了内存计算，可将中间结果放到内存中，对于迭代运算效率更高Spark基于DAG的任务调度执行机制，要优于HadoopMapReduce的迭代执行机制《大数据处理技术Spark》厦门大学计算机科学系林子雨[e-mail]3.1.3Spark与Hadoop的对比迭代1迭代2HDFS读取HDFS写入HDFS读取HDFS写入...查询1查询2...结果1结果2(a)HadoopMapReduce执行流程迭代1迭代2读取存储在内存中...输入输入输入存储在内存中读取内存查询1查询2...结果1结果2输入存储在内存中(b)Spark执行流程图16-2Hadoop与Spark的执行流程对比《大数据处理技术Spark》厦门大学计算机科学系林子雨[e-mail]3.1.3Spark与Hadoop的对比1100.9020406080100120HadoopSpark执行时间(s)图16-3Hadoop与Spark执行逻辑回归的时间对比•使用Hadoop进行迭代计算非常耗资源•Spark将数据载入内存后，之后的迭代计算都可以直接使用内存中的中间结果作运算，避免了从磁盘中频繁读取数据《大数据处理技术Spark》厦门大学计算机科学系林子雨[e-mail]3.1.3Spark与Hadoop的对比MapReduceSpark数据存储结构：磁盘HDFS文件系统的split使用内存构建弹性分布式数据集RDD对数据进行运算和cache编程范式：Map+ReduceDAG:Transformation+Action计算中间结果落到磁盘，IO及序列化、反序列化代价大计算中间结果在内存中维护存取速度比磁盘高几个数量级Task以进程的方式维护，需要数秒时间才能启动任务Task以线程的方式维护对于小数据集读取能够达到亚秒级的延迟《大数据处理技术Spark》厦门大学计算机科学系林子雨[e-mail]3.2Spark生态系统在实际应用中，大数据处理主要包括以下三个类型：•复杂的批量数据处理：通常时间跨度在数十分钟到数小时之间•基于历史数据的交互式查询：通常时间跨度在数十秒到数分钟之间•基于实时数据流的数据处理：通常时间跨度在数百毫秒到数秒之间当同时存在以上三种场景时，就需要同时部署三种不同的软件•比如:MapReduce/Impala/Storm这样做难免会带来一些问题：•不同场景之间输入输出数据无法做到无缝共享，通常需要进行数据格式的转换•不同的软件需要不同的开发和维护团队，带来了较高的使用成本•比较难以对同一个集群中的各个系统进行统一的资源协调和分配《大数据处理技术Spark》厦门大学计算机科学系林子雨[e-mail]3.2Spark生态系统•Spark的设计遵循“一个软件栈满足不同应用场景”的理念，逐渐形成了一套完整的生态系统•既能够提供内存计算框架，也可以支持SQL即席查询、实时流式计算、机器学习和图计算等•Spark可以部署在资源管理器YARN之上，提供一站式的大数据解决方案•因此，Spark所提供的生态系统足以应对上述三种场景，即同时支持批处理、交互式查询和流数据处理《大数据处理技术Spark》厦门大学计算机科学系林子雨[e-mail]3.2Spark生态系统ResourceVirtualizationStorageProcessingEngineMesosHadoopYarnHDFS,S3TachyonSparkCoreAccessandInterfacesSparkStreamingSparkSQLBlinkDBGraphXMLlibMLBaseSpark的生态系统主要包含了SparkCore、SparkSQL、SparkStreaming、MLLib和GraphX等组件图16-4BDAS架构Spark生态系统已经成为伯克利数据分析软件栈BDAS（BerkeleyDataAnalyticsStack）的重要组成部分《大数据处理技术Spark》厦门大学计算机科学系林子雨[e-mail]3.2Spark生态系统应用场景时间跨度其他框架Spark生态系统中的组件复杂的批量数据处理小时级MapReduce、HiveSpark基于历史数据的交互式查询分钟级、秒级Impala、Dremel、DrillSparkSQL基于实时数据流的数据处理毫秒、秒级Storm、S4SparkStreaming基于历史数据的数据挖掘-MahoutMLlib图结构数据的处理-Pregel、HamaGraphX表1Spark生态系统组件的应用场景《大数据处理技术Spark》厦门大学计算机科学系林子雨[e-mail]3.3Spark运行架构3.3.1基本概念3.3.2架构设计3.3.3Spark运行基本流程3.3.4Spark运行原理《大数据处理技术Spark》厦门大学计算机科学系林子雨[e-mail]3.3.1基本概念•RDD：是ResillientDistributedDataset（弹性分布式数据集）的简称，是分布式内存的一个抽象概念，提供了一种高度受限的共享内存模型•DAG：是DirectedAcyclicGraph（有向无环图）的简称，反映RDD之间的依赖关系•Executor：是运行在工作节点（WorkerNode）的一个进程，负责运行Task•Application：用户编写的Spark应用程序•Task：运行在Executor上的工作单元•Job：一个Job包含多个RDD及作用于相应RDD上的各种操作•Stage：是Job的基本调度单位，一个Job会分为多组Task，每组Task被称为Stage，或者也被称为TaskSet，代表了一组关联的、相互之间没有Shuffle依赖关系的任务组成的任务集《大数据处理技术Spark》厦门大学计算机科学系林子雨[e-mail]3.3.2架构设计SparkContextDriverProgramClusterManagerWorkerNodeCacheTaskTaskExecutorWorkerNodeCacheTaskTaskExecutor图16-5Spark运行架构•Spark运行架构包括集群资源管理器（ClusterManager）、运行作业任务的工作节点（WorkerNode）、每个应用的任务控制节点（Driver）和每个工作节点上负责具体任务的执行进程（Executor）•资源管理器可以自带或Mesos或YARN与HadoopMapReduce计算框架相比，Spark所采用的Executor有两个优点：•一是利用多线程来执行具体的任务，减少任务的启动开销•二是Executor中有一个BlockManager存储模块，会将内存和磁盘共同作为存储设备，有效减少IO开销《大数据处理技术Spark》厦门大学计算机科学系林子雨[e-mail]3.3.2架构设计图16-6Spark中各种概念之间的相互关系•一个Application由一个Driver和若干个Job构成，一个Job由多个Stage构