Hadoop应用开发实战21---YARN支持的计算框架(11)

Hadoop大数据解决方案进阶应用Hadoop讲师：迪伦（北风网版权所有）YARN支持的计算框架(11)SparkStandalone模式部署Spark的YARN模式部署MapReduce编程模型课程目标测试Spark集群运行SparkPi$cd/home/hadoop/spark/bin$./run-exampleorg.apache.spark.examples.SparkPispark://192.168.136.101:7077测试Spark集群测试spark-shellspark-shell是一个sparkapplication，运行时需要向资源管理器申请资源$MASTER=spark://192.168.136.101:7077spark-shell停止集群$$SPARK_HOME/spark/sbin/stop-all.sh关于SparkStandaloneMode的运行资源调度SparkStandaloneCluster目前只支持FIFO方式调度，不过，允许多个并发用户监控和日志通过WebUI来监控集群日志：$SPARK_HOME/spark/logs和Hadoop并用Spark可以作为独立的服务，在已有的Hadoop集群设备上并行，并通过hdfs://URL存取Hadoop数据Spark的YARN模式部署要运行在YARN上，需要用SBT(ScalaBuildTool)编译官方提供的二进制安装文件，生成YARNclient端使用的jar包在$SPARK_HOME目录下执行编译$SPARK_HADOOP_VERSION=2.2.0SPARK_YARN=true./sbt/sbtassembly在YARN环境下运行启动Hadoop2.2.0集群确保环境变量HADOOP_CONF_DIR或YARN_CONF_DIR已经设置在YARN集群中运行Spark应用程序的命令：Spark的YARN模式部署要运行在YARN上：MapReduce编程模型MapReduce将整个运行过程分为两个阶段：Map阶段和Reduce阶段Map阶段由一定数量的MapTask组成输入数据格式解析：InputFormat输入数据处理：Mapper数据分组：PartitionerReduce阶段由一定数量的ReduceTask组成数据远程拷贝数据按照key排序数据处理：Reducer数据输出格式：OutputFormatMapReduce编程模型欢迎访问我们的官方网站