Hadoop2.x和它的yarn成员解析

南阳理工学院学院(系)：软件学院专业：软件工程学生：田康博指导教师：陈可完成日期2016年04月基于云平台的hadoop2.x系列和他的yarn成员南阳理工学院云计算导论（论文）基于云平台的Hadoop2.x系列和它的Yarn成员解析Hadoop2.xSeriesandItsYarnMemberAnalysisBasedonCloudPlatform总计：毕业设计(论文)17页插图：10幅基于云平台的hadoop2.x系列和他的yarn成员南阳理工学院云计算导论(论文)基于云平台的Hadoop2.x系列和它的Yarn成员解析Hadoop2.xSeriesandItsYarnMemberAnalysisBasedonCloudPlatform学院(系)：软件学院专业：软件工程学生姓名：田康博学号：1415925605指导教师(职称)：陈可讲师评阅教师：陈可完成日期：2014年05月01日南阳理工学院NanyangInstituteofTechnology基于云平台的hadoop2.x系列和他的yarn成员基于云平台的Hadoop2.x系列和它的Yarn成员解析软件工程田康博[摘要]Hadoop原本来自于谷歌一款名为MapReduce的编程模型包。谷歌的MapReduce框架可以把一个应用程序分解为许多并行计算指令，跨大量的计算节点运行非常巨大的数据集。使用该框架的一个典型例子就是在网络数据上运行的搜索算法。Hadoop最初只与网页索引有关，迅速发展成为分析大数据的领先平台。Hadoop目前的版本有两个系列，即Hadoop1.x和Hadoop2.x系列。其中在Hadoop2.x系列里面，新增了一个Yarn模块，主要负责Hadoop的资源调度。[关键词]Hadoop2.x；Yarn；Ubuntu；Hadoop分布存储环境基于云平台的hadoop2.x系列和他的yarn成员Hadoop2.xSeriesandItsYarnMemberAnalysisBasedonCloudPlatformSoftwareengineeringTianKangboAbstract:HadooporiginallycamefromaGoogleMapReduceprogrammingmodelpackage.Google'sMapReduceframeworkcanbeusedtodecomposeanapplicationintomanyparallelcomputinginstructions,crossalargenumberofcomputingnodesrunningaverylargedataset.Atypicalexampleofusingthisframeworkisthesearchalgorithmrunningonthenetworkdata.Hadoopinitiallyonlyrelatedtothewebpageindex,therapiddevelopmentofaleadingplatformforanalysisoflargedata.Hadoopcurrentversionofthetwoseries,thatis,Hadoop1.xandHadoop2.xseries.WhichintheHadoop2.xseriesinside,anewYarnmodule,mainlyresponsiblefortheHadoopresourcescheduling.Keywords:Hadoop2.x;Yarn;Ubuntu;Hadoopdistributedstorageenvironment基于云平台的hadoop2.x系列和他的yarn成员目录1绪论........................................................................................................................................11.1关于hadoop.................................................................................................................11.2本章小结......................................................................................................................12Hadoop的简介.......................................................................................................................12.1Hadoop的发展历程和特点.........................................................................................22.2本章小结......................................................................................................................23Hadoop2.x的解读..................................................................................................................33.1Hadoop2.x的四大模块................................................................................................33.2用Eclipse连接Hadoop实例解析...............................................................................53.3Hadoop2.x的其他成员模块介绍...............................................................................63.4Hadoop的优缺点........................................................................................................73.5本章小结......................................................................................................................74Yarn成员................................................................................................................................74.1Yarn的介绍..................................................................................................................74.2Yarn的模块功能..........................................................................................................84.3Hadoop2.x的hdfs+yarn框架......................................................................................94.4Yarn的架构解析........................................................................................................104.5本章小结....................................................................................................................14结束语......................................................................................................................................15参考文献..................................................................................................................................16致谢..........................................................................................................................................17基于云平台的hadoop2.x系列和他的yarn成员11绪论1.1关于Hadoop随着科技发展，服务业的兴起，越来越多的数据产生了。服务业兴盛的时代，每个人的信息都几乎是裸露的，否则商家凭什么提供给你高效率的服务，于是每分每秒，从我们身上所散发出来的信息都在被收集捕捉着。那么这么多的信息要怎样对他进行较高效率的处理呢？不可能是传统的几台服务器和存储，那是远远不够的。网络上有一句话：谁说大象不能跳舞？我们对于传统的认知，大象的笨重体态是舞不了的，不过抽象来看，如果可以将某种笨重而庞大的事物变得灵活起来，不就恰似使得大象舞动起来了吗？不错，对于大量数据的处理，催生了Hadoop，他就是能够处理海量数据的一种工具。它的logo呢是一只黄色的大象，他是apache公司的一种开源的分布式平台，在此，本文不讨论或者论述Hadoop是系统还是软件问题，我姑且把他称为一种工具。一种能够将大象培训成舞者的工具。Hadoop的设计是针对海量数据的，所以它的延迟性也就较高，对于非常小的数据，并不适合，对于客户需要交互的低延迟性的也不能满足。Hadoop本身具有很高的冗余性。有所得到就会有所牺牲，因为Hadoop是安装在廉价的普通集群上的，一些机器很容易就有问题或是宕机了，Hadoop为了的保证数据的安全性，存储时每份数据都会默认进行分割，每相同的一块都会进行三份复制，这就相当于牺牲了相当大量的硬盘进行存储。Hadoop自从研发以来有两个系列的发展，Hadoop1.x和Hadoop2.x系列，目前为止Hadoop2.x更加流行，它是基于Hadoop1.x系列的完善和优化版本，相比于1.x的版本，Hadoop2.x版本的系统架构则更加合理和完善，具有更多的成员组件，尤其是HadoopYarn的体系架构，使Hadoop2.x系列明显优于Hadoop1.x系列，本文会在Hadoop的章节介绍后更为细致的介绍HadoopYarn的功能以及它的工作成员和细节。那么，我们就正式开始介绍Hadoop2.x系列里