ZQC调度器

毕业设计说明书作者:章奇超学号：912106840631学院(系):计算机科学与工程学院专业:计算机科学与技术题目:基于遗传算法的Hadoop任务调度指导者：评阅者：2016年5月朱耀琴讲师声明我声明，本毕业设计说明书及其研究工作和所取得的成果是本人在导师的指导下独立完成的。研究过程中利用的所有资料均已在参考文献中列出，其他人员或机构对本毕业设计工作做出的贡献也已在致谢部分说明。本毕业设计说明书不涉及任何秘密，南京理工大学有权保存其电子和纸质文档，可以借阅或网上公布其部分或全部内容，可以向有关部门或机构送交并授权保存、借阅或网上公布其部分或全部内容。学生签名：年月日指导教师签名：年月日毕业设计说明书中文摘要云计算是一种将计算任务分布在大量计算机构成的资源池上的商业计算模型，用户可以动态按需申请资源，云计算具有超大规模，虚拟化，高可靠性，通用性，按需服务和极其廉价等优点。Hadoop平台是云计算下最流行的分布式系统框架，可靠性好，同时也易于扩展。Hadoop的任务调度技术是此平台的关键性技术，任务调度策略对于整体作业的执行效率至关重要，而遗传算法作为一种常用的启发式优化算法，能较好的计算出最优的任务分配序列，适用于Hadoop的任务调度。本文设计了基于遗传算法的Hadoop平台任务调度算法，实验证明，此算法是Hadoop平台下有效的任务调度算法。本文主要工作如下：1）在Hadoop的存储管理，MapReduce计算框架，作业调度系统和遗传算法等概念的基础上，给出了基于遗传算法的Hadoop任务分配模型描述，重点阐述了算法中若干关键问题，并给出了算法的流程步骤。2）搭建实验平台，给出算法中相关类的实现，并介绍算法的加载，最后得到实验结果和对其的分析。关键词Hadoop平台任务调度遗传算法毕业设计说明书外文摘要TitleThetaskschedulingalgorithmbasedongeneticalgorithmAbstractCloudcomputingisabusinesscomputingmodelwhichputcomputingtasksinresourcepoolcomposedbyalotofcomputers,theusercandynamicallyapplyresourcesasneeded.cloudcomputinghasmanyadvantages:largescale,virtualization,highreliability,versatility,on-demandserviceandverycheap.Hadoopplatformisthemostpopularcloudcomputingdistributedsystemframework,goodreliability,butalsoeasytoexpand.Hadooptaskschedulingtechnologyisthekeytechnologyintheplatform,taskschedulingstrategyisakeyelementtotheefficiencyoftheoveralljobexecution,andgeneticalgorithmasacommonlyusedheuristicoptimizationalgorithm,usedtocalculatetheoptimaltaskassignmentsequence,applicabletotheHadooptaskscheduling.Thetaskschedulingalgorithmbasedongeneticalgorithmisdesignedinthispaper.TheexperimentalresultsshowthatthisalgorithmisanefficienttaskschedulingalgorithminHadoopplatform.Themainworkofthispaperisasfollows:1)OnthebasisoftheprincipleofHadoopstoragemanagement,MapReducecomputationalframework,jobschedulingsystemsandgeneticalgorithms,itgivesthedescriptionofHadooptaskassignmentmodelbasedongeneticalgorithm,explainsseveralkeyissues,andgivesalgorithmofprocesssteps.2)setuptheexperimentalplatform,givetherealizationofrelatedclasses,andintroducethealgorithmofloading,andfinallygettheresultsoftheexperimentanditsanalysis.KeywordsHadoopplatformtaskschedulinggeneticalgorithm本科毕业设计说明书I目次1绪论.......................................................................11.1研究背景与研究意义....................................................11.2国内外研究现状........................................................11.3论文研究内容..........................................................21.4论文结构..............................................................22Hadoop平台介绍.............................................................32.1Hadoop平台简介........................................................32.1.1Hadoop存储管理...................................................32.1.2MapReduce计算框架................................................42.2Hadoop作业调度系统....................................................62.2.1相关概念.........................................................62.2.2插件式调度框架...................................................72.2.3经典调度器介绍...................................................73基于GA的Hadoop任务调度模型与算法.........................................83.1遗传算法原理...........................................................83.1.1遗传算法的相关概念...............................................83.1.2遗传算法的特点...................................................83.2基于GA的Hadoop任务调度模型...........................................93.2.1相关定义..........................................................93.2.2算法思想.........................................................93.2.3输入、输出和约束条件.............................................93.3算法的关键点..........................................................103.3.1编码和解码......................................................103.3.2选择算子........................................................103.3.3交叉算子........................................................113.3.4变异算子........................................................113.3.5适应度函数......................................................123.3.6初始种群的产生和收敛条件........................................123.3.7其它约束条件....................................................123.4算法的流程步骤........................................................134基于GA的Hadoop任务分配算法的设计与实现..................................154.1项目平台的搭建........................................................154.2类的设计与实现........................................................174.2.1遗传算法模块....................................................174.2.2Hadoop任务分配模块..............................................18本科毕业设计说明书II4.3算法加载..............................................................204.3实验结果分析..........................................................21结论......................................................................25致谢......................................................................26参考文献..................................................................27本科毕业设计说明书第1页1绪论1.1研究背景与研究意义计算机技术飞速发展，互联网所提供的服务和质量随之进步，云计算环境普及，这些技术的发展使分布式系统的应用越加广泛。如今，例如互联网上的网页数据、社交网站上的用户交互数据、电信网络中的话单数据，这些数据日常的数据量非常庞大，我们称之为海量数据（Massive