基于hadoop的服务平台

基于hadoop的服务平台罗李阿里集团数据平台-海量数据个人介绍阿里集团-海量数据-罗李(淘宝花名：鬼厉)2008年加入阿里集团，先后在B2B，阿里云和集团技术共享平台工作，一直从事Hadoop相关的分布式计算研究，作为主要开发和运维人员经历了云梯Hadoop集群的上线和发展壮大，现在是云梯Hadoop服务的主要负责人。Email:[e-mail]luoli523@twitter内容提纲云梯Hadoop服务简介云梯Hadoop版本特性简介案例介绍：基于云梯的淘宝数据平台架构简介云梯HADOOP服务简介云梯1集群历史云梯面向阿里集团的海量数据存储和计算服务云梯1：基于开源的Hadoop平台云梯2：基于阿里云自主研发的飞天平台云梯1集群2009年04月上线，200台，淘宝机房(B2B-搜索技术中心，ASC)2010年03月，700台，阿里云机房(全量数据迁移，2PB)2010年07月，1000台2011年10月，云梯1开发团队加入集团技术平台部2012年06月，2500台云梯集群概况云梯Hadoop集群HDFSMapReduceHivePigMahout…淘宝数据平台阿里金融B2B数据仓库阿里云旺旺数据支付宝数据一淘搜索一淘广告淘宝交易B2B搜索阿里云无线B2B广告淘宝店铺良无限搜索商城商家聚划算CDN/IT/DBABI分析师云梯服务2011新增用户组2011之前用户组√计算资源共享√数据共享√低成本√高效率云梯服务•HDFS-海量数据存储服务分组，通过quota(空间/文件数)限制：/group/taobao数据共享：淘宝/B2B/支付宝生产数据MapReduce-大规模分布式计算服务分组，slot限制，按需申请，集中分配和调度生产/开发/测试共享集群，白天开发，晚上生产云梯服务特色单一大集群多用户共享计算分时按需申请，按使用量计费其他云梯服务云梯服务架构淘宝对外HBase(CDH3)支付宝集群(0.20.2)调度系统B2BGateways淘宝机房集团余杭机房云梯Gateway云梯Gateway云梯集群云梯Gateway云梯GatewayHDFSMapReduceHBase云梯GatewayDFSClientMRClientHiveClientHiveMeta云梯服务vs.自建集群从用户角度出发自建Hadoop集群使用云梯Hadoop服务机器采购，机房布局不用考虑集群运维，节点宕机后需要立即介入不用考虑计算资源不足，存储空间不足，需要扩容，采购新的机器网页上申请，即日生效Hadoop代码维护，专业的Hadoop开发人员必要时只需维护Hadoop客户端使用其他团队数据，需要从另外集群复制过来阿里集团大部分数据在云梯上能找到云梯HADOOP版本特性简介云梯技术挑战和Hadoop版本特性共享：计算资源的分配和调度(TaskScheduler)资源组的划分:消除某些组的大作业对其他组的影响完整的作业优先级支持:支持天网调度对异构操作系统或硬件的兼容性:比如支持跨OS版本调度共享：组间文件共享(跨部门/跨公司)ACL(ExtendsTraditionalUnixpermissions:U/G/O)/group/taobao/auctions:b2b_dw:+R:ttclient:+RW云梯技术挑战和Hadoop版本特性稳定：消除异常Job的影响内存监控:单个Task内存限制，计算节点内存上限控制磁盘IO监控:单个Jobshuffle线程对单块磁盘的读取限制限制单个Jobmap/reducetask数目限制单个Jobcounter数目单个Job本地文件系统数据读写量监控单个Job频繁创建HDFS文件的监控云梯技术挑战和Hadoop版本特性性能：解决Master节点的单点性能压力NameNodeRPC请求压力：X亿文件+X亿block，日请求量超过XX亿次NameNode改进RPCreader改造使用读写锁，尽可能的提高NameNode内部的并发JobTracker调度压力：日调度运行XX万个Job，XXXX万个Task，高并发多用户JobTracker改进Scheduler调度算法重写一次心跳分配多个TaskOut-of-boundheartbeat提高调度的效率RPClistenerdoAccept-doReadNameNodeRPC性能优化NameNodeRPC平均每秒请求15K，高峰时超过40KRPC架构RPClistenerRPCReadersRPCHandlersNameNodeFSNamesystem+BlocksMapDFSClientgetFileInfodoAcceptdoReadRPCResponderCall(“getFileInfo”,“file”,…)NameNodeJVMNameNode读写锁优化全局锁（FSNamesystem对象）RPChandler多线程串行化读操作：getFileInfo,getBlockLocations,getListing等调用次数占75%以上写操作：create，delete，mkdir，rename，addBlock等读写锁改造ReentrantReadWriteLockRPChandler并行度提高Sync线程优化JobTracker调度优化•JobTracker性能达标，heartbeat处理时间小于1ms•集群利用率最多到达80%左右进一步分析TaskTrackerHeartbeat间隔固定(5-6秒)对小job来说运行时间较短，但调度开销巨大对策：使用Out-of-boundheartbeat，在Task结束后立即发送心跳到JobTrackerreportStatus优化前:等待5-6sheartbeat间隔优化后:无需等待Out-of-boundheartbeat的效果1.吞吐量提升，Slave上同时Running的Task增加2.作业运行速度提升，1x1M/RJob运行时间缩短到1/4SetupTaskMapTaskReduceTaskCleanupTask1-2secs2-3secs1-2secs1-2secsJobTrackerJobClientSubmitjobassignTask结果优化前:运行时长30-40秒优化后:运行时长8-10秒RRRFFFRRRRRFR:RunningTaskF:FinishedTask云梯技术挑战和Hadoop版本特性云梯持续发展的压力-解决跨版本的兼容性1.HadoopServer：云梯Hadoop(基于ApacheHadoop0.19.1)2.HadoopClient：0.19.x：公司内大规模部署，几百个Gateway0.20.x：社区主流版本，Hadoop生态圈支持3.社区Hadoop版本(0.23之前)不支持跨版本的兼容4.Hadoop0.19和0.20代码库差别不大5.0.20重要的新增feature都在云梯Hadoop中实现:A.HDFSAppendB.MapReducenewAPIHadoop版本兼容性HackHadoopprotocols(Hadoop0.20vs.0.19)协议0.19版本号0.20版本号改变RPCprotocol23ChangeRPCconnectionheader(Request带版本信息)HDFSClientProtocol4041NEWFEATUREsaveNamespace(DFSAdmin)HDFSDataTransferProtocol1414NochangeMapReduceJobSubmissionProtocol1620NEWFEATUREgetClusterStatus(boolean)云梯版客户端云梯客户端优势1.和云梯服务端兼容性最好2.大量bugfix，比如DFSClient的多个patch3.性能优化，比如JobClient使用listLocatedStatus代替listStatus4.新增功能（比如支持MRnewAPI和HDFSappend）5.将来：集成高级功能，比如无缝HA切换云梯Hadoop版本特性–总结支持计算资源共享更好的支持数据文件的共享提升Hadoop集群的稳定性提升Master节点的性能支持Hadoop跨版本的兼容性服务类型扩展支持多种计算模型，比如MPI/Storm等，超越HadoopMapReduce(Hadoop2.0Yarn)更好的资源控制和计费，利用cgroup等(基于Hadoop2.0Yarn)云梯成为阿里集团大规模计算/存储资源管理中心服务质量提升Master节点HANameNodeHA(Hadoop2.0)做到不停机升级，加快软件的进化速度Hive实时化M/R调度性能的深度优化结合HBase或索引等相关技术云梯服务后续发展方向(cont.)性能和扩展性M/RShuffle性能优化利用操作系统的底层性能优化(Linux内核团队)利用JVM的性能优化(淘宝JVM团队)NameNode不停机升级HDFSfederation支持跨机房(当前机房上限是6000台)云梯服务后续发展方向(cont.)案例介绍：基于云梯的淘宝数据平台架构基于云梯的淘宝数据平台架构Oracle备库Oracle备库MySQL备库MySQL备库日志系统日志系统云梯Hadoop集群云梯Hadoop集群数据平台数据平台搜索搜索支付宝支付宝B2BB2BGatewayServersGatewayServers数据魔方数据魔方量子统计量子统计口碑口碑DBSyncDBSync爬虫数据爬虫数据MapReduceJobsStreamingJobsHiveJobs广告广告BIBI淘数据淘数据推荐系统推荐系统搜索排行搜索排行……TimeTunnelTimeTunnelDataXDataX数据流向天网调度系统数据用户部门对外数据产品Q&A谢谢！