阿里Hadoop集群架构及服务体系

阿里Hadoop集群架构及服务体系梁李印（无影）阿里巴巴集团-海量数据Alibabaconfidential大纲1.集群发展现状2.集群服务模式及挑战3.Hadoop版本特性4.集群用户门户5.集群核心业务架构（三淘）Alibabaconfidential集群发展现状规模2007001000200030000500100015002000250030002009.42010.32010.72012.12012.10集群规模(台)上线集群迁移机房OracleRAC基本迁移完成服务扩展至全集团迎战11.11Alibabaconfidential•集群容量–约3200台服务器–物理CPU~30000核–内存~100TB–磁盘~36000块–存储容量~60PB集群发展现状容量与负载•集群负载–每天Job数150,000+道–每天hivequery数6,000+–每天扫描数据量~7.5PB–每天扫描文件数~4亿–存储利用率~80%–CPU利用率~65%峰值80%Alibabaconfidential集群发展现状业务支付宝云梯Hadoop集群HDFSMapReduceCBU聚划算一淘天猫淘宝•150+集群用户组•4,500+集群用户•阿里的“水电煤”服务Alibabaconfidential集群服务模式分组管理业务方：淘宝测试HDFS/group/taobao-dev/group/tmall-devNameQuotaSpaceQuotaMapReducecug-taobao-devcug-tmall-devmin/maxSlotsrealSlots计费按需申请按需申请Alibabaconfidential集群服务模式数据共享HDFS淘宝天猫交易表评价表支付宝成交表金融一淘•原始表/中间表/元数据共享•避免重复计算和存储•“阿里巴巴数据交换中心”Alibabaconfidential集群服务模式集群共享云梯Hadoop集群HDFSMapReduce生产开发测试预发全天可用9~23点9~23点9~23点•生产\开发\测试\预发共享一个集群•重点生产业务0~9点运行•非生产限制在9~23点可用•避免数据在不同集群间拖动Alibabaconfidential集群服务模式生态系统基于MapReduce的SQL引擎Hive可以用任意可执行程序运行MapReduceStreaming机器学习算法库Mahout类似于Hive的大规模数据分析工具Pig准在线存储服务HBaseAlibabaconfidential集群服务模式优势自建Hadoop集群共用Hadoop集群集群搭建机器采购，机房布局不用考虑集群运维节点宕机后需要立即介入不用考虑集群扩容计算或存储资源不足，需要扩容，采购新的机器网页申请，审批通过即可生效代码维护Hadoop代码维护，专业的Hadoop开发人员不用考虑数据复制使用其他团队数据，需要从另外集群复制过来集团大部分数据集中在一起成本11668台2861台Alibabaconfidential•异常作业拖垮\拖慢集群•异常大作业浪费slots•部分Slave机器带宽被打满•NameNode被单个作业拖慢•近期案例–用户作业的Task中创建了大量线程–用户提交的作业配置了777777700个ReduceTask–用户作业的Task在slave机器上创建了1000w+临时文件集群服务挑战稳定性Alibabaconfidential–1000+客户端/Gateway,100+部门–客户端全量升级不现实–服务器端升级要保持向下兼容–客户端版本：•Hadoop0.19.x•Hadoop0.20.2•CDH3u3•内部版本集群服务挑战兼容性Alibabaconfidential集群服务挑战扩展性•NameNode压力•2亿文件+2.8亿Block•RPCops1.8~2.4万•JobTracker调度压力•并发运行1000+Job•并发运行4万+Map和2万+Reduce•1000+Gateway轮询作业状态•JVM的极限•上限130Gheap•超过100G的JVMHeapAlibabaconfidential•上千台机器，多个Master•上百个指标：系统，JavaGC，Hadoopmetrics„•集群突然变慢了？某个组新上线大规模作业？•大压力情况下出现bug了！•每个季度都有新版本发布，版本性能是否有提升？集群服务挑战诊断与测试Alibabaconfidential•调度器改造–增加JobLevel概念，优先保证Level高的作业–支持异构操作系统调度，如RTEL4u7,5u6–服务端控制Reduce启动时机（slowstart）•动态调整slots配置–动态增减TaskTracker上的slots个数–根据集群map和reduce使用比例调整Hadoop版本特性资源调度AlibabaconfidentialHadoop版本特性安全改进用户名用户组+用户名密码+用户名验证密码验证组权限验证通过通过客户端服务端•增加密码，加强安全性•将用户组信息放到服务端，方便客户端配置AlibabaconfidentialHadoop版本特性扩展UGOrwxr-x+---+usergroupother/group/taobao/hive/auctionsalipay:+Rtbclient:+RW资源注册权限申请权限审批ACL同步外围系统•满足数据的跨部门\公司访问•完善的外围系统Alibabaconfidential•消除异常Job的影响–内存监控•单个Task内存限制•计算节点内存上限控制–磁盘IO监控•Shuffle磁盘的读取限制•Shuffle速度限制•Job的日志量限制–Job的Task数限制–Job的Counter数限制–Job本地文件系统数据读写量监控–Job创建HDFS文件数目的监控–„„Hadoop版本特性稳定性Alibabaconfidential•Master节点的单点性能压力–NameNode改进•RPC改造，Listener拆分出多个Reader•使用读写锁，提高并发度•写操作等待sync时释放handler–JobTracker改进•Scheduler调度算法重写，从O(n2)降低到O(1)•一次心跳分配多个Task•JobHistory改造成异步写•Out-of-boundheartbeat提高调度的效率Hadoop版本特性性能AlibabaconfidentialHadoop版本特性JobTrackerHAActiveJobTrackerStandbyJobTrackerJobClientJobClientTaskTrackerTaskTrackerNFS写JobHistory读JobHistoryVIPVIPTaskTracker•根据JobHistory同步状态•满足升级需要•热备•不支持自动failover心跳提交&轮询作业AlibabaconfidentialHadoop版本特性Hook机制•pre-jobhook–作业提交前执行–配置JobLevel–自动优化Shuffle参数–自动设置Reduce个数•post-jobhook–作业结束后执行–收集Job运行数据Alibabaconfidential集群用户门户一站式Portal▽用户服务申请用户申请用户组申请Gateway▽组管理员服务申请审批申请Slots申请存储▽集群管理员服务申请审批管理用户管理用户组进度查询查询用户查询用户组查询Gateway用户手册管理GatewayQueue管理Slots管理•集群用户一站式完成各类申请•组管理员负责申请计算\存储资源•集群管理员通过网页控制集群配置Alibabaconfidential集群用户门户云梯医生•集群全局指标•存储\计算利用率趋势•用户\组资源使用趋势分析•Slots*Sec•HDFS/Localr/w•机器\机器组视图•业务作业对比(前一天\前一周)•数据量增长趋势•不同优先级作业资源消耗•Master节点关键指标•JobTracker心跳频率\时间•NameNodeRPC各项性能指标Alibabaconfidential集群核心业务数据平台架构Oracle备库MySQL备库日志系统云梯服务集群数据平台搜索支付宝B2BGatewayServers数据魔方量子统计口碑DBSync爬虫数据MapReduceJobsStreamingJobsHiveJobs广告BI淘数据推荐系统搜索排行…TimeTunnelDataX数据流向天网调度系统数据用户部门对外数据产品资料来源：VelocityChina2010-《淘宝云梯分布式计算平台整体架构》-张清(淘宝)Alibabaconfidential集群核心业务数据同步•其他数据来源–来自其他团队和公司的数据，比如支付宝数据，广告反作弊数据，通过云梯共享•数据流出–前台业务系统，如传统数据库、Hbase、DataX„–在云梯上共享给其他团队和公司，做进一步分析•数据流入TimeTunnel，分布式日志收集工具–日志数据：–数据库表：DBsync，增量，大表的快速同步DataX，前台数据库=云梯(双向同步)Alibabaconfidential•数据分析–HiveSQLWebIDE–帐号和云梯服务集成•知识管理–元数据/数据字典/数据订阅/表字段血缘分析•存储管理–数据生命周期管理–数据保留策略：周期性删除/极限存储/压缩/HDFSRaid集群核心业务数据开发Alibabaconfidential集群核心业务WebIDE•WebIDE开发界面截图AlibabaconfidentialQ&AAlibabaconfidential谢谢！