125-大数据的虚拟化之路：vSphere_Big_Data_Extension

深入解析vSphereBigDataExtensions蔺永华,VMware,Inc2主流大数据系统结构ETL用户实时数据非结构化数据存储(HDFS)结构化数据库BigSQL批量数据处理实时数据处理(s4,storm)分析工具3Hadoop1.x4HDFS5Map-Reduce系统结构Source:虚拟化Hadoop的优越性–整合系统资源，提高资源使用效率，灵活资源调度资源弹性伸缩数据分析的速度提高3倍7vSphereHA/FT提高系统可靠性AppOSAppOSAppOSXXAppOSAppOSAppOSAppOSXVMwareESXVMwareESXFTHAHANamenode，jobtracker零宕机89BDE简单易用的集群部署，管理工具10分钟内完成集群部署支持Hadoop和HBase自动化集群操作支持主流Hadoopdistro：Apache，CDH，HDP，MapR和IntelSerengeti10BDE部署架构11StorageHadoop系统结构的创新–VM层面上分离计算和数据节点ComputeCurrentHadoop:CombinedStorage/ComputeStorageT1T2VMVMVMVMVMVMSlaveNode12灵活伸缩－合理利用资源更好的多租户支持Experimentation动态资源控制数据层Productionrecommendationengine计算层ComputeVMComputeVMComputeVMComputeVMComputeVMComputeVMComputeVMComputeVMComputeVMComputeVMComputeVMComputeVMComputeVMComputeVMComputeVM试验集群产品集群ComputeVMJobTrackerJobTrackerVMwarevSphere+Serengeti13HadoopTopologyAwareness–HVEHadoop拓扑结构扩展/D1D2R1R2N1H1H2H3H4H5H6H7H8H9H10H11H12R3R4123/D1D2R1R2H1H2H3H4H5H6H7H8H9H10H11H12R3R4123N2N3N4N5N6N7N8132123414物理和虚拟化环境Hadoop性能对比,32台主机,每台主机16块硬盘Source:管理服务器系统架构16集群部署过程完成第一步:在vCenter上部署BDE.第二步:在UI上简单点击几次17集群创建过程VMplacementCalculationUICLICreateclusterrequestHostHostTTDNTT用户输入的集群定义文件{groups”:[“name”:“roles”:placementPolicies:{}]}VCDN可用资源查询SerengetiWebServiceVMCreationTemplateVMHostDNTT可用资源查询克隆VM配置VM124克隆VM克隆VM配置VM分析文件318Hadoop软件部署，配置流程Ironfan安装软件请求Ironfan需要的集群定义文件cluster_data:{rack_topology_policy:NONE,groups:[{name:ComputeMaster,roles:[hadoop_jobtracker],instances:[{name:“sample-ComputeMaster-0,……}}distro_package_repos:[],……DN1SerengetiWebService1AnalyzespecIronfanThriftServiceChefServerPackageServerChefClientTT1ChefClient2创建ChefnodesSSH到hadoop结点启动chefclient34下载cookbookRESTAPI55执行cookbookDataNodecookbookTaskTrackercookbookDownloadbitsHadoop安装包Pig,Hive,等.619Hadoop软件部署，配置流程Ironfan安装软件请求DN1SerengetiWebServiceIronfanThriftServiceChefServerChefClientTT1ChefClient7获取属性RESTAPI88配置hadoop，启动hadoop应用获取软件安装，配置状态保存状态到chefserver安装状态查询SerengetiWebServiceNote：软件安装和配置是同步运行的20VM部署策略限制每台主机上虚拟机的数量建立组间关联:•保证计算节点和数据节点部署于相同的主机，提高节点件通讯的性能21VM部署策略－机架感知策略均衡机架间节点的数量22磁盘部署策略HostDNCNHostDNCNSystemdisk在特定的本地磁盘集中存放系统盘，以方便用户对特定磁盘进行保护，提高VM的可用性SystemdiskDatadisksDatadisks在共享存储集中存放系统盘23RuntimeManager系统架构State,stats(Slotsused,Pendingwork)Commands(Decommission,Recommission)StatsandVMconfigurationSerengetiJobTrackervCenterDBManual/AutoPoweron/offVirtualHadoopManager(VHM)JobTrackerTaskTrackerTaskTrackerTaskTrackervCenterServerSerengetiConfigurationVCstateandstatsHadoopstateandstatsVCactionsHadoopactionsAlgorithmsClusterConfiguration