Pivotal开源大数据平台概览

ANEWPLATFORMFORANEWERAO©Copyright2013Pivotal.Allrightsreserved.Pivotal介绍一家新成立的公司–正式成立于2013年4月1日–继承了EMC和VMWare两家公司在特定产品和技术方向上的人员和资产–股东:EMC,Vmware,GE…–公司使命:为一个崭新的技术时代构建支撑平台©Copyright2013Pivotal.Allrightsreserved.日程为什么需要一个新的技术支撑平台?技术支撑平台分类与演进技术传承，团队组成与未来计划特别嘉宾主题©Copyright2013Pivotal.Allrightsreserved.企业IT的带系发展MAINFRAME实现财务处理自动化MainframesISAMCLIENT-SERVER&WEB实现大部分纸面处理流程的自动化:ERP,CRM,Email,…RelationalDatabasesMini’s&PC’sCloud-EnabledDatacenterNewData-fabricsCONSUMERGRADE新的客户体验新的业务模式由服务于海量客户的互联网巨头企业引领潮流–新的应用构建和支撑方式©Copyright2013Pivotal.Allrightsreserved.CONSUMERGRADE先行者:服务于海量客户的互联网巨头企业MAINFRAMESoftware-DefinedDatacenterNewData-fabrics新的客户体验新的业务模式由服务于海量客户的互联网巨头企业引领潮流CLIENT-SERVER&WEBSoftware-DefinedDatacenterNewData-fabrics私有的数据中心与基础架构©Copyright2013Pivotal.Allrightsreserved.CONSUMERGRADE先行者:服务于海量客户的互联网巨头企业MAINFRAMESoftware-DefinedDatacenterNewData-fabrics新的客户体验新的业务模式由服务于海量客户的互联网巨头企业引领潮流CLIENT-SERVER&WEBSoftware-DefinedDatacenterNewData-fabrics私有的数据中心与基础架构存储并且在非常大量的数据上进行分析©Copyright2013Pivotal.Allrightsreserved.CONSUMERGRADE先行者:服务于海量客户的互联网巨头企业MAINFRAMESoftware-DefinedDatacenterNewData-fabrics新的客户体验新的业务模式由服务于海量客户的互联网巨头企业引领潮流CLIENT-SERVER&WEBSoftware-DefinedDatacenterNewData-fabrics私有的数据中心与基础架构快速应用开发存储并且在非常大量的数据上进行分析©Copyright2013Pivotal.Allrightsreserved.CONSUMERGRADE先行者:服务于海量客户的互联网巨头企业MAINFRAMESoftware-DefinedDatacenterNewData-fabrics新的客户体验新的业务模式由服务于海量客户的互联网巨头企业引领潮流CLIENT-SERVER&WEBSoftware-DefinedDatacenterNewData-fabrics私有的数据中心与基础架构快速应用开发存储并且在非常大量的数据上进行分析大规模自动化运维©Copyright2013Pivotal.Allrightsreserved.来自企业的独有需求…快速应用开发MAINFRAMECLIENT-SERVER&WEBCONSUMERGRADE存储并且在非常大量的数据上进行分析新的客户体验新的业务模式由服务于海量客户的互联网巨头企业引领潮流大量设备,海量日志,多种应用…无处不在的数据采集Software-DefinedDatacenterNewData-fabrics©Copyright2013Pivotal.Allrightsreserved.来自企业的独有需求…快速应用开发MAINFRAMECLIENT-SERVER&WEBCONSUMERGRADE存储并且在非常大量的数据上进行分析新的客户体验新的业务模式由服务于海量客户的互联网巨头企业引领潮流大量设备,海量日志,多种应用…无处不在的数据采集Software-DefinedDatacenterNewData-fabrics在收集数量庞大的事件数据的同时对特定事件进行实时反应©Copyright2013Pivotal.Allrightsreserved.来自企业的独有需求…快速应用开发MAINFRAMECLIENT-SERVER&WEBCONSUMERGRADE存储并且在非常大量的数据上进行分析新的客户体验新的业务模式由服务于海量客户的互联网巨头企业引领潮流大量设备,海量日志,多种应用…无处不在的数据采集Software-DefinedDatacenterNewData-fabrics在收集数量庞大的事件数据的同时对特定事件进行实时反应与传统应用和基础架构有机配合©Copyright2013Pivotal.Allrightsreserved.来自企业的独有需求…快速应用开发MAINFRAMECLIENT-SERVER&WEBCONSUMERGRADE存储并且在非常大量的数据上进行分析新的客户体验新的业务模式由服务于海量客户的互联网巨头企业引领潮流大量设备,海量日志,多种应用…无处不在的数据采集Software-DefinedDatacenterNewData-fabrics在收集数量庞大的事件数据的同时对特定事件进行实时反应与传统应用和基础架构有机配合配合不同云计算平台实现高效运维和水平扩展...ETC©Copyright2013Pivotal.Allrightsreserved.NewExperiencesNewBizModelspioneeredbynewConsumerInternetgiantsInternet-of-thingsPervasivetelemetryMAINFRAMECLIENT-SERVER&WEBCONSUMERGRADEOperateatScaleinahighlyautomatedway新一代PaaS平台Software-DefinedDatacenterNewData-fabrics快速应用开发在收集数量庞大的事件数据的同时对特定事件进行实时反应存储并且在非常大量的数据上进行分析与传统应用和基础架构有机配合配合不同云计算平台实现高效运维和水平扩展...ETC上述因素促成了对新平台的需求©Copyright2013Pivotal.Allrightsreserved.典型目标场景–需要新的消费级支撑能力•通过遥测与遥控实现智能工业控制与维护诊断•实时电信应用场景•未来新零售场景•大规模智能农业应用•还有许多其他应用场景ANEWPLATFORMFORANEWERA©Copyright2013Pivotal.Allrightsreserved.新一代企业级PaaS的设计准则•与当前各种IaaS平台配合工作–不论是私有的还是公有的•充分关注新一代开发人员和新一代应用的需求•为有效进行实时大容量信息处理而设计•同时兼顾与传统应用的互操作性©Copyright2013Pivotal.Allrightsreserved....ETC•支持开放标准并与开源有效互动•一数据为中心•不与特定云平台绑定•针对开发者的需求•针对企业的需求CloudFabricDataFabricApplicationFabricScale-outstorage:HDFS/ObjectLanguages&FrameworksIngest&Query:veryhigh-capacity&in-memoryAnalyticsServicesCloudAbstraction(portability)Automation:AppProvisioning&Life-cycleServiceRegistryPivotalOne:重新定义企业级PaaS©Copyright2013Pivotal.Allrightsreserved.CloudFabricDataFabricApplicationFabricScale-outstorage:HDFS/ObjectLanguages&FrameworksIngest&Query:veryhigh-capacity&in-memoryAnalyticsServicesCloudAbstraction(portability)Automation:AppProvisioning&Life-cycleServiceRegistryPivotalOne:传承vFabricGemFirePivotalConfidential–InternalUseOnlyROBMEE&TEAMAgile&RADHadoopPIVOTALONEHERITAGECloudJava/SpringOUTSTANDINGTECHNICALTEAM+700ENGINEERSIMDGWeb/MobileDataScience&AnalyticsMPPSQLCHRISBEAMSJUERGENHOELLERNOELLESIOKAUSHIKDASDANHOLLEHUYLAEMIR-FARINASGAVINSHERRYLUKELONERGANEDWARDHIEATTALEXISRICHARDSONJAMESWATTERSJAGSRAMNARAYANMILINDBHANDARKARAPURVADESAIADRIANCOLYERSUDHIRMENONCHRISTOSTRYFONASPivotalConfidential–InternalUseOnlyCLOUDFABRICELISABETHHENDRICKSONMATTHEWKOCHERJAMESBAYERJEFFNICKJAMESWATTERSDAVIDSTEVENSONPivotalConfidential–InternalUseOnlyDATAFABRICDANHOLLELUKELONERGANMILINDBHANDARKARAPURVADESAIGAVINSHERRYCHRISTOSTRYFONASJAGSRAMNARAYANSUDHIRMENONPivotalConfidential–InternalUseOnlyAPPLICATIONFABRICCHRISBEAMSJUERGENHOELLERALEXISRICHARDSONADRIANCOLYERMATTHIASRADESTOCKSALVATORESANFILIPPO©Copyright2013Pivotal.Allrightsreserved.CloudAbstraction(portability)Automation:AppProvisioning&Life-cycleServiceRegistry•基于CloudFoundry•开放并以开源方式实现:Cloudfoundry.org•设计目标:-可移植性-可扩展性-自动化-弹性•不断成长的生态系统PivotalOne:云支撑架构CloudFabricDataFabric...ETCApplicationFabricCloudAbstraction(portability)Automation:AppProvisioning&Life-cycleServiceRegistry©Copyright2013Pivotal.Allrightsreserved.CloudFabricData&AnalyticsFabric...ETCPivotalOne:数据支撑架构ApplicationFabricScale-outstorage:HDFS/ObjectCatalo