微软汽车行业大数据平台建设探讨

MICROSOFTCONFIDENTIAL汽车行业-数据驱动的时代MICROSOFTCONFIDENTIAL汽车行业面临的挑战TheConnectedMarketing,Sales&ServiceOthersTheConnectedVehicleConnectedProductInnovationConnectedOperationsTransformationOpportunitiesCustomerExamplesMICROSOFTCONFIDENTIAL信息化的纵深发展，带来汽车行业的大变革数字化转型•60%的客户的交互都是通过数字渠道和经销商网络•车企需要增强他们的价值网络，通过数字渠道的方式来洞察客户全生命周期的管理。车辆信息Hub的转型•智能互联车辆•到2020你那互联车辆的渗透率将从20%上升到90%•开放的生态环境将给车企带来更多的挑战，也给车企提供更多的服务机会•独特的互联客户体验是未来的主要方向高度互联的业务变化要求无处不在的客户体验需要3MICROSOFTCONFIDENTIAL汽车行业信息化的趋势为四个“Connected”今天的技术趋势正在引爆机会！！！移动企业社交大数据云计算物联网ConnectedMarketing,Sales&Service客户更愿意通过数字渠道结合经销商网络来做决定ConnectedOperations成本和风险管理依然是企业制造和运营的关键因素ConnectedProductInnovation智能互联的产品驱动了开发过程中的创新ConnectedVehicle驱动更多的个性化客户体验和持续服务4MICROSOFTCONFIDENTIAL531应用4600接口3400晚间批量任务没有“端到端”的流程.海量非结构化数据支持效率:一般一个员工只能支持17个应用车企的“Connected”首先意味着大量业务数据的整合MICROSOFTCONFIDENTIAL6所有的数据都是复杂、耗时和难以获取…数量数据爆炸性增长集成各自为政的数据孤岛质量数据质量不可靠行动难以快速获得数据价值然而：业务整合只是一个过程MICROSOFTCONFIDENTIAL2.复杂的数据流和监控规则7.机器自学习1.可扩展的数据链接和数据获取3.可按地域的云存储4.大数据5.BI商业智能5.BI商业智能5.BI商业智能6.客户和服务管理6.客户和服务管理车企需要构建这样的大数据平台和业务互联MICROSOFTCONFIDENTIAL8互联大数据平台带来的价值客户亲密度情景体验|跨设备体验关系生命周期管理crm|plm|scm|dms机器自学习预测|分析云平台+基础架构全局化|可扩展DataMICROSOFTCONFIDENTIAL汽车行业互联的大数据平台方案TheConnectedMarketing,Sales&ServiceOthersTheConnectedVehicleConnectedProductInnovationConnectedOperationsTransformationOpportunitiesCustomerExamplesMICROSOFTCONFIDENTIAL检测监控预测维护分析展现市场营销大数据中心平台整体架构MICROSOFTCONFIDENTIALLandingLayerBatchLayerServingLayerSpeedLayerRawDataStorageStaticViewsPrecomputingPrecomputingAd-hocBatchViewsStaticBatchViews实时数据流RawDataStoragePre-computingBatchViewsLegend:LayerboundaryDataflow(withdirectionindicated)DataexchangeDataLanding数据采集数据处理数据展现IndexingandViewsReal-TimeProcessing,AggregationsStreaming实时数据流实时数据流ProcessingMicrosoftRServerSQLModelingDataArea大数据中心平台逻辑架构企业私有云平台基础架构MICROSOFTCONFIDENTIAL大数据中心三大组成部分基础架构-私有云平台数据存储及运算-Hadoop平台数据分析及展示-R-Server/BI数据分析平台123MICROSOFTCONFIDENTIAL资源管理平台服务管理平台虚拟化管理工具资源池（异构）服务器存储网络设备……服务流程平台SystemCenterServiceManager统一门户数据中心管理员（资源管理）应用管理员（应用扩容）最终用户（服务申请）知识库报表系统管理数据、流程总线配置管理工具监控管理工具门户管理平台SharePointServer灾备管理工具传统物理资源虚拟化资源微软私有云(IaaS)平台逻辑架构MICROSOFTCONFIDENTIAL构建统一管理的私有云平台MICROSOFTCONFIDENTIAL私有云的运营MICROSOFTCONFIDENTIAL基础架构监控MICROSOFTCONFIDENTIAL自动化修复MICROSOFTCONFIDENTIAL动态优化资源MICROSOFTCONFIDENTIAL更新管理MICROSOFTCONFIDENTIAL服务交互自动化MICROSOFTCONFIDENTIAL自动化体检MICROSOFTCONFIDENTIAL记账/收费MICROSOFTCONFIDENTIAL本地灾备：主站点数据中心机房的冗余MICROSOFTCONFIDENTIAL可备份到公有云应用创新混合的超大规模的企业级别的MicrosoftAzurePublic,Global,SharedDatacenters私有云数据中心CoreSoftwareInfrastructureIaaSPaaSComputeStorageNetworkAzureManagementPortalCloud-inspiredinfrastructurePoweredbyWindowsServer,Hyper-V,SystemCenter(futureAzureStack)WindowsAzurePack(futureAzureStackPortal)IaaSPaaSComputeStorageNetworkAzureGlobalDatacentersDatacenterInfrastructureLinuxWindowsServerLinuxWindowsServerSystemCenter+OMS从私有云扩展到混合云MICROSOFTCONFIDENTIAL大数据中心三大组成部分基础架构-私有云平台数据存储及运算-Hadoop平台数据分析及展示-R-Server/BI数据分析平台123MICROSOFTCONFIDENTIAL为什么需要Hadoop数据来源数据系统数据访问业务分析定制应用现有数据数据库运营应用新数据有限的数据不足以管理现有的数据，更不用说新数据，同时还要维护规模性能。数据首先必须是结构化的。有限的洞察有限的访问和较差的数据视角导致较差的分析和低采用度。很难将洞察转化为行动。复杂的架构更多的数据，更多的用户，更多的工具制造了复杂性。统一安全中的漏洞让不良行为者可以有访问权。传统方式的设计是为结构化：•结构化的数据•结构化的分析•结构化的流程MICROSOFTCONFIDENTIAL为什么需要Hadoop1)数据类型的限制EnterpriseDataWarehouse应用数据源结构化非结构化加载StagingEnvironment传统架构EnterpriseDataWarehouse服务ELT归档BI应用建模报表ETLStorage#1Storage#2StorageNIngest处理加载1MICROSOFTCONFIDENTIAL为什么需要Hadoop1)数据类型的限制2)处理能力的限制EnterpriseDataWarehouse应用数据源结构化非结构化IngestStagingEnvironment传统架构EnterpriseDataWarehouseServeELTArchiveBI系统建模报表ETLStorage#1Storage#2StorageNIngestProcessLoad122MICROSOFTCONFIDENTIAL为什么需要Hadoop1)数据类型的限制2)处理能力的限制3)数据容量的限制EnterpriseDataWarehouseApplicationsDataSourcesStructuredUnstructuredIngestStagingEnvironment传统架构EnterpriseDataWarehouseServeELTArchiveBISystemModelingReportingETLStorage#1Storage#2StorageNIngestProcessLoad1223MICROSOFTCONFIDENTIAL新的方式1)接收更多的数据ApplicationsDataSourcesStructuredUnstructuredStagingEnvironmentHadoop架构EnterpriseDataWarehouseEDHIngestActiveStructuredDataServeServeELTArchiveLoad1ETLBISystemModelingReportingMICROSOFTCONFIDENTIAL新的方式1接收更多的数据2)强大的并发处理能力ApplicationsDataSourcesStructuredUnstructuredStagingEnvironmentHadoop架构EnterpriseDataWarehouseEDHIngestActiveStructuredDataServeServeELTArchiveLoad21ETLBISystemModelingReportingMICROSOFTCONFIDENTIAL新的方式1)接收更多的数据2)强大的并发处理能力3)全量数据在线ApplicationsDataSourcesStructuredUnstructuredStagingEnvironmentHadoop架构EnterpriseDataWarehouseEDHIngestActiveStructuredDataServeServeELTArchiveLoad231ETLBISystemModelingReportingMICROSOFTCONFIDENTIALHadoop-企业级的数据HUBHadoop提供：•一个地方用于无限任何类型的数据•统一的，多框架的数据访问•领先的性能和可扩展性企业要求：•高性能•开源，开放标准•完整的系统和数据管理•企业级的安全性•全面数据监管安全和管理无限存储处理发现制模服务部署灵活性现场设备过程化系统共有云私有云混合云MICROSOFTCONFIDENTIALHadoop:扩展性&灵活性–存储&计算TheHadoop传统数据仓库$30,000+perTB昂贵而遥不可及•扩展困难•网络成为不可避免的瓶颈•只能处理结构化／关系型数据•很难增加新的字段和数据类型昂贵的、专用的、“可靠的”服务器昂贵的软件许可证Network数据存储(SAN,NAS)计算(RDBMS,EDW)$300-$1,000perTB经济且可以企及•可无限平行扩展•网络不再是瓶颈•轻松摄取任何类型的数据•灵活的读取时检查数据类型的访问方式商业化的“不怎么可靠”的服务器混合的开源软件计算(CPU)内存存储(Disk)zzMICROSOFTCONFIDENTIAL大数据中心三大组成部分基础架构-私有云平台数据存储及运算-Hadoop平台数据分析及展示-R-Server/BI数据分析平台123MICROSOFTCONFIDENTIAL微软数据产品家族RDBMSF