SAP大数据实时武器之百纳百川

SAP大数据实时武器之百纳百川SAP大数据实时武器之百纳百川SAP中国公司D&T罗永强SAP中国公司D&T罗永强什么是大数据MassiveVolumeDiverseVariety数据量数据类型数据类型分析复杂度分析速度分析速度成本控制HihVelocityDAnalytics©2011SAPAG.Allrightsreserved.2HighVelocityDeepAnalytics大数据分析主要的挑战及解决办法挑战现有的技术控制大数据增长压缩，过滤，文件系统管理非结构化数据多数据源，数据模型，数据管理技术复杂分析场景硬件的大规模并发决策速度快速数据采纳，分析，分配并发用户扩展分区用户混合负载©2011SAPAG.Allrightsreserved.3大数据需要什么技术解决的问题需要的技术数据的快速获取Hadoop, MapReduce,SAP HANA, Sybase IQ, Vertica, Esper, Kdb+, Greenplum, ETL, Netezza, Teradata, Replication Server,SybaseEvent Stream Processorp,y大数据分析Matlab,SAS,RevolutionR,SPSS,Hive,SciPy,MahoutAMPLMahout,AMPL信息价值挖掘自学习，社交媒体分析，情绪分析，预测模型，网络分析图形化场景模拟络分析，图形化，场景模拟业务场景服务个性化，对市场趋势的快速反应，实时价格优化，更加快速、准确的决策，更好的研发，自动供应链管理©2011SAPAG.Allrightsreserved.4现实...永远处于等待信息中…?高效管理大数据面对问题实时获取答??高效管理大数据面对问题实时获取答案正确而完整的信息©2011SAPAG.Allrightsreserved.5大数据——寻求平衡点•数据量•数据类型•分析复杂度•分析复杂度•分析速度成本•成本控制20042005200620072008200920102011©2011SAPAG.Allrightsreserved.6SAP大数据实时解决方案——大数据与快速分析之间的平衡SbIQSybaseIQ数据管理数据存储0～40年的数据Explorer属性视图-AttributeViewIQ直接展现8年的数据Web-I展现6Explorer展现7分析视图-AnalView计算视图-CalcuViewSAPHANA高性能集群BOUniverse发布56数据复制3SAPHANA4In-MemoryIn-Memory数据分析3年内的数据数据抽取数据库OLAP实时复制1DataService抽取业务系统数据数抽取数据转换2数据库应用系统OLTP©2011SAPAG.Allrightsreserved.7文件、档案SAP为企业提供实时分析平台SAPSybaseIQ•海量大数据分析平台•发展近20年的列式数据分析引擎SybaseIQSAPHANA•提供秒级的实时分析响应•避免I/O瓶颈的新一代数据仓库技术©2011SAPAG.Allrightsreserved.8SAP内存计算-技术的协同创新硬件软件今天未来„多核处理器架构(每台刀片8x8核CPU,Xeon7650)分区：大量数据，复杂计算M,)„64bit地址空间–单台扩展到2TB,(理论达4EB)动态聚集MemoryIn-Memory增量数据处理++++达4EB)„100GB/s数据传输„价格迅速下降，性能迅速提升Cache压缩5-20倍„多台服务器并行运行性能迅速提升DiskDisk行+列存储行„每台服务器的价格低廉+©2011SAPAG.Allrightsreserved.9DiscreteIntegrated快是所有创新的起点，HANA是一个创新平台SAPHANA提供了一个高性能的实时数据计算平台，它不仅是“快”，基于HANA，可以充分释放企业的创新能力将不能可变为可能使效率提升的效果从量变飞跃到质变！释放企业的创新能力，将不能可变为可能，使效率提升的效果从量变飞跃到质变！实时数据监控实海量数据瞬间分析海量数据瞬间分析实时库存/营销实时数据监控，实现复杂事件管理优化资金产品周…………移动应用BI4客户端实时库存/营销优化资金，产品周转率海量数据极速分析合作伙伴构建的应用程序SAP商务套件SAP数据仓库SAP构建的应用程序内存计算台©2011SAPAG.Allrightsreserved.10SAPHANA内存计算平台HANA-高性能分析解决方案实时计算第三方„没有延迟的业务分析处理迅捷BI客户端SQLMDXBICS第三方查询工具„多处理器，海量内存„实时的计算引擎„紧密支持ERPSAP商务套件ERP/CRM等等实时同步更新HANAStudio-建模-管理行„紧密支持ERP简单易用„预装的设备等等…实时同步更新DW数据仓库计算和计划引擎行&列存储预装的设备„内置BAE（业务分析引擎）支持行业标准其他信息系统DB2ETL工具内存数据库内存数据库„ANSI92SQL„MDX,JDBC/ODBCSAPHANASybaseOracleSQLServer©2011SAPAG.Allrightsreserved.11SAPHANA技术架构HANA是什么HANA技术革新SAPHANADatabase访问请求处理/执行控制事务管理数据库会话管理SQLParserMDXSQLScriptCalcEngine事务管授权管理关系引擎RowStoreColumnStore元数据管理数据持久层PageManagementLogger磁盘存储LogVolumesDataVolumes©2011SAPAG.Allrightsreserved.12SAPHANA是硬件和软件的一体化设备HANA是什么HANA技术革新SAPHANA是硬件和软件的体化设备内存计算引擎/内存数据库HANA内存计算引擎/内存数据库实时数据管理平台软件HANA++认证的硬件系统硬件硬件©2011SAPAG.Allrightsreserved.13内存计算技术的“革新”HANA是什么HANA技术革新内存计算技术的革新内存计算的概念并不新鲜，然而随着硬件的成本下降以及软件技术的革新，让SAP硬件技术革新软件技术革新内存计算的概念并不新鲜，然而随着硬件的成本下降以及软件技术的革新，让SAP可以利用基于内存的应用提供组织实时管理和运维的愿景硬件技术革新软件技术革新„多核处理器架构(每台刀片8x8核CPU)„行/列存储，对象存储(每片核)„大量刀片并行运行„每台刀片的价格低廉„压缩„64bit地址空间–单台扩展到2TB„分区到多台服务器节点取消聚集表展到2TB„100GB/s数据传输„价格迅速下降，性能迅速提升„取消聚集表„只插入增量数据©2011SAPAG.Allrightsreserved.14SAPSybaseIQ:是市场的领导者y第一个column-based分析服务器•为分析型应用提供服务近20年•比其他数据库快10到1,000倍•超过4,000独立安装点和2,000多客户并且还在增长•10项专利的领先技术10项专利的领先技术•快速技术创新：v15.0,v15.1in2009;v15.2in2010;v15.3in2011；V15.4in2012©2011SAPAG.Allrightsreserved.15面向列的方式更少资源更高性能SAPSybaseIQ传统SAPSybaseIQ基于列的RDBMS传统基于行的RDBMSVS.数据按需获取需求变化对应索引变化EDW1TB基表数据=246TB存储数据汇总数据W基表数据2.4-6TB存储数据SybaseQ索引1TB基表数据=TB存储数据选择性获取数据快速必须全量读取数据慢yIQ基表•选择性获取数据…快速•高级数据压缩…更少投入•数据就是索引•必须全量读取数据…慢•汇总，索引，立方体数据膨胀…增加投入•索引与数据分离©2011SAPAG.Allrightsreserved.16SYBASEIQ绿色数据压缩:节省投资节省时间节省投资—节省时间已经证实的数据压缩节省存储单位TB图标越短越好与原始数据的压缩比较:3.45x与行存储数据库的压缩比较(Oracle,DB2等等):10x©2011SAPAG.Allrightsreserved.17与行存储数据库的压缩比较(Oracle,DB2等等):10x基于IQ的查询性能提升列存储专利的索引1、默认的FP索引2、表关联的HG索引3、指标计算的HNG索引4、文字处理的WORD索引©2011SAPAG.Allrightsreserved.18SAPSybaseIQPlexQ构筑企业云环境MPP–SharedEverythingarchitectureforvirtualdatamarts(VDM)特性优点特性•VDM 通过登录权限控制•VDM 可以分割应用，负载，用户–VDM1:数据挖掘;VDM2:报表优点•有效负载分摊及分区•弹性、灵活的资源分配资源的高利用率VDM 1:数据挖掘; VDM 2:报表–VDM 1:查询; VDM 2:加载–VDM 1:财务部; VDM 2:市场部; VDM 3: 人事部•在VDM内部单一查询DQP–资源的高利用率–适合大并行，并发任务•适合私有云及SaaS提高性能SLA©2011SAPAG.Allrightsreserved.19在VDM内部单查询DQP•在VDM之间动态(计划)调整资源–提高性能SLA•低价带来高扩展性SAPSybaseIQVDM运行图y©2011SAPAG.Allrightsreserved.20对云平台的支持：封装MAPREDUCETechnologyWhat:TblParamUDFsHow:partitionsdataintoExample:selectnewqts*fromWhat:TblParamUDFs(TPF)towriteMapReduceapplications;C++onlyHow:partitionsdataintodisjointsetsonticker,feeds“map”,collatesin“reduce”;simpleprimitiveswithMPPExample:selectnew_qts.frommisg_qts(TABLE(SELECT*FROMiq_qts_tbl.qtsWHEREtickerIN(‘SY’,‘TDC’,‘ORCL’))OVER(PARTITIONBYqts.tickerORDERBYqts.trade_timeASC)))ASnew_qtsORDERBYqts.trade_timeASC)))ASnew_qtsMMMRgyBigDataAnalyticsBenefitsPerformance&Scale:HighspeedcustomizedAppExamples:Dataintensivepre-processingEconomics:analyzestructured+unstructuredin©2011SAPAG.Allrightsreserved.21queriesthatcanmassivelyscaleoute.g.weblogfiles,textfiles,graphdata,…structured+unstructuredinoneplatform;lowerTCO对云平台的支持：集成HADOOP客户端联邦Example:selectIQ.col1,HV.col2whereIQ.col1=ETL处理ExportsHDFSdataandthenparallelpHV.col2andIQ.col110bulkloads/insertsintoIQ联邦查询:ExportsMapReducejobresultsfromHadooptoIQthatisjoinedwithMapReducejobinIQ数据联邦：SybaseIQinJAVA(serial)/C++(parallel)rea