EMC Greenplum电信--Mobile

1©Copyright2011EMCCorporation.Allrightsreserved.新一代分析型云数据库及数据库云计算平台-EMCGreenplum2©Copyright2011EMCCorporation.Allrightsreserved.目录•Greenplum介绍、案例•GreenplumDatabase技术特点•测试方案讨论5©Copyright2011EMCCorporation.Allrightsreserved.Greenplum是数据分析应用的领航者“我们认为Greenplum是数据仓库软件技术的领导者.”-SteveHirsch,ChiefDataOfficer,NYSEEuronext•由世界级的技术和市场专家组成的团队•高端,大规模数据仓库、数据分析的领导者•提供超高性价比的数据分析平台•新一代数据仓库架构“EnterpriseDataCloud数据云”平台的先驱•Architect,TeradataOptimizer•Architect,TandemOptimizer•Architect,MSSQLServerOptimizer•Architect,OracleBit-MapIndex•Architect,OracleOLAP•Architect,InformixBit-MapIndex•Architect,TandemTransactionManager•Architect,MSSQLServerTransactionManager•Architect,MSSQLServerNLP6©Copyright2011EMCCorporation.Allrightsreserved.Greenplum分析型数据库软件为新一代数据分析所需的大规模数据和复杂查询功能所设计6超级云数据库的到来7©Copyright2011EMCCorporation.Allrightsreserved.Greenplum的竞争优势•易用性–并行处理由系统自动完成,没有复杂的调优需求–支持SQL标准，入门门槛低–支持任何schema(star,snowflake,3NF,hybrid,etc)–丰富的扩展性和语言支持(Java,Perl,Python,R,C,etc)•性能好–比传统解决方案快10-50倍。–每增加一个节点，查询、加载性能都成线性增长•性价比高–使用开放式X86平台，没有昂贵的专用设备和小机8©Copyright2011EMCCorporation.Allrightsreserved.全球各地的代表性客户9©Copyright2011EMCCorporation.Allrightsreserved.中国的部分客户9金融电信及互联网其他10©Copyright2011EMCCorporation.Allrightsreserved.四川及安徽电信项目架构及效益计费系统营业系统…抽取Oracle数据仓库系统客户数据Greenplum数据挖掘系统原始数据转发清单数据汇总数据回写数据仓库减负（清单汇总）明细数据挖掘（精准营销）抽取•为核心Oracle数据仓库系统进行减负。天源迪科把原仓库中长作业迁移到Greenplum系统中运行，再把运算结果回写到Oracle上。原来运行4，5个小时的作业，现在只需要十几分钟，即可完成•利用Greenplum系统计算能力，实现各种复杂挖掘运算，为精准营销业务开展提供有力的数据支持11©Copyright2011EMCCorporation.Allrightsreserved.重庆电信项目架构及效益计费系统营业系统…抽取IBMDB2数据仓库系统客户数据Greenplum数据集市加工汇总数据清单数据地市数据集市清单查询抽取•建立统一的地市数据集市系统。避免了各个地市单独建立自己的集市系统，完美的实现数据管理统一化，业务应用个性化两大需求。•在可控成本内，提供清单级别的数据海量存储及数据快速访问。清单数据转发12©Copyright2011EMCCorporation.Allrightsreserved.中国电子商务领导者——阿里巴巴•业务使用•通过分析用户的网络点击日志，进行产品关联分析，让客户可以快速的找到相近产品•原有解决方案及问题•Oracle•加载速度非常慢，真的令人无法接受——技术人员天天抱怨•做客户详细复杂的点击查询，要等上半天到一天，有时还出不来结果，浪费我们大量的时间——业务经理已经忍无可忍了•现在系统无法满足海量的历史数据的分析应用•Greenplum是幕后的英雄•海量加载由Greenplum完成•汇集了Alibaba所有的历史数据真是一个超级的海量数据库软件！——客户技术部门评价网站日志交易数据详细数据GreenplumOracle加工数据。。。。。。用户信息13©Copyright2011EMCCorporation.Allrightsreserved.支付宝BI2010系统架构图日志挖掘服务器H+1，20台信用/CTUDatamart/计算平台数据仓库主库定时任务计算60台数据源OLTP系统财务系统销售系统客服系统会员营销Datamart/计算平台抽取数据收集分发中心数据仓库工具与管理平台/调度系统)管理元数据(MetaData)管理CDC资金/财务等Datamart/模型计算平台CDCCDCCDC账户系统…数据仓库备库查询60台数据历史库/挖掘40台CDCCDC数据分发数据分发综合数据查询报表及仪表盘在线多维分析风控系统会员营销客户服务资金管理财务分析客户信用挖掘工具集商业智能信息门户KPI报表与业务报告业务指标仪表盘监控运营与营销数据分析综合数据查询挖掘分析报告用户访问行为跟踪竞争情报日志收集服务器20台日志/行为模型计算准实时，4台服务打点服务线上即时作弊判断线上即时个性化营销企业数据中心网站访问交易系统图例已经上线greenplum集群，总共120台即将上线查询集群总共60台14©Copyright2011EMCCorporation.Allrightsreserved.支付宝使用情况介绍•数据库数据量：1000TB•数据库数据增量：500G/天，每年数据量增加2倍以上•数据加载频度：大多数H+1(每小时加载),网站访问D+1（每天加载）•现有系统规模：180个节点，3套Greenplum数据仓库集群•OLTP生产环境：约200多套OracleOLTP库，每个应用采用分20个分库的结构部署。•ETL/CDC：自主开发，负责把200多个OLTP的库的数据采集过来，做汇总，然后同时导入3个Greenplum数据仓库集群中，各个数据仓库保持相同全量数据。•Greenplum:在线扩容。2008年上线时是一个集群20台PC服务器。随着数据量增加，随时扩加机器，现在最大的集群已经加到60台。•BI中间件：现用SAPBO，正在和Actuate谈更换为BIRT网站日志交易数据详细数据Greenplum•海量基础数据•大数据量查询Oracle加工数据•门户网站。。。。。。用户信息15©Copyright2011EMCCorporation.Allrightsreserved.POC结果：深圳发展银行•硬件环境:MaserHost:SunFireX4100Segment1:SunFireX4500Segment2:SunFireX4500千兆网网络交换机一台•软件环境:Greenplum-db-3.3Greenplum-ClientSoftWare(PSQL)GreenplumODBCDriverSegmentHostSegmentHostMasterHostInterconnect-GigabitEthernetSwitch16©Copyright2011EMCCorporation.Allrightsreserved.核心系统文件加载测试结果本次加载测试采用2009年1月4号和2009年1月5号核心系统文件数据，GP加载耗时与ORACLE系统加载耗时比较如下:文件名文件描述ORACLEGREENPLUMGP提升倍数Staging加载时间文件大小记录条数Staging加载时间文件大小记录条数SDFISMST活期存款账户信息表38分1.29G1156932446秒1.39G1162141850xSDFISMSC活期存款分币种信息表13分1.3G958706432秒1.4G963732924xCDFISMST支票帐户档案表40分1.74G514724946秒1.88518757952xCDFISPAD支票支付档表18分1.4G1857698448秒1.511875548922.5xCIFISGRI集团用户业务信息档案表55分4.31G11675303181秒4.691182016118x17©Copyright2011EMCCorporation.Allrightsreserved.Greenplum计算能力测试结果Query：合并字段测试、代码转换测试。GP系统计算耗时与Oracle系统比较如下：tabletypeSQL结果Oracle测试耗时结果GP测试耗时GP提升倍数FS_ZH_CDFISPAD合并字段测试selectcount(*)fromstage.fs_zh_cdfispad;3639688747.7s375282471.2s39.7xselectsum(zfje)fromstage.fs_zh_cdfispad;11087341438310.244.1s11508156713081.132.8s15.7xselectavg(zfje)fromstage.fs_zh_cdfispad;304623.34425222145.0s306653.192.7s16.7xselectmax(zfje)fromstage.fs_zh_cdfispad;648050000043.3s6480500000.002.1s20.6xselectmin(zfje)fromstage.fs_zh_cdfispad;0.0143.1s0.012.1s20.5xselectcount(zh||zplx||zphqlw||zphhlw)aszhfromstage.fs_zh_cdfispad;3639688754.7s375282473.2s17x代码转换功能测试selectcount(coalesce(zh,''))aszhfromstage.fs_zh_cdfispad;3639688743.8s375282471.5s28xselectcount(cast(zfjeaschar(15)))fromstage.fs_zh_cdfispad;3639688766.8s375282473.8s17.4xselectcount(substr(zh,2,5))aszhfromstage.fs_zh_cdfispad;3639688759.1s375282472.9s20.3xselectcount(cast(zplxasinteger))fromstage.fs_zh_cdfispad;3639688764.4s375282472.3s28selectsum(casewhenzfje50then1000whenzfje500then500else0end)fromstage.fs_zh_cdfispad;3635880600054.0s374888840002.521.6x18©Copyright2011EMCCorporation.Allrightsreserved.GreenplumDB特点1：完全无数据共享（share-nothing）MPP架构NetworkInterconnect......MasterServersQueryplanning&dispatchSegmentServersQueryprocessing&datastorageSQLMapReduceExternalSourcesLoading,streaming,etc.19©Co