Greenplum解决方案手册_201204

EMCGreenplum新一代数据库云平台1. EMC公司介绍1.1 公司概况2. 解决方案2.1 大数据解决方案2.2 高性能数据分析解决方案（HPDA）2.3 分析型数据库云2.4 下一代分析平台2.5 数据集市3. 行业解决方案 3.1 电信行业信令分析数据平台方案 3.2 电信行业数据集市平台方案3.3 金融行业3.4 政府、制造、零售行业4. 合作伙伴解决方案4.1 EMC Greenplum为 SAS 用户提供大数据分析敏捷性5. 客户应用案例5.1 中信银行5.2 美国金融业监管局 (FINRA)5.3Bakrie5.4 SILVER SPRING NETWORKS6. 附录6.1 EMC Greenplum 领跑“大数据”时代6.2 EMC GREENPLUM DATABASE6.3 EMC GREENPLUM DATA COMPUTING APPLIANCE 系列6.4 EMC GREENPLUM HD ENTERPRISE EDITION6.5 适用于GREENPLUM HD的横向扩展NAS目录Contents0101030304040505060607070809091111141517191923273134EMC公司简介11.1公司概况1信息是一家公司除人员之外最重要的资产。EMC 提供了各种技术和工具，帮助客户释放信息的力量。EMC是一家全球领导厂商，助力企业和服务提供商转变运营方式，以服务的形式提供IT。EMC公司在全球拥有员工约49000人，2010年营业收入170亿美元，2011年第二季度的综合收入为48.5亿美元，同比增长20%。预期2011年的综合收入将超过198亿美元。 EMC通过创新的产品和服务，加速云计算之旅，帮助IT部门以更敏捷、更可信、成本效率更高的方式存储、管理、保护、分析他们最重要的资产——信息。利用EMC技术及解决方案，企业可以避免潜在的严重风险，降低信息管理所产生的巨大成本，同时又能充分利用信息的价值来实现业务优势。我们的客户包罗万有EMC与世界各地的机构合作，它们涵盖各个行业，包括公共事业和私营部门；而且规模不一，从创业公司到《财富 500 强》大企业。我们的客户包括电信，金融、制造商、医疗保健和生命科学机构、互联网服务和电信服务提供商、航空和运输公司、教育机构以及公共事业机构。EMC还为100多个国家的个人用户提供技术、产品和服务。 勇于创新，一路领先我们与众不同的价值源自持续和大量的研发投入，全球各地数千名技术研发人员，业界最广泛的系统、软件和服务组合，我们自上而下设计、构建总成解决方案的能力，以及我们提供本行业乃至所有行业最佳全面客户体验的承诺。从2003年到2010年，EMC研发投入总计为105亿美元，而累计用于战略并购的资金则达到140亿美金，EMC并购的公司约有50余家，其中包括VMware、RSA、Greenplum、Isilon等多家在“云和大数据”方向具备高度战略价值的公司。2010年里，EMC执行了一系列战略计划，以加强公司在企业数据、云计算和大数据方面的技术领导地位和服务专长；同时增强了竞争优势，扩大了市场份额。在研发方面，EMC继续积极投入，投资额占到2010年综合收入的11%。为了加强技术研发，扩大市场领域，我们在比利时、巴西、荷兰、爱尔兰、中国、印度、以色列、俄罗斯、新加坡和美国本土设立了研发中心，在美国、爱尔兰、巴西和深圳建立了生产工厂。我们拥有国际标准化组织（ISO 9001）最严格的质量管理认证，我们的生产工厂拥有MRP II A级认证。2010年，EMC财年综合收入达到创纪录的170亿美元。EMC在纽约股票交易所交易，是标准普尔指数的成份股之一。2011年，EMC名列美国《财富》计算机行业最受尊敬公司第二位、美国《财富》500强企业152位。全球存在，世界公民今天，EMC在全球有49000多员工，在全球80多个国家有400多个办事处和众多合作伙伴。我们拥有世界上最大的销售和服务力量集中于信息基础架构，我们与全球的技术、外包、系统集成、服务和分销合作伙伴网络紧密合作。立志高远，扎根中国进入2011年，EMC已经和中国市场的广大客户及1000家合作伙伴共同走过了17年的历程。不管是业务增长，还是技术研发，中国都是EMC全球最重要的地区之一。目前，EMC在北京、上海、广州、成都、南京、西安、武汉、沈阳、福州、乌鲁木齐、济南、杭州、昆明、重庆、青岛，郑州设立了共16家分公司。并在北京、上海、广州、成都、深圳、香港和台湾七地建立了解决方案中心。为了帮助用户更好地掌握和利用EMC产品和服务，EMC在全国各地设立了35家服务中心，并于2004年开通了全球支持中心中文服务热线。EMC还在香港建立配送中心，加快市场响应速度，提高客户满意度。在中国，EMC不仅通过其在华机构持续为中国市场提供领先的产品及服务，也在科技研发、人才培养以及与本地企业创新合作等方面不断投入。2006年6月，EMC全球总裁图斯先生在华宣布投资5亿美元，在上海建立EMC中国研发中心，使中国成为EMC的全球软件开发基地之一。2007年11月1日，图斯总裁宣布将原有中国市场投资计划增至10亿美元，并设立EMC中国研发中心（北京）。2011年4月，EMC在中国成都设立第三个研发中心。EMC还与众多中国一流的高校有着长期、深入的合作，包括教育和科研机构建设、学科共建等。例如，建立了“EMC-复旦网络存储培训中心”和清华大学的“EMC课堂”。EMC还与清华大学、北京大学、浙江大学、上海交通大学等超过100所知名高校合作，设置《信息基础架构技术》课程，帮助中国培养信息化人才。同时，EMC联手中国本土优秀的高科技厂商，相继与神州数码、富通科技、中国电子、浪潮、东软等合作伙伴建立了战略和联盟的关系，共同提升中国信息管理与服务市场，为客户提供更加优化的产品与解决方案。秉承构建“信息生存之地”的使命，以及创新的技术和出色的战略，使EMC公司成为全球信息基础架构技术与解决方案的领先开发商与提供商。2解决方案2云计算时代的大数据平台，不仅要以高性价比、高可扩展的硬件体系支撑PB级别，甚至ZB级别的海量结构化，半结构化，以及非结构化的数据存储。同时还需要能够高速地挖掘这些数据价值，为企业创造利润，真正实现大数据=大价值2.1大数据解决方案Greenplum统一分析平台（UAP）结合Greenplum DB和Greenplum Hadoop为企业构建高效处理结构化，半结构化，非结构化数据的大数据分析平台。并且客户可以以此平台为基础利用Greenplum行业和数学统计方面的专家，充分挖掘自身数据价值，实现数据资产从成本中心到利润中心的转变，以数据驱动业务。32.22.3高性能数据分析解决方案（HPDA）分析型数据库云大数据时代，数据变成信息和知识的周期往往决定了企业核心业务的价值。如何最大程度缩短这一周期，已经成为提升企业核心业务价值的关键所在。EMC联合Informatica，推出的高性能数据分析方案（HPDA）利用Informatica Ultra Message产品实时从用户的业务系统中进行数据抽取，通过流计算模式企业需要通过数据库云整合数据资产，对数据资产进行标准化。形成灵活扩展、易于变更、可管控的、可隔离的系统架构 ，实现支持标准开发、用户自服务、多元化开发多种应用支持模式 。形成松耦合、可异构的基础数据和应用数据两级架构 EMC Greenplum在VMWare vSphere虚拟化平台上，把业务数据处理结果写入Greenplum DB。把传统的ETL周期从小时，分钟级别降低到秒级别。用户再通过Greenplum DB高效的海量数据分析挖掘能力，最大程度把业务数据转变成信息和知识的周期降到最低，实现真正意义的实时商业智能(BI)，提升企业的核心业务价值。结合Chorus产品和Greenplum DB通过为不同需求创建数据沙箱，实现灵活，易于变更，高可扩展，可管控，可隔离，绿色环保的高效分析型数据库云平台，帮助应用实现解耦的同时，使企业可以驾驭自身数据资产，利用全新协作分析模式充分挖掘数据价值，全面提升企业数据信息管理能力。42.42.5下一代分析平台数据集市需求：由于数据的快速增长，带来Big Data大数据的挑战，其中包括大量的半结构化和非结构化数据。在数据存在形态上，结构化、半结构化、非结构化数据常常需要转换后，才能进行数据分析和深度数据挖掘。需求：数据集市Data Mart是一个面向具体应用的数据集合，需要快速、及时和有效的响应应用的需求。由于需求的变化和增长，需要数据集市有很好的性能扩展空间和扩容时稳定和可靠的支持。特点：业界惟一可以同时解决结构化、半结构化、非结构化大数据挑战的分析平台。在不同数据形态之间可以并行传输和转换，轻松应对大数据挑战。特点：采用无共享/大规模并行处理(Shared-Nothing/ MPP)架构，数据完全并行加载、并行存储、并行计算，数据处理速度比以往数据库产品有大幅提高。并且，性能可随着硬件数量线性增长，而且可以不用宕机的进行横向扩展。5二、 行业解决方案3随着通信行业的竞争不断白热化，运营商如何有效利用庞大信令数据进一步实现深度的深度运营和精准营销已经成为当务之急。因此，急需一种通过可控投入，就可满足海量信令数据存储，并能高效对其进行分析，挖掘信令数据价值的数据平台。3.1电信行业信令分析数据平台方案EMC Greenplum通过紧密结合Greenplum DB和Greenplum Hadoop构筑高效可扩展基于云技术的大数据处理平台，帮助运营商以可控的成本实现海量信令数据分层存储的同时，通过缩短数据处理路径和提供超大数据处理带宽，有效减少分析响应时间，提升信令分析的业务价值，增强运营商核心竞争力。6随着各省电信运营商，地市级个性化业务需求的不断增加，导致通过数据集市对海量数据存储和深度分析，提升业务价值的需求也不断增加。传统数据库技术一方面日益无法满足企业应用所需要的高速互动，高扩展的需求。另一方面高昂的使用维护成本造成运营商沉重的成本负担，与运营商对数据集市建设的需求产生了巨大的矛盾。1.数据分析云计算平台(DB Cloud ODS & EDW & DM)需求：业务系统和渠道系统复杂，导致数据分散存储，需要完整统一的数据视图。支持企业各种分析型应用建设，需要高效、灵活的数据分析平台。3.23.3电信行业数据集市平台方案金融行业 EMC Greenplum通过提供高性价比，完全基于X86开放架构大规模无共享MPP数据库集群，支撑运营商数省级据集市建设所需的高性能，高可用，高可扩展，线性扩容，支持多种分析手段，基于云技术数据平台的需求。特点：采用无共享/大规模并行处理(MPP/Shared-Nothing)结构，数据完全并行计算、并行存储、并行加载，可以实现基于“秒级”的数据分析。全部硬件采用X86 标准服务器，是一个企业的数据库私有云计算平台。72. Big Data历史数据查询系统需求：由于合规的要求，商业银行都需要对历史数据进行有效管理和存储。时间的积累导致数据量巨大，需要低成本的解决方案进行管理。特点：GP硬件全部采用X86标准服务器，总体拥有成本更低。列存储和数据压缩技术，可以对数据进行多维的数据管理。3. 实时(Real-Time)管理驾驶舱需求：管理驾驶舱是企业领导者和决策者，了解企业生产和经营状况的窗口，对于时效性和反应素对有非常高的要求。往往应用复杂的计算方法，但是计算时间窗口很有限，计算速度越快价值越高。特点：采用无共享/大规模并行处理(Shared-Nothing/MPP)架构，数据完全并行计算、并行存储、并行加载，计算速度比以往数据库产品有大幅提高。列存储和数据压缩技术，大幅提高计算速度。1. 基于数据