Greenplum方案

GP大数据分析云平台建议方案1目录1.项目背景........................................................................................................错误!未定义书签。2.Greenplum产品简述....................................................................................................................23.云架构数据分析平台解决方案：...............................................................................................23.1.云架构总体方案概述：...................................................................................................23.2.Greenplum云架构的高性能优势....................................................................................43.3.Greenplum云架构高可靠性保证....................................................................................63.4.Greenplum云架构的灵活扩展性....................................................................................73.5.Greenplum云架构的易用性............................................................................................83.6.Greenplum云架构易维护性............................................................................................93.7.Greenplum其它技术创新..............................................................................................103.8.与其它数据仓库产品技术对比.....................................................................................133.9.项目投入可控.................................................................................................................143.10.Greenplum案例：........................................................................................................153.10.1.阿里巴巴支付宝：...........................................................................................153.10.2.深圳发展银行：...............................................................................................163.10.3中信银行：........................................................................................................163．10．4.广西公安.....................................................................................................173.10.5.NYSE：...............................................................................................................174.Greenplum配置建议方案.............................................................................错误!未定义书签。4.1需求/目标...........................................................................................错误!未定义书签。4.2方式一：GreenplumDCA一体机1/2Rack....................................错误!未定义书签。4.2.1Greenplum一体机简介：.......................................................错误!未定义书签。4.2.2一体机配置建议：...................................................................错误!未定义书签。4.2.2一体机1/2Rack成本预估：...................................................错误!未定义书签。2.Greenplum产品简述Greenplum数据库软件是由顶级专家团队打造的高性能、无共享、大规模并行处理（massivelyparallelprocessing(MPP)）的数据库软件产品，它包含大规模并行计算技术和数据库技术最新的研发成果：包括无共享/MPP，按列存储数据库，数据库内压缩，MapReduce，永不停机扩容，多级容错等等。在同等硬件条件下，比竞争对手的数据库产品处理速度能快出10倍以上。非常适用于海量数据处理，特别是时间要求高的数据分析、数据查询等场合。最重要的是Greenplum数据库支持使用X86架构的开放硬件环境。该数据库软件被业界认可为扩展能力最大的分析型（OLAP）数据库软件。已有500多家世界级重大客户采用该软件，例如：NYSE,NASDAQ,FINRA,AIG，CIA，德意志银行，美国联邦储备委员会，支付宝，NTT-DoCoMo,T-Mobile,Skype，WalMart，中国联通，太平洋保险等。这些客户中大多数Greenplum数据仓库所管理的数据量都超过100TB，其中，全球最大的有6500TB，中国最大的有1000TB。每一天，全球有数亿级的用户在直接、间接用到Greenplum发明的数据库平台。3.云架构数据分析平台解决方案：3.1.云架构总体方案概述：数据分析平台属于OLAP（联机分析处理）类型的系统，其具有存储数据量大、计算数据量大、复杂的统计分析、支持即席查询等等特点，传统的OLTP类型数据库很难胜任，只有基于云架构的海量并行数据库才能满足大规模数据存储和计算所需的性能，云架构数据库能够更好地满足企业级数据平台对于性能、高可用性、可扩展性、开放性以及安全性等多方面的需求。EMCGreenplum海量并行数据库是采用云架构的高性能数据库，架构在开放式X86硬件集群上，提供云计算所需的高效能、低成本、灵活扩展、高可靠易3维护等功能特征；建议采用Greenplum云架构数据库作为客户的基础数据平台，充分应用Greenplum私有云计算的优势，将为客户提高数据处理效率、数据管控能力的同时，降低系统总体TCO，并且为将来的IT架构的灵活扩展提供技术支撑。Greenplum云架构数据仓库架构图如下：Greenplum云架构数据库满足所有的云计算特征：43.2.Greenplum云架构的高性能优势Greenplum云架构数据库软件是为大规模数据和复杂查询功能所设计。Greenplum高性能的特性主要应用在客户管理，数据仓库，BI，ODS，数据集市，数据挖掘，经营分析，网络分析，知识库管理，成本效益分析等项目。Greenplum因为采用了下列技术提供高性能计算：无共享/MPP架构数据分布在所有的并行节点上，每个节点只处理其中一部分数据，所有的节点同时进行并行处理，同时由于所有节点之间完全无共享，无I/O冲突，所以可以做到最优化的I/O处理。注：蓝灰色表示共享资源Scatter/Gather并行数据流技术：Greenplum采用独特的Scatter/Gather并行数据流技术，Scatter阶段用于数据加载时，外部数据采用并行、直接方式“Scatter”到Segment节点，无需通过Master节点，因此达到极高的性能，且加载性能与Segment数成正比。例如，在Greenplum的DCA一体机的16个节点配置下，加载性能大于10T/小时；Greenplum在数据查询时，采用Gather技术进行数据收集，每个节点并行处理各自的5数据，通过完全的并行方式实现很高的SQL查询性能；支持按行和按列的存储在OLAP应用中，用户的查询都是基于特定的列来选择的。数据按列存储，可以明显提升数据读取速度，提升查询性能。查询性能线性扩展由于具有MPP无共享的本质特性，所以当增加1倍的节点的时候，相当于每个节点上的数据量降低为原来的一半，计算量也是原来的一半，性能自然能够提升1倍，从而实现查询性能的线性增长。加载性能线性扩展Greenplum数据加载是直接和Segment通信加载数据。因此当增加1倍的节点的时候，相当于每个节点上的加载数据量降低为原来的一半，性能自然能够提升1倍，从而实现加载性能的线性增长。63.3.Greenplum云架构高可靠性保证Greenplum数据仓库软件自己包含多层次容错和冗余能力，这是云计算架构软件的一个重要特征。该功能保证整个数据仓库系统在遇到硬件、软件的故障的情况下，仍然自动继续运行，数据依旧完整。高可用性体现在如下几个方面：–服务器HA：–每个Server允许两块硬盘失败–更换新盘后Raid5data自动重建–硬件组件冗余保护(Fan,PSU…)–GP数据库Segment节点镜像保护–每个节点的数据自动镜像到另一个节点中，节点互相备份；–Segment节点故障时，自动启动备份实例，保证用户数据完成和服务不中断–Master节点自动failover–MasterServer和standbymasterserver自动数据同步–MasterServer失败时自动切换到Standby–采用VirtualIP方式，对外服务地址不变73.4.Greenplum云架构的灵活扩展性Greenplum采用的无共享/MPP架构并基于x86架构服务器，可通过扩展节点来线性增长集群的容量和处理性能，满足用户不同阶段的持续发展需求。与传统的SMP不同的是，Greenplum可根据业务发展需要来对数据库进行灵活的扩张，例如刚开始时部署了4个节点就能满足当前业务需求，3年后数据量和应用都增加了，可以增加节点将系统的容量和处理能力线性提高，另外，因为Greenplum运行在开放X86服务器上，所以用户享受到低成本扩张的优势；Greenplu