Greenplum-数据库安装方案

江西移动Greenplum数据库安装第1页共27页修改记录编号日期描述版本作者审核发布日期Greenplum数据库安装配置规范第2页共27页目录1物理环境部署...................................................................................................................31.1Greenplum物理架构设计....................................................错误!未定义书签。1.2磁盘硬件RAID设计...........................................................................................51.3网络IP规划.........................................................................................................52软件环境安装配置...........................................................................................................72.1操作系统安装配置...............................................................................................72.2操作系统参数设置.............................................................................................112.3操作系统安全配置.............................................................................................142.4操作系统用户组和用户.....................................................................................162.5网络配置.............................................................................................................162.6集群NTP服务时钟同步配置.............................................................................173数据库系统安装配置.....................................................................................................173.1Greenplum软件安装..........................................................................................173.2数据库初始化.....................................................................................................214数据库参数.....................................................................................................................224.1数据库参数设置.................................................................................................224.2调整连接控制参数.............................................................................................245Commandcenter安装....................................................................................................24Greenplum数据库安装配置规范第3页共27页1物理环境部署1.1Greenplum物理架构概述Greenplum是一种基于postgresql（开源数据库）的分布式数据库。其采用sharednothing架构（MPP），主机，操作系统，内存，存储都是自我控制的，不存在共享。主要由masterhost（master管理节点），segmenthost（segment数据节点），interconnect（网络）三大组件组成，segmenthost又包括primarysegment（主segment实例）及mirrorsegment（镜像segment实例）。如下图所示：其中各组件功能如下：Masterhost（master管理节点）主要负责接收并分配查询等任务，是Greenplum环境与外界通信的入口。并且，master管理节点不存储任何业务数据，只负责对各Segment数据节点抽取出的业务数据进行汇总，Greenplum数据库安装配置规范第4页共27页反馈给用户。Standbymaster（Standbymaster管理节点）主要作为master管理节点的热备份节点，当master管理节点宕机时Standbymaster则扮演master管理节点角色。Node/segmenthost（Segment数据节点）主要负责运行Segmentinstances（Segment实例）的服务进程，支撑多少个Segment实例取决于Segment数据节点CPU核数。PrimarySegment（主实例）存放数据库一部分独立数据（即每个主实例存放的数据完全不一样），主要负责处理查询等任务，每个Segment数据节点能配置多少个主实例取决于CPU等物理配置情况。当加载数据至数据库时，数据库按既定的分配算法决定实例分别存放哪些数据，当master将执行计划发给各实例，各实例主要处理其负责的那部分数据。Mirrorsegment（镜像实例）主要作为PrimarySegment（主实例）的热备份节点，当PrimarySegment（主实例）不可用时Mirrorsegment（镜像实例）则扮演master管理节点角色。Interconnectswitches（互连交换机）是Greenplum数据库环境的通信核心，主要负责各节点的通信交互。1.2硬件环境1.Master/Standby服务器Master硬件信息设备型号华为RH2288HV21CPU英特尔志强8核E5-2650V22.6GHz处理器2*8core内存192G磁盘23*900GBGreenplum数据库安装配置规范第5页共27页网卡端口4*1GE+4*10GB口服务器数量22.,Segment服务器Slaver硬件信息设备型号华为RH2288HV21CPU英特尔志强8核E5-2650V22.6GHz处理器2*8core内存192G磁盘23*900GB网卡端口4*1GE+4*10GB口服务器数量17（当前环境13台）3.万兆网络2台华为交换机9300做了交换机堆叠配置，每台服务器连接2条万兆网线，分别连接到两台交换机，在主机上配置网卡聚合，实现负载均衡和容错。1.3磁盘硬件RAID设计考虑数据安全性、可靠性、运行性能和容量需求，在硬件方面采用RAID进行进行数据保护。对于磁盘RAID设置要求：RAID卡打开“WriteBack”Cache设置和“Readahead”读策略。分成2组RAID5:12*900G+11*900G。Greenplum数据库安装配置规范第6页共27页1.4网络IP规划为了最大程度满足性能和可靠性的要求，集群配置了2台华为9300交换机，做了交换机堆叠配置，每台服务器连接2条万兆网线，分别连接到两台交换机，在主机上配置网卡聚合（mode=4），实现负载均衡和容错。由于采用网卡聚合技术，每台服务器只需配置一个IP地址，整个集群处于一个vlan之中。用途机器名IPGPDBMasterjxgpmaster0110.180.212.64GPDBStandbyjxgpmaster0210.180.212.65GPDBSegmentjxgpseg0510.180.212.70jxgpseg0610.180.212.71jxgpseg0710.180.212.72jxgpseg0810.180.212.73jxgpseg0910.180.212.74jxgpseg1010.180.212.75jxgpseg1110.180.212.76jxgpseg1210.180.212.77jxgpseg1310.180.212.78jxgpseg1410.180.212.79jxgpseg1510.180.212.80jxgpseg1610.180.212.81jxgpseg1710.180.212.82Greenplum数据库安装配置规范第7页共27页2软件环境安装配置2.1操作系统安装配置2.1.1BIOS设置进入BIOS功能界面，开启BIOS超线程开启验证BIOS超线程设置合规性：A:grep–i‘cpucores’|/proc/cpuinfo|wc–lB:grep–i‘processor’|/proc/cpuinfo|wc–l检查结果：处理器数量是核数的2倍。2.1.2操作系统安装设置2.1.2.1安装操作系统基础包操作系统版本：RedhatEnterpriseLinuxServer6.5(64bit)要求：选择“最小”软件组方式安装RedHatEnterpriseLinux6.5（64bit）选中“现在自定义”选项，选择安装其他系统工具包。2.1.2.2安装系统语言包要求：操作系统安装过程中，请安装以下语言支持。POSIXC和en_US.utf8locales在安装操作系统时安装。即ThePOSIXCanden_US.utf8localesmustbeinstalledduringtheOSinstallation.Additionallocalesmaybeinstalledasnecessarytosuitthecustomer.以English(English)作为操作系统安装/登录时采用的语言。除英文环境，在安装附加语言支持时，选择简体中文。即zh_CN.gbk、Greenplum数据库安装配置规范第8页共27页zh_CN.gb18030、zh_CN.utf8、zh_CN.BIG5，等中文语言包需要在安装操作系统时一并安装。2.1.2.3安装系统工具包组件名称组件功能版本要求验证检查Kdump系统信息转储工具与操作系统相同版本ServicekdumpstatusWhichkdumpNtp时间同步服务与操作系统相同版本ServicentpdstatusPerlPerl语言工具包与操作系统相同版本Perl--versionTcpdump网络数据采集分析工具与操作系统相同版本whichTcpdumpUnzip/zlib5解压工具与操作系统相同版本whichUnzipXfsdumpXfs文件系统工具与操作系统相同版本whichXfs