GreenPlum详细培训教程

Greenplum数据库数据库数据库数据库v3.3系统管理员培训系统管理员培训系统管理员培训系统管理员培训课程介绍课程介绍课程介绍课程介绍课程内容课程内容课程内容课程内容1.产品概述产品概述产品概述产品概述2.系统配置和验证系统配置和验证系统配置和验证系统配置和验证3.软件安装和系统初始化软件安装和系统初始化软件安装和系统初始化软件安装和系统初始化4.客户端应用程序客户端应用程序客户端应用程序客户端应用程序9.数据加载数据加载数据加载数据加载10.数据操作语言数据操作语言数据操作语言数据操作语言(DML)和数据查询和数据查询和数据查询和数据查询语言语言语言语言(DQL)11.性能优化性能优化性能优化性能优化4.客户端应用程序客户端应用程序客户端应用程序客户端应用程序5.服务器配置服务器配置服务器配置服务器配置6.数据定义语言数据定义语言数据定义语言数据定义语言(DDL)7.角色角色角色角色、、、、权限和基于角色的资源队列权限和基于角色的资源队列权限和基于角色的资源队列权限和基于角色的资源队列8.表分区功能表分区功能表分区功能表分区功能12.系统管理系统管理系统管理系统管理13.冗余和高可用性冗余和高可用性冗余和高可用性冗余和高可用性14.备份和恢复备份和恢复备份和恢复备份和恢复15.数据库内部结构数据库内部结构数据库内部结构数据库内部结构课程资料和安排课程资料和安排课程资料和安排课程资料和安排
授课形式授课形式授课形式授课形式
培训指导手册培训指导手册培训指导手册培训指导手册
培训练习培训练习培训练习培训练习–根据手册的练习内容–需要网络和ssh接入
Q&A讨论讨论讨论讨论
反馈和课程评价反馈和课程评价反馈和课程评价反馈和课程评价培训对象培训对象培训对象培训对象数据库管理员数据库管理员数据库管理员数据库管理员(DBA)
基本的基本的基本的基本的SQL语法语法语法语法
常规的数据库概念常规的数据库概念常规的数据库概念常规的数据库概念系统管理员系统管理员系统管理员系统管理员
基本的基本的基本的基本的UNIX命令命令命令命令(cd,ls,ssh,cat,grep等等等等））））
VI（（（（文本编辑器文本编辑器文本编辑器文本编辑器））））的使用的使用的使用的使用学习目标学习目标学习目标学习目标
理解理解理解理解Greenplum数据库的架构和组成部分数据库的架构和组成部分数据库的架构和组成部分数据库的架构和组成部分
熟悉熟悉熟悉熟悉Greenplum数据库的特性和功能数据库的特性和功能数据库的特性和功能数据库的特性和功能
懂得如何使用懂得如何使用懂得如何使用懂得如何使用Greenplum数据库完成基本操作数据库完成基本操作数据库完成基本操作数据库完成基本操作
掌握如何管理掌握如何管理掌握如何管理掌握如何管理Greenplum数据库系统数据库系统数据库系统数据库系统，，，，以及解决故障以及解决故障以及解决故障以及解决故障
掌握如何管理掌握如何管理掌握如何管理掌握如何管理Greenplum数据库系统数据库系统数据库系统数据库系统，，，，以及解决故障以及解决故障以及解决故障以及解决故障Greenplum产品概述产品概述产品概述产品概述第第第第1课课课课•主要架构和组成部分主要架构和组成部分主要架构和组成部分主要架构和组成部分•高可用性设计高可用性设计高可用性设计高可用性设计•系统管理内容系统管理内容系统管理内容系统管理内容•重要概念重要概念重要概念重要概念—数据分布和查询数据分布和查询数据分布和查询数据分布和查询Greenplum数据库数据库数据库数据库
海量并行处理海量并行处理海量并行处理海量并行处理(MPP)DBMS
基于基于基于基于PostgreSQL8.2–相同的客户端功能–增加支持并行处理的技术–增加支持数据仓库和BI的特性–增加支持数据仓库和BI的特性外部表/并行加载资源管理查询优化器增强Greenplum基本架构基本架构基本架构基本架构SegmentHostLANSegmentHostSegmentHostSegmentHostClientMasterHost客户端程序客户端程序客户端程序客户端程序
psql
pgAdminIII
ODBC
JDBC
PerlDBI
Python
libpqMaster主机主机主机主机
访问系统的入口
数据库侦听进程(postgres)
处理所有用户连接
建立查询计划
建立查询计划
协调工作处理过程
管理工具
系统目录表和元数据（数据字典）
不存放任何用户数据Segments主机主机主机主机
每个Segment上存放一部分用户数据
一台Segment主机可以有多个实例
通过增加Segment主机实现线性扩展
用户不能直接存取访问
所有对段的访问都经过Master
数据库监听进程(postgres)来自Master的连接Interconnect
Greenplum数据库之间的连接层
进程间协调和管理
基于千兆以太网架构
属于系统内部私网配置
支持两种协议：TCPorUDP高可用性的架构高可用性的架构高可用性的架构高可用性的架构mirrorsegmentmirrorsegmentmirrorsegment数据冗余数据冗余数据冗余数据冗余–Segment镜像镜像镜像镜像primarymasterhoststandbymasterhostSystemCatalogsSystemCatalogsMaster镜像镜像镜像镜像—热备热备热备热备MasterTransactionLogsTransactionLogssynchronizationprocessGreenplum管理命令管理命令管理命令管理命令
存放位置存放位置存放位置存放位置$GPHOME/bin$GPHOME/bin$GPHOME/bin$GPHOME/bin
命令行功能可提供命令行功能可提供命令行功能可提供命令行功能可提供：：：：–系统的设置和初始化系统的设置和初始化系统的设置和初始化系统的设置和初始化–系统的开启和关闭系统的开启和关闭系统的开启和关闭系统的开启和关闭–系统的扩容和数据的重新分布系统的扩容和数据的重新分布系统的扩容和数据的重新分布系统的扩容和数据的重新分布–复原故障的复原故障的复原故障的复原故障的Master或或或或Segment实例实例实例实例–备份和恢复备份和恢复备份和恢复备份和恢复–为并行加载创建文件服务器为并行加载创建文件服务器为并行加载创建文件服务器为并行加载创建文件服务器–系统状态报告系统状态报告系统状态报告系统状态报告
性能监控工具性能监控工具性能监控工具性能监控工具PerformanceMonitorPerformanceMonitorPerformanceMonitorPerformanceMonitorGreenplum数据库的重要概念数据库的重要概念数据库的重要概念数据库的重要概念
表分布方式表分布方式表分布方式表分布方式
并行查询的实现方式并行查询的实现方式并行查询的实现方式并行查询的实现方式salecustomercnintegercnametextvendormastersalepart3segment3salepart1segment1salepart2segment2分布式的数据表分布式的数据表分布式的数据表分布式的数据表cnintegervnintegerpnintegerdtdateqtyintegerprcfloatvnintegervnametextloctextproductpnintegerpnametextglobalcatalogcustomerpart3productpart3vendorpart3customerpart1productpart1vendorpart1customerpart2productpart2vendorpart2Hash分布分布分布分布•CREATETABLE…DISTRIBUTEDBY(column[,…])•同样内容的键值被分配到同一个同样内容的键值被分配到同一个同样内容的键值被分配到同一个同样内容的键值被分配到同一个Segment上上上上表分布的方式表分布的方式表分布的方式表分布的方式循环分布循环分布循环分布循环分布•CREATETABLE…DISTRIBUTEDRANDOMLY•具有同样数值的行内容并不一定在同一个具有同样数值的行内容并不一定在同一个具有同样数值的行内容并不一定在同一个具有同样数值的行内容并不一定在同一个Segment上上上上计划和调度一个查询计划和调度一个查询计划和调度一个查询计划和调度一个查询SLICE3SELECTcustomer,amountFROMsalesJOINcustomerUSING(cust_id)WHEREdate=04302008;GatherMotionGatherMotionSLICE3SEGMENT2SEGMENT1并行查询计划并行查询计划并行查询计划并行查询计划SLICE1SLICE2TableScanRedistributeMotionTableScanHashHashJoinTableScanRedistributeMotionTableScanHashHashJoinSLICE1SLICE2mastergang查询工作的进程查询工作的进程查询工作的进程查询工作的进程segment1segment2ganggang3.3版本的新增内容版本的新增内容版本的新增内容版本的新增内容
在线的系统扩容方式在线的系统扩容方式在线的系统扩容方式在线的系统扩容方式
数据表再分布更新数据表再分布更新数据表再分布更新数据表再分布更新
pgAdminIII工具工具工具工具复习复习复习复习Greenplum概念概念概念概念第第第第1课练习课练习课练习课练习系统配置和验证系统配置和验证系统配置和验证系统配置和验证第第第第2课课课课•Greenplum和硬件设备和硬件设备和硬件设备和硬件设备•参考架构参考架构参考架构参考架构•OS内核优化内核优化内核优化内核优化•Greenplum系统验证工具系统验证工具系统验证工具系统验证工具•估算存储容量估算存储容量估算存储容量估算存储容量Greenplum软硬件需求软硬件需求软硬件需求软硬件需求
Greenplum—数据库软件方案数据库软件方案数据库软件方案数据库软件方案–给客户多种硬件平台的选择–数据库的性能与硬件性能有密切关系–Greenplum有多种型号的硬件平台经过测试认证
选择硬件的考虑因素选择硬件的考虑因素选择硬件的考虑因素选择硬件的考虑因素
选择硬件的考虑因素选择硬件的考虑因素选择硬件的考虑因素选择硬件的考虑因素–Segment服务器具有相同的硬件配置–Master服务器需要较高的CPU和内存资源
认证的操作系统认证的操作系统认证的操作系统认证的操作系统–Solaris10update4/5(添加推荐的patches)–SUSELinuxEnterprise10–RedHatEnterpriseLinux5.x–CentOS5.xGreenplum硬件配置硬件配置硬件配置硬件配置
Segment主机的推荐配置主机的推荐配置主机的推荐配置主机的推荐配置–2颗P3/AthlonCPU,dual-core–32GB内存–内置或直连的高速磁盘阵列–4个以上的千兆网口–4个以上的千兆网口
Greenplum认证的硬件型号认证的硬件型号认证的硬件型号认证的硬件型号（（（（x86PC服务器服务器服务器服务器））））–SunFirex4240(Master)+SunFirex4540(Segment)–HPDL180G6–DellR710+MD1120磁盘阵列–Dell2950+MD1000磁盘阵列–华赛OceanstorT3500Segment主机配置示例主机配置示例主机配置示例主机配置示例•每个有效的每个有效的每个有效的每个有效的CPUcore对应对应对应对应一个主一个主一个主一个主Segment实实实实例例例例•通通通通过逻辑过逻辑过逻辑过逻辑磁