Oracle 的数据仓库策略

在此处插入图片 Oracle 的数据仓库策略数据仓库所面临的挑战 ©2006，2007 Winter Corporation。Waltham MA 保留所有权利。 200 400 600 800 1000 1998 2000 2002 2004 2006 2008 2010 2012 实际计划 TB 级的数据 • 每 18 个月 CPU 的速度将翻倍 • 然而，磁盘速度滞后……最大数据仓库的大小Oracle 在数据仓库领域拔得头筹信息来源：IDC，2007 — 数据仓库平台工具 2006 年供应商市场占有率 18 亿美元总市场 = 44 亿美元，年增长 12.4%全面的解决方案选项自定义自定义 • 完全的灵活性 • 任何操作系统、任何平台 • 轻松满足公司的 IT 标准Oracle 真正应用集群低成本，扩展 CPU 的 • 低成本模块化服务器 – Linux – Windows – Unix • 按需向外扩展服务器 • 内置服务器冗余自动存储管理 • 数据库文件的存储池 – 跨磁盘的负载均衡 – 按需分配容量 • 联机添加/删除存储 – 自动 IO 负载平衡 • 容错，高性能 – 自动镜像和条带化 • 成本低 – 无需任何 IO 调整 – 不需要任何卷管理器或文件系统问题 • 最大的 SMP 无法扩展以满足 DW 负载要求 – 高成本 – 受限扩展方式解决方案 • Linux 上的 RAC 和 ASM – 纯粹的扩展体系结构 – 同时具有服务器层和存储层 • 51 TB 原始数据，71 TB 磁盘空间 • 数据在 6 年中增加了 50 倍，去年增加一倍多 • 查询数量增加了 300% 16 节点 RAC Linux 集群每个节点 4 个 CPU 交换机交换机交换机 8 个 SAN 交换机，每个有 32 端口 84 个 HP MSA­1000 阵列 Amazon 数据仓库 Amazon 数据仓库数据库资源管理器 • 预先保护系统 – 最大并发操作数 – 依赖优先级的最大并行度 (DOP) 高优先级销售分析 20 个用户（DOP 10）中优先级即席报表 200 个用户（DOP 4）低优先级 ETL 作业 200 个用户（DOP 4）Oracle 数据库安全性营销财务销售身份验证P保护传输中的数据P授权P访问控制P保护存储的数据P审计P身份管理POracle 分区对应用程序透明大型表难以管理分区分而治之更易于管理提高性能组合分区更高的性能更灵活地满足业务需求 ORDERS ORDERS Jan Feb ORDERS Jan Feb Europe USA压缩 • 可以压缩表和索引 – 可以在每个分区的基础上指定 – 典型压缩率 3:1 • 需要更多 CPU 来加载数据 – 解压缩几乎不消耗资源 – 压缩所有 DML 操作 • 磁盘上数据较少 – 所需读取时间较短 • 完全透明高达 3 倍压缩数据挖掘 OLAP 统计数据 SQL 分析集成分析 • 向数据提供分析 • 利用核心数据库基础架构Oracle Warehouse Builder 数据集成Oracle 多 TB 数据仓库客户 CPG /运输零售通信金融服务能源制造全面的解决方案选项 • 为数据仓库记录最佳实践配置参考配置参考配置自定义自定义 • 完全的灵活性 • 任何操作系统、任何平台 • 轻松满足公司的 IT 标准最全面的产品 Oracle 数据仓库解决方案的目标： • 提供卓越的系统性能 • 提供出色的客户体验 • 最大的灵活性及解决方案选择调整数据仓库大小数据库 CPU 内存致动器 LUN 磁盘 RAID 数据库 CPU 内存致动器 LUN 磁盘 RAID 不均衡的配置均衡的配置 100% 可能的效率 100% 可能的效率 100% 达到的效率  50% 达到的效率客户配置示例 FC 交换机 1 FC 交换机 2 FC 交换机 1 FC 交换机 2 P690 32 CPU 24x 2Gb HBA 4x 4x EMC DMX 2000 6x 最大 IO 吞吐量：25GB/秒最大 IO 吞吐量：18GB/秒 72% 容量，25% 性能降低最大 IO 吞吐量：5 – 6GB/秒容量的 20 ­24%，76 – 80% 性能降低Oracle Optimized Warehouse 小于 1 周提取 Oracle Optimized Warehouse 使用组件从头开始构建实施前系统调整购买组件安装与配置测试和验证数周到数月加速实施并降低风险 Oracle Optimized Warehouse 计划ü加快部署ü降低风险参考配置购买组件安装与配置测试和验证数周到数月Oracle Optimized Warehouse 参考配置 • 为预定义 DWBI 环境记录的平衡系统配置 – 调整系统的起点 – 平衡系统包含 CPU、内存、I/O 以及电缆 – 调整因素为原始数据、平均并发用户数和负载复杂度 • 利用可伸缩的、模块化组件 – 启用递增（向内扩展、向外扩展） – 降低实施风险 • 不同的操作系统和硬件配置 – Linux 和 Unix 的选择 – 小型、中型和大型节点–“传统”SMP 和集群解决方案 • 不同的负载配置 – 价格/性能与 I/O 密集型•“指导的选择” – 不同的备选硬件供应商和硬件组件 – 价格、性能和适合于现有环境的平衡点何为平衡单位？ •“最薄弱环节”限定吞吐量 • 每个构建块均为一个平衡单位 •要考虑的组件： • CPU：数量和速度 • HBA（主机总线适配器）：数量和速度 • 切换速度 • 控制器：数量和速度 • 磁盘：数量和速度 FC 交换机 1 FC 交换机 2 磁盘阵列 1 磁盘阵列 2 磁盘阵列 3 磁盘阵列 4 磁盘阵列 5 磁盘阵列 6 磁盘阵列 7 磁盘阵列 8 HBA1 HBA2 HBA1 HBA2 HBA1 HBA2 HBA1 HBA21 TB 50 TB 10 TB 20 TB 30 TB 40 TB 70 TB 60 TB 80 TB 90 TB 100 TB+ Oracle Optimized Warehouse 参考配置体系结构： SMP 和集群全面的解决方案选项 Optimized Warehouse Optimized Warehouse • 预安装和预配置可伸缩系统：准备好开箱即可运行 • 为数据仓库记录最佳实践配置参考配置参考配置自定义自定义 • 完全的灵活性 • 任何操作系统、任何平台 • 轻松满足公司的 IT 标准定义: Oracle Optimized Warehouse • 一个产品涵盖数据仓库 – 数据库, 服务器, 存储storage – 预安装, 预定义 – 经过验证的性能 – 作为单一产品销售 – 作为单一产品支持 • 不同细分市场的最好的解决方案Oracle Optimized Warehouse 组件预安装的软件: •Oracle Database 10g EE •分区组件 •RAC组件 • 所有系统由一个预安装和预配置的数据库组成 • 所有系统都有 – 预定义的 LUNs, – 预定义的 ASM 磁盘组和表空间 – 预定义的 init.ora 设置 – 预定义的 listener – Database Control • 可选 – ARCHIVE LOG模式的数据库加预定义的“闪回恢复” 区 – 不同的高可用性硬件配置 • 磁盘和架构冗余Oracle Optimized Warehouse 策略 • 全球最佳–“传统”DW Appliance的优势 • 高性能 • 易于购买 • 便于维护 –Oracle 的优势 • 同类最佳软件 • 普遍的实施专业技术 • 极其适合于现有 IT 基础设施 • 全套解决方案校准测试 • 目标：平衡硬件配置 – 验证原始平台性能 – 生成数据仓库 IO 负载 • 使用 Oracle 的 ORION 公用程序 – 可线性伸缩性一个构建块两个构建块三个构建块四个构建块注意：可以从  下载 ORION验证测试 • 安装验证： – ASM、数据库、RAC • 功能性测试： – 基本 DBA 操作 • 破坏性测试： – 测试从节点、HBA、控制器或磁盘故障正确恢复 • 性能测试： – 大规模数据库 – 多用户性能测试 – 单节点到多节点的可伸缩性Oracle Optimized Warehouse 的操作简易性 •所有系统均由预构建及预配置数据库组成 •所有系统中均有 –预定义的 LUN –预定义的 ASM 磁盘组 –预定义的表空间 –预定义的监听器 –数据库控制Oracle Optimized Warehouse 构建块供应商的最新配置 25TB 10TB 1TB 20TB 5TB P 系列 5­20TB X4500 1­5TB 15TB X 系列 3­12 TB PE2950 1­4 TB R900 5­10 TB 1TB C 7000 系列 1­4 TB 5­10TB M 5000 SGI Altix XE250Oracle 不同之处优化数据仓库 • 降低风险 – 久经考验的高可用性和高性能 – 企业级安全性 – 一个支持电话 • 缩短决策时间 – 易于部署 – 久经考验的混合负载支持 – 对 BI 工具、应用程序以及分析的开放平台支持 • 灵活性 – 通过模块化构建块进行扩展 – 平台和操作系统的选择 – 利用您当前的 IT 基础架构