创新经营的思路

使用Oracle数据库11g第2版实现存储管理陆伟琪Oracle中国存储目标减少风险降低成本高效管理主要的存储挑战存储最佳实践目标降低成本•存储成本–阵列–光纤–端口–管理软件•人员成本–系统管理员存储目标降低成本高效管理减少风险非结构化数据监管合规性合并收购结构化数据不断增加的应用程序数据复制存储成本不断增长的数据量存储成本过度供应•过度供应是一个真正的挑战–DBA需要2TB，但是由于请求周期可能为数周到数月，因此请求4TB–存储管理员获取8TB，这样他们不必再次调整管理•据HorisonInformationStrategies报告，超过60%的磁盘空间未使用/未分配信息来源：在此处插入图片“33%的调查反馈者预计到2007年末用完电源和冷却容量，96%的调查反馈者表明他们将在2011年面临容量不足。”Liebert客户调查企业存储论坛目标高效存储管理•存储管理挑战–复杂性–性能和容量要求–更改管理降低成本存储目标高效管理减少风险降低成本存储管理数据存档挑战DividingdatabasesintomultiplesmallerdatabasesPurgingdatafromdatabasesOffline•这些解决方案增加了运营和基础架构成本•当前的合规性挑战•潜在降低应用程序灵活性存储管理性能管理•存储在数据库性能中起着很重要的作用，应该正确调整大小•OLTP—关键度量是每秒I/O操作数，因为I/O是随机的–假设每个数据库事务有5个I/O操作–假设每个磁盘有30个I/O操作–磁盘数=（每秒数据库事务数*5）/30•数据仓库—关键度量是I/O带宽，因为要扫描表–根据经验，对于每个CPU（或内核），将需要维持大约200Mb/秒–您需要调整下游HBA、交换机和阵列的大小以匹配此吞吐量，从而保持平衡。•当前的仓库部署通常存在瓶颈，限制了从磁盘到服务器的数据移动–处理器到光纤通道环路上存在存储阵列瓶颈–服务器中的光纤通道主机总线适配器有限–未配置完备的、复杂的SAN•存储互连速度降至原来的1/100到1/10存储管理存储数据带宽瓶颈存储管理更改管理•数据库存储配置取决于许多变量•哪些数据要放在哪个磁盘上•LUN配置•使设备匹配负载类型（OLTP、DSS„„）•在可用选项之间进行权衡•文件清单：•2个控制文件、2个日志文件、每个表空间有多个数据文件、备份文件、临时文件等„„•用于创建、命名和管理的数百或数千个文件乘以数据库数n•我选择的配置正确吗？•持续调整目标减少风险减少风险•系统正常运行时间–硬件故障–计划维护•数据丢失–存储故障–数据损坏存储目标存储目标降低成本高效管理减少风险风险管理数据丢失系统故障数据故障系统变化数据变化意外停机计划停机存储故障人为错误数据损坏站点故障风险管理备份Oracle解决方案规划•自动存储管理(ASM)—降低存储管理成本，提高灵活性，实现性能最佳实践•基于磁盘的备份和恢复—RMAN和OSB能够恢复数据库和文件系统中的损坏数据•Oracle闪回技术—能够恢复因人为错误而损坏的数据•分区—对大型数据集进行分而治之—提高查询性能，改善数据加载和清除•高级压缩—磁盘空间利用率提高4倍•只读表和表空间—提高性能，实现隐私/审计合规性•数据库管理的信息生命周期管理(ILM)—使用数据库管理数据存储位置，保持审计跟踪，加强安全性和合规性，并且索引、查询和搜索所有信息•ExadataStorageServer–显著提高存储效率自动存储管理存储管理器旨在管理Oracle数据库文件，而无需额外成本•卷管理器•文件系统•集群功能针对性能和可用性SLA可预测地交付提高存储利用率和灵活性简化和自动化数据库存储管理降低成本和复杂性，并且不会影响性能或可用性自动存储管理(ASM)简化供应，提高性能•自动I/O负载平衡•将数据条带化分布到磁盘上，以平衡负载•最佳I/O吞吐量•自动镜像•高效、联机添加/删除磁盘•将来自多个数据库的数据整合到同一共享存储环境中自动存储管理DBADBBDBCASM主页ASM性能页面“Oracle自动存储管理(ASM)极大地增强了我们在数据库中管理存储的能力。它允许有多个层，这样我们可以使不同类型的存储设备适应不同应用程序需求和性能要求。它按需平衡以实现最佳性能。”DonaldEybergEmbarq的数据库服务经理Oracle数据库11g第2版ASM增强•改善的管理–ASM安装和配置助手(ASMCA)–功能完备的ASMCMD–ASM文件访问控制–ASM磁盘组重命名–数据文件到磁盘映射•可调优的性能–智能数据放置–Sector_size不经常访问的数据经常访问的数据Oracle数据库11g第2版ASM集群文件系统•通用集群或本地文件系统构建于ASM之上•优化的磁盘布局、联机添加/删除/重新平衡磁盘、集成的镜像•动态卷管理、只读快照HR销售ERP数据库文件Oracle二进制文件文件只读表和表空间性能和管理优势•只读表在11g中提供，只读表空间在Oracle8i之前已存在•只读表和表空间提供增强的性能和安全性–RMAN不需要备份只读表–只读表的查询性能提高–便于实施隐私和审计合规性策略–可以将数据放于只读介质上–可以与ILM解决方案结合使用基于磁盘的备份和恢复集成的消除重复和存储分层•完全自动化•快速增量备份–仅备份更改的块–使用非常高效的算法跟踪更改的块—速度提高20倍–验证块以防止备份副本损坏•夜间增量备份前滚恢复区备份–不需要进行完整备份•低成本的SATA磁盘可用于恢复区•或者使用存储阵列中的未使用空间闪回恢复区在夜间应用经过验证的增量每周归档到磁带数据库区Oracle闪回技术•闪回从根本上改变了错误恢复–仅对更改的数据进行操作–纠正错误的时间等于造成错误的时间•数分钟而不是数小时•闪回很容易–单个命令取代复杂过程–根据观察，闪回数据库对OLTP负载的影响小于2%•对于测试也有重要作用！纠正时间=出错时间+f(DB_SIZE)01020304050607080TimeToRecover(minutes)传统恢复闪回Oracle分区将数据分成可管理的单元Col5Row6Row5Row4Row3Row2Row1Col4Col3Col2Col1CustomerTablePartitionKey(OrderDate)Age3MonthsAge3&12MonthsAge12Months分区类型•范围•散列•列表•组合“Oracle分区使我们的应用程序执行起来非常快。总的来说，当我们从Oracle数据库10g升级到11g时，性能提升约为30到50%。”SatishPalvaiXactly的共同创办人和首席技术官显著减少存储使用高级压缩OLTP•压缩大型应用程序表–事务处理、数据仓库•压缩所有数据类型–结构化和非结构化数据类型•提高查询性能–整个数据中心的级联存储节省压缩4倍高达©2009OracleCorporation高级压缩显著改善容量和性能0100020003000无压缩压缩00.10.20.30.4无压缩压缩02000400060008000100001200014000无压缩压缩0510152025无压缩压缩节省超过70%的存储空间存储消耗量性能提高2.5倍表扫描时间索引范围扫描时间性能无变化表扫描读取量读取量减少为原来的１／3.5MB秒读取量秒“我们的一个大型OracleRAC系统是一个16节点系统，其中６个是存储节点，未压缩的数据大概有1PB。压缩后仅有200TB。”DavidApgar业务连续性规划高可用性工程师Yahoo信息生命周期管理经济高效的数据管理DataCharacteristicsAgeAccessFrequencyVolumeMonths1-3Months4-12Months13-72Tier1Tier2Tier3SD*MissioncriticalApplications*Enterprisestorage*Mirroring&replication*ContinuousDataProtection*Low-coststorage*Flashrecoveryarea*Unusedstorage*MAIDstorageRecoveryRequirementsSD存储层存储成本范围（2008年1月）存储层供应商最低美元数/GB（2008年1月）最高美元数/GB（2008年1月）平均值高端EMCDMX1000-M2146GB，10TB$11.10$14.70$13.80HPXP10000146GB，10TB$12.00$16.10IBMDS8300146GB，10TB$12.20$16.90低端EMCCX500146GB，6TB$4.40$6.00$5.20HPEVA4000146GB，6TB$4.90$6.50IBMDS4300146GB，6TB$4.10$5.50高端和低端之间的平均差值2.65•高端范围的价格通常表示针对性能配置系统•低端范围的价格通常表示针对容量配置系统•所有的负载成本都介于5-14美元/GB之间使用Oracle数据库实现ILM使用ASM定义三个存储层1997-20012002高端存储层2.5倍低端存储层1倍联机归档存储层½倍使用Oracle数据库实现ILM通过分区将数据映射到存储层1997-200120025%常用35%不常用60%历史订单高端存储层2.5倍低端存储层1倍联机归档存储层½倍4-12个月13-72个月1-3个月使用Oracle数据库实现ILM压缩数据以提高存储利用率订单5%常用35%不常用60%历史4-12个月13-72个月1-3个月1997-20012002高端存储层2.5倍低端存储层1倍联机归档存储层½倍使用Oracle数据库实现ILM只读表/表空间订单5%常用35%不常用60%历史4-12个月13-72个月1-3个月高端存储层2.5倍低端存储层1倍联机归档存储层½倍使用Oracle数据库实现ILM仅备份更改的内容高性能存储层低成本存储层订单5%常用35%不常用60%历史4-12个月13-72个月1-3个月联机归档存储层ExadataStorageServer数据带宽瓶颈解决方案•增加更多管道—大量并行体系结构•增宽管道—比常规存储快5倍•通过管道传送较少数据—在存储设备中处理数据HPExadataStorageServer硬件•每个单元的数据带宽高达1GB/秒•HPDL180G5–2个Intel4核处理器–8GBRAM–双端口4XDDRInfiniBand卡–12个SAS或SATA磁盘•预安装了软件–OracleExadataStorageServer软件–OracleEnterpriseLinux–HP管理软件•硬件保修–3年部件/3年人员/3年现场–全天候、4小时响应ExadataStorageServer机架式ExadataStorageServerHPOracleDatabaseMachine针对高性能数据仓库进行配置•8台Oracle数据库服务器–64个Intel处理器内核–OracleEnterpriseLinux•14台ExadataStorageServer–高达168TB的原始存储•InfiniBand交换机•由Oracle优化、认证和支持Exadata—新体系结构打破数据带宽瓶颈•Exadata传送较少数据–查询处理将移入存储设备中，以便在卸载服务器CPU时显著减少发送给服务器的数据•Exadata拥有更多管道–模块化存储“单元”构建块组织到大量并行网格中–带宽随容量扩展•Exadata拥有较大的管道–InfiniBand互连的数据传输速度比光纤通道快5倍Exadata移动的数据较少且速度较快零售商Exadata速度提高—3倍到50倍-5.010.015.020.025.030.035.040.045.050.0RecallQueryGiftCardActivationsSalesandCustomerCountsPrompt04CloneforACLa