Oracle 数据仓库解决方案

朱旻高级技术咨询顾问Oracle上海分公司Oracle的数据仓库解决方案议程Oracle公司简介Oracle数据仓库系统整体解决方案数据的管理数据的获取数据的展现问题与讨论Oracle-全球卓越的IT巨人Oracle是全球第二大独立软件公司Oracle是全球第一大数据库软件公司Oracle是全球领先的电子商务公司Oracle是北美制造业第一大ERP公司全球145+個国家及地区设有分支机构Oracle全球超过42,700名员工全球超过200,000客户Oracle总部位于加州硅谷，亚太地区总部设于新加坡2003财政年度营业额近100亿美元,研发经费超10亿美元Oracle-中国营运概况1989年进入中国，1991年正式成立“北京甲骨文软件系统有限公司”，是中国最大的国外软件公司之一，技术及咨询人员占员工总数62%以上提供全方位服务技术支持：技术人员提供专线与到场支持服务教育培训：专业讲师提供丰富课程，并利用互联网提供一致的，全球化的学习咨询顾问：专业顾问提供专业咨询服务在上海、广州、成都等地设有办事处3大培训中心，分别在北京,广州和上海于深圳、北京设立两个全球级研发中心Oracle完整的企业、政府机构信息化解决方案体系2019/7/31顾问咨询产品支持教育培训电子商务套件信息协同套件商业智能数据库应用服务器数据仓库工具基于Internet的应用产品合作伙伴技术发展80年代早期80年代后期90年代早期90年代后期早期关系型客户/服务器方式的关系型企业级关系型Internet数据库简单的OLTP,特殊的SQL查询客户/服务器方式的OLTP数据仓库和高端的OLTP扩展的关系型Web方式的应用集中数据的应用平台2000Oracle9iInternet商务平台2003Grid网格计算Oracle10g下一代Internet计算技术(Source:DMReview,May2001)Oracle:最大的数据仓库平台厂商全球数据仓库工具市场份额IBM16%Microsoft9%NCR3%Sybase1%Others37%SAS9%Cognos4%Oracle21%(Source:IDC,Aug2001)议程Oracle公司简介Oracle数据仓库系统整体解决方案数据的管理数据的获取数据的展现问题与讨论数据数据仓库是一个建设过程，而不是一个产品。数据仓库是通过对来自不同的数据源进行统一处理及管理，通过灵活的展现方法来帮助决策支持。数据仓库最新理解数据信息知识决策管理Oracle数据仓库的完整架构数据转换中央数据仓库信息展现业务用户源数据数据获取数据管理数据使用项目管理数据仓库实施指导方法论业务规划信息评估逻辑数据模型设计物理数据模型设计数据库管理元数据管理应用开发顾问咨询知识转移TMIS系统客运系统外部信息MIS系统抽取转化过滤加载随即查询报表多维分析数据挖掘Portal集成RelationalTransformationOLAPDataMining数据集市Oracle9i直接用户(客户端)Olap用户Web用户应用服务器决策者分析员研究员查询人员OWB项目管理、数据仓库方法论OPMDWM业务规划信息评估模型设计OracleWarehouseBuilder管理、开发OEMOWBOracle9iDS顾问咨询知识转移DiscovererReportBIBeanPortalTMIS系统客运系统外部信息RelationalTransformationOLAPDataMiningOracle9iMIS系统9iAS随即查询报表多维分析/数据挖掘应用服务器门户集成ETL工具Oracle提供先进的、完善的数据仓库技术平台数据转换中央数据仓库信息展现应用系统源数据数据获取数据管理数据使用议程Oracle公司简介Oracle数据仓库系统整体解决方案数据的管理数据的获取数据的展现问题与讨论数据集中处理需求数据量大，并不断增长Jan1,2002Dec31,2002记录数量大•汇总全局各业务系统:ERP系统MIS系统业务数据…Date,Time,Number,Name,Addr.,Amount?...数据内容复杂•详细记录货运信息、客运信息等内容数据集中处理需求数据访问性能要求高查询统计数据集中处理需求对安全，可靠，高可用性的要求高建立集中各业务系统重要数据的备份中心STOP24x7高效访问大量数据-数据分区技术可管理性将大的表分割为若干分区，“分而治之”性能“分区忽略”机制提高查询性能基于分区的join操作可用性将故障局限在分区中缩短恢复时间多种分区方式范围(Range)分区、散列(Hash)分区、列表(List)分区混合分区PartitionedTableswithLocalIndexesOCT2002SEP2002AUG2002NOV2001OCT2001LoadandindexnewmonthNOV2002NOV2002NOV2002NOV2002NOV2002NOV2002NOV2002NOV2002NOV2002NOV2002...“滚动窗口”操作-大量数据高速装载andaddnewmonthtotableOCT2002SEP2002NOV2002NOV2001NOV2001OCT2001OCT2002SEP2002NOV2002DEC2001NOV2001OCT2001OCT2002SEP2002NOV2002DEC2001NOV2001OCT2001OCT2002SEP2002NOV2002DEC2001NOV2001OCT2001OCT2002SEP2002NOV2002DEC2001NOV2001OCT2001OCT2002SEP2002NOV2002DEC2001NOV2001OCT2001OCT2002SEP2002NOV2002DEC2001NOV2001OCT2001“滚动窗口”操作-大量数据高速装载OCT2002SEP2002NOV2002DEC2001NOV2001OCT2001NOV2002ThenremoveandarchiveoldestmonthOCT2001OCT2001Loadandindexnewmonth......PartitionedTableswithLocalIndexes保证系统高可用性－综合信息库系统ComputerCComputerDComputerAComputerBOnedatabaseaccessiblebyallnodesOracleRealApplicationCluster(Oracle并行服务器，OPS)在Cluster、MPP体系结构中，实现一个共享数据库，支持并行处理，均分负载，保证故障时数据库的不间断运行支持ShareDisk和ShareNothing类型的体系结构多个节点同时工作节点均分负载DLM透明的应用失效转移--利用‘热失效转移’进行恢复透明的应用失效转移补全了可用性等级的所有层次将应用和用户自动而透明地重新连接到另一个系统登录的上下文可被保持应用查询不会中断节点A节点B节点A节点B当集群内节点A失败,用户被转移数据库节点A数据库缓冲器节点B数据库缓冲器请求数据传输CacheFusionTM体系结构Oracle9i的完全缓存融合技术提高了性能和可扩展性通过高速互连直接传输数据昂贵的磁盘I/O被最小化数据共享问题面向查询的读共享查询操作需要读某数据块，而该块正好在另一个实例的缓存中面向更改的写共享更改操作需要修改某数据块，而该块正好在另一个实例的缓存中。使用CacheFusion,仅当该数据块不在全局共享的缓存中，才会执行磁盘读操作DataA-Z应用DataA-Z应用Oracle9iRealApplicationClusters-可伸缩性增加系统扩充能力增加机器时，系统性能的最佳响应快速增长的集群结构Clusters快速增加节点和硬盘当扩展节点时数据仓库系统无须重新组织和分布数据SingleNode2Nodes4Nodes05001,0001,5002,0002,5003,0003,5004,000SingleNode2Nodes4Nodes#Users1,0261,9003,648OracleE-BusinessSuite11iOracle9iRAC可伸缩性数据库服务器:HPN-Class6x440MHzCPUs89%Scalability93%生产数据库延迟和零数据丢失模式(Both)物理后备数据库建立综合信息库高效的备份中心-Oracle9iDataGuard(OracleStandbydatabase)零数据丢失的灾难保护通过同步/异步的日志log传输控制排除人为错误通过延迟提交灵活的切换操作主数据库和备份数据库可以灵活的互换角色DataGuardManager在OEM图形界面管理工具内，配置、监控和管理灾难保护系统物理备份数据库生产系统逻辑备份数据库主备系统双向切换管理员控制台和统一管理平台(Both)延迟和零数据丢失模式(Both)保持数据库打开状态SQL提交附加的索引和物化视图建立综合信息库高效的备份中心-Oracle9iDataGuard(OracleStandbydatabase)按固定字段的范围分区、哈希分区、混合分区、列表分区灵活应用、SQL语句自动重写、自优化能力高效、灵活、易于使用的OLAP分析、数据挖掘和数据抽取、转换、传输、存储服务提高索引效率、增强的外连接索引能力Oracle9i,数据仓库的增强技术数据分区物化视图集成的OLAP、DataMining和ETL服务位图连接索引数据分区位图索引真正仓库物化视图其他汇总数据按月汇总的不同种类货运数据按地区汇总的每月货运数据查询详细货运记录查询自动重写汇总数据管理-物化视图MaterializedView蚌埠和上海分局在过去三个月的货运总量是多少？表压缩(Oracle9i,版本2)表能被压缩在分区级别上压缩也能具体指定典型压缩比率从3:1到5:1压缩由实际数据决定压缩规则基于数据冗余主要好处是节省开销节省TB级的存储而不影响性能或功能数据分区位图索引真正仓库物化视图Oracle9iDatabase单一的商业智能数据服务器RelationalETLOLAPDataMiningMetadata数据获取数据管理数据展现传统的分析服务器数据仓库引擎数据整合引擎OLAP引擎数据挖掘引擎数据获取数据管理数据展现Oracle9i分析平台DataWarehousingETLOLAPDataMiningOracle9i数据获取数据管理数据展现更强大的分析能力更加安全可靠部署和管理更加简单Oracle9iDB集成OLAP和DataMining目前业界最先进的OLAP处理方法所有OLAP数据和处理过程都存储在Oracle9iDB多维结构（维表，cube立方体）存储在数据库中没有外部文件存储或单独的OLAP处理(不同于竞争对手产品)SQL直接访问多维目标、模型、预测等…开放的、基于Java标准的OLAPAPI利用BIBeans方式加速基于internet的应用开发OLAP数据分区位图索引真正仓库物化视图应用部署Oracle9iASJava应用或AppletServletPDAMobilePhonePCBrowserOracle9iOLAP服务数据仓库BIBeans库Oracle9iDataMining提高了应用的预报和洞察力例如，建立货运量的趋势分析模型DataMining嵌入了Oracle9iDatabase简单的过程，避免了数据迁移，提供了更好的运行性能和可扩展性开放的、基于Java标准的API用于开发商业智能的应用DataMining数据分区位图索引真正仓库物化视图ETL的压力和挑战短时间内完成大量数据的抽取、转换和装载(ETL)不能影响数据源系统(业务运营系统)和目标系统(分析系统)ETL是分析系统中非常复杂和关