OracleBI数据仓库设计及解决方案

1数据仓库解决方案探讨•基于开放和标准•业已优化,集成的和可延展的•更好的性能,可靠性,安全性•更短的部署时间•更简便的管理与升级•更低的拥有成本•极大降低变更管理的风险•整体支持Complete,Open,IntegratedOracle产品体系架构平台产品及技术映射Oracle电子商务应用套件—EBSOracle融合中间件—SOASuite•OSB•BEPL•BAM•WebServiceManagementOracle网格基础架构层•Oracle10g/11g/RAC•WebLogicServerOracle展现•OracleWebCenter•BIEE+•RUEIOracle用户和安全管理•OracleIdentityManagementOracle企业管理•OracleEnterpriseManagerOracle数据仓库•Partitioning•HyperionEssbase•DataMiningOracle高性能计算•TimesTen•CoherenceOracle内容管理•EnterpriseContentManagement业务流程层信息访问层商务智能门户数据库应用服务器存储网格基础架构层数据平台层流程管理企业服务总线规则引擎应用1应用2应用3应用4应用5安全管理拓扑管理系统的监控和调优产品生命周期管理企业管理单点登陆用户管理目录集成联盟身份应用6业务监控其它操作型数据库数据仓库批量数据加载实时/准实时更新数据获取层人工流程Oracle数据获取层•GoldenGate•ELT（OracleDataIntegrator）OracleBPMSuite流程管理OracleExadata一体机Oracle人力资源—PeopleSoftOracle项目管理—P6Oracle客户关系管理—SiebelOracle供应链—JDEOracle绩效管理—Hyperion4•Oracle数据仓库解决方案•数据仓库系统实施规划•总结日程6什么是数据仓库•数据仓库概念的提出者、美国著名信息工程专家WilliamInmon博士在90年代初提出了数据仓库概念的一个表述：“一个数据仓库通常是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合，它用于对管理决策过程的支持。”8ETL&配置器数据仓库和商务智能解决方案CRMIVRSupplyChainFinancialHRWebCTI用户交互系统业务系统其他业务和分析数据源发现和预警交互式仪表板报表数据仓库平台企业领导经理一线员工上下游企业业务分析数据仓库移动分析实时分析即时查询商务智能分析销售分析服务分析市场分析供应链分析财务分析劳动力分析商务智能分析•预制的客户和业务分析•行业化和基于规则•针对Siebel,SAP,PeopleSoft,Oracle,和其他数据源•快速实施、低成本数据仓库平台•为所有用户服务•极高的扩展性和性能•完整的、即时的数据提供•提供更强的BI和分析能力9数据仓库逻辑结构元数据数据集市数据集市数据分析BusinessModeling数据挖掘查询及报表门户数据仓库管理数据源数据仓库OLAP数据仓库构建数据仓库,模型分段数据存储抽取,转换,加载ERP数据其它数据其它数据知识工人用户决策人员数据仓库及商务智能系统逻辑架构图单点登录和统一身份管理数据仓库数据加载OracleDataIntegratorOracleDataIntegrator（ODI)是一个SOA-Ready的数据集成工具数据集成数据仓库主数据管理实时消息数据联邦数据迁移分散在各个系统中的异构数据源ERP------------------CRM---遗留系统------------------------------------业务系统如何充分利用企业现有的信息商业智能绩效管理业务流程监控商业流程管理------------数据同步OracleDataIntegrator支持多种数据源和目标高性能ODI可以方便地调用数据库存储过程、函数、操作系统可执行脚本ODI支持增量数据捕获ODI支持BLOB/CLOB数据类型的完全处理ODI支持将数据库数据转换为XML，包括BLOB/CLOB数据类型图形化界面，易于使用E-LT架构---数据加载高性能传统的ETL架构ExtractLoadTransform新一代架构“E-LT”LoadExtractTransformTransform在单独ETL服务器上进行转换•私有的引擎•性能差•高成本在已有的关系数据库上进行转换•充分利用资源•效率高•高性能好处最佳的高性能、可扩展性易管理、低成本ODI的易用性•ODI提供图形化方式实现异构数据复制、异构数据的抽取加载以及转换17数据仓库逻辑结构数据仓库数据管理OracleDB大型数据仓库特性排序Source:OracleSTSurvey数据分区技术提高大数据量的访问速度•数据分区层次的管理•范围、hash、列表、复合分区•查询时自动分区忽略，减少对不相关数据的访问•查询语句可以在分区间并行，提高CPU和IO并发•增强的数据有效性•数据故障隔离在分区而不是表上，备份、恢复更灵活查询的自动分区忽略、其它分区数据不受影响ordertableDropmay04Addjan04feb04mar04apr04本地索引数据分区的益处：显著提高访问大表时的性能只访问相关的分区优化器知道或查找相关的分区预先用已知的值进行静态修剪使用内部递归SQL查找相关的分区来进行动态修剪使I/O操作最小化分区忽略系统自动根据分区情况优化数据访问，忽略无关的数据分区199819992000registerTableselectsum(register_amt)fromregisterwherereg_datebetween1998and1999表分区使用情况?0%10%20%30%40%50%60%70%80%90%100%Range-ListListHashRange-HashRangeOracle数据库的真正应用集群技术ComputerAComputerBComputerC高可用性保证节点故障时连续访问,用户连接自动重定向（24*7）高伸缩性自动负载均衡，当负载增加时可增加节点来提高处理能力。共享磁盘技术高速内存通道技术可支持多节点配置11g中新的高级压缩技术•压缩大的应用表•9i只在数据加载时用，因此只适用数据仓库系统•11g适合所有命令，可用于业务处理系统•压缩各种数据类型•结构化数据和非结构化数据•典型压缩比2-3X•大量节省磁盘空间消耗2x-3x•可减少IO,加强了缓存的效率•比正常读取要快2倍•压缩的成本•能节省一半的存储空间•会增加5%的CPU使用率SunOracleDatabaseMachine•网格就是未来•高性能,低成本,冗余,线性扩展•SunOracleDatabaseMachine为所有数据管理需求交付第一个也是唯一一个完整的网格架构ExadataStorageServerGrid•14x高性能低成本存储服务器•100TBrawSASdiskstorageor336TBrawSATAdiskstorage•5TB+闪存(flashstorage)!RACDatabaseServerGrid•8x高性能低成本服务器•每个服务器包括2Intelquad-coreXeonsInfiniBandNetwork•40Gb/secfault-tolerantunifiedserverandstoragenetwork26ExadataFlash解决随机I/O瓶颈•SunOracleDatabaseMachine有5+TB的闪存存储•ExadataSmartCache技术缓存热点访问的数据•Allowsoptimizationbyapplicationtable•极大地降低成本•同样的I/O能力,超过10x倍的磁盘节省•低能耗Oracle是第一个闪存优化的数据库系统New5XMoreI/Osthan1000DiskEnterpriseStorageArray©2009OracleCorporation-Confidential2750XUpToOnlyonExadataExadataHybridColumnarCompression•数据以字段形式存储并压缩•查询模式–针对datawarehousing•最优的速度•典型的可达到10X的压缩率•按压缩比率改进扫描•ArchivalMode–针对频繁的数据访问•减少空间•典型的可达到15X的压缩率•有些可达到50X28数据仓库逻辑结构多维数据集市EssbaseOracleEssbase近十年内最具影响力的10大科技创新之一•全球第一的多维数据库•What-if计算•多维分配•多用户读/写•写回建模BI•财务智能维度和度量稀疏维402020203015100451453018152012831295281083020187638114402020203015100451455828235032181595020998484370623325995354北京总部天津分公司济南分公司合肥分公司广州分公司深圳分公司华北地区华南地区全国商品C商品B商品A商品分类２商品分类１商品全体2003年1月2003年2月2003年3月2003年4月2003年5月2003年6月地区维度时间维度商品维度销售额度量Dimension维度＝地区时间商品Measure度量＝销售额成员卓越的计算能力•最广泛的功能：•简单汇总到复杂的跨维分配•根据检索存储或计算的结果•关系识别•条件或程序逻辑HyperionEssbase可提高数据仓库性能1,000个并发查询1,400万客户帐户响应时间磁盘占用空间7小时1TB响应时间磁盘占用空间.2秒1.4GB具有Q&R工具的数据仓库HyperionEssbase1%完成，仍需要7个小时100%完成，共计.2秒大数据量、多用户支持分析可伸缩性国际整流器有限公司协作需求计划•销售趋势及预测•制造能力与调配•营销分析•客户和产品盈利能力•资本预算•财务报表编制与分析通过改进预测降低库存成本、提高收入数据可伸缩性安大略省交通部超过100GB的39维数据库提供14年的历史记录•230,000次事故•250,000段公路•450,000辆车（22个属性）•185,000名受伤人员（18个属性）通过提高对意外事件影响因素的洞察力降低死亡率维护可伸缩性戴姆勒·克莱斯勒公司使用UNIX外壳脚本、AutoSys作业和TivoliTME10监控实现过程自动化•4个物理服务器上运行45个数据库•服务器及应用日志监控•每晚更新及计算•备份与恢复降低管理成本，提高应用程序的可用性用户可伸缩性NTTDoCoMo37个业务部门及172个办事处，共30,000名用户•移动电话销售•客户账单•资产、合同、采购与物流•人力资源•财务——-P/L、C/F、B/S、虚拟结算实时可视性35数据仓库逻辑结构数据挖掘DataMiningOracle数据挖掘Oraclein-Database挖掘引擎•数据挖掘功能(Server)•PL/SQL&JavaAPIs•开发&部署预测分析应用•大量的DM算法(12)•分类•回归•聚类•异常检测•关联规则(购物篮分析)•结构化&非结构化数据(文本挖掘）•Oracle数据挖掘器(GUI)•简易化的,直观的数据挖掘•预测分析•从电子表格中“1-clickdatamining”DataWarehousingETLOLAPDataMiningOracleDBStatisticsOracleBIEE管理员可以看到Oracle数据挖掘结果OracleBIEE定义了最终用户展现的结果ODM和OracleBIEE的整合预测分析Oracle数据挖掘&OracleBIEE•了解更多!•大量的数据挖掘算法和(免费的)统计功能•挖掘数据,探索更全面的隐含信息,进行预测•做的更多!•挖掘新的信息—用OracleBIEE做部署•构建的应用可以帮助你“胜在分析上”•花的更少!•排除冗余的数据管理