数据仓库_day2

本次培训目的了解OLAP技术以及相关产品了解Oracle数据仓库和商业智能总体解决方案了解OracleWarehouseBuilder产品的架构和安装了解OracleWarehouseBuilder产品的特性和使用方式了解国内当前几个银行的数据仓库项目的实施过程使用Hypersion实现BI前端展现日程安排第一天–OLAP技术以及产品介绍–Oracle数据仓库和商务智能整体解决方案介绍–OracleWarehouseBuilder产品整体介绍安装OWB产品，创建设计和运行资料库–定义数据仓库目标模型–多维模型设计维度设计，立方体设计–数据源定义创建文本数据源，创建Oracle数据源日程安排第二天–ETL设计数据流和映射的设计–部署管理–过程设计过程设计和编辑–元数据浏览设计浏览器和运行审计器–DW工程中ETL的实现–Hypersion实现BI前端展示OracleWarehouseBuilderOWB工作过程•关系性数据•平面文件•应用•主机Oracle8iorOracle9i抽取和转换数据6生成代码4设计目标数据仓库模型1映射源数据3部署数据仓库5OWBrepository源数据目标数据仓库OWBClient2定义源数据3.源到目标的映射避免手工编码和维护复杂的程序文档化表示ETL的流程和业务规则避免大量的培训工作BusinessChallenge!!3.源到目标的映射•KeyLookup•Name/Address•Set•Joiner•Filter•Splitter•Aggregator•Deduplicator•Sorter•Sequence•Expression•Transformation•Pre-andPost-MappingProcessMappingEditor(IconicView)3.源到目标的映射:转换利用Oracle9i作为转换引擎超过80个打包的函数和存储过程–标准OracleSQL函数–超过40多种的WarehouseBuilder函数和存储过程WB_DISABLE_ALL_CONSTRAINTSWB_TRUNCATE_TABLEWB.LOOKUP_NUM…可以使用用户自定义的PL/SQL转换函数和过程内嵌的表达式编辑器ExpressionBuilder内置的校验功能可以在全局中共享和重用3.源到目标的映射:表达式编辑器语法检验3.源到目标的映射:增量代码生成3.源到目标的映射:验证有效性探测–数据类型的错误匹配–漏失的参数–未完成的匹配–无效的对象–无效的参照–…3.源到目标的映射易于使用和基于导向的设计Mappingdesigner包含了完整的设计能力中间的和完整的代码生成和校验OWB工作过程•关系性数据•平面文件•应用•主机Oracle8iorOracle9i抽取和转换数据6生成代码4设计目标数据仓库模型1映射源数据3部署数据仓库5OWBrepository源数据目标数据仓库OWBClient2定义源数据4.代码生成你得到了性能良好的代码吗?BusinessChallenge!!4.代码生成针对Oracle数据库优化的代码–可对Oracle9i目标使用MERGE语言–Set-based或者row-based–PL/SQL批量处理–外键约束处理–通过inlineviews实现远端表的快速抽取–分区抽取4.代码生成针对目标特性的代码–为数据仓库创建的SQLDDL–为关系型数据源的PL/SQL–对应文本数据源的SQL*Loadercontrolfiles–对应SAPR/3sources的ABAP–为OEM注册的教本日程安排第二天–ETL设计数据流和映射的设计–部署管理–过程设计过程设计和编辑–元数据管理设计浏览器和运行审计器–映射调试和版本控制OWB工作过程•关系性数据•平面文件•应用•主机Oracle8iorOracle9i抽取和转换数据6生成代码4设计目标数据仓库模型1映射源数据3部署数据仓库5OWBrepository源数据目标数据仓库OWBClient2定义源数据5.部署数据仓库我如何管理我的数据仓库和数据集市?你提供了统一的控制方式吗?BusinessChallenge!!5.部署数据仓库：部署管理器对象位置的显式辨识配置状态–Neverdeployed–PreviouslydeployedSuccessfulFailedWarning缺省活动:CreateorUpdate配置历史–配置日期,状态,错误信息5.部署数据仓库：部署管理器5.部署数据仓库：部署管理器OWB工作过程•关系性数据•平面文件•应用•主机Oracle8iorOracle9i抽取和转换数据6生成代码4设计目标数据仓库模型1映射源数据3部署数据仓库5OWBrepository源数据目标数据仓库OWBClient2定义源数据6.抽取和转换数据任务运行在下班时间有限的资源用来监控和通报任务之间的相互依赖关系如果一个过程失败,需要告警和通知BusinessChallenge!!6.抽取和转换数据处理流程--ProcessFlowEditor–在处理流程建立过程中定义–智能地控制映射和其它OWB对象–基于集中的repository管理任务–监控,审计和通告任务状态–消灭手工劳动,减少错误6.抽取和转换数据FileExistsFTPForkAndSub-processEmailUser-definedOrTransformMap6.抽取和转换数据ProcessFlowModeler6.抽取和转换数据ETL任务排序和安排–在OWB中直接执行完成ETL过程–在OracleEnterpriseManager安排这些任务–在OracleWorkflow中注册,定义执行顺序和附加的相关操作OWBOEMOracleWorkflowOracleWorkflow元数据管理如果开发过程中源数据结果发生变化？如果开发结束一段时间后，有新的需求产生？如果其他部门的技术人员需要改变和系统相关的数据结果？是否是开发的架构？BusinessChallenge!!元数据管理多用户元数据–单用户更新，多用户读取–对象锁机制–同步版本管理影响分析开放:编程访问元数据集成OMGCWM(CommonWarehouseModel)–开放的标准–使用XML元数据互换XMLMetadataInterchange(XMI)–强大的对象模型–相关ETL和分析的元数据OWB桥(OracleWarehouseBuilderBridges)–OracleDiscoverer–OracleExpress–OracleDesigner(viatheOWBOracleIntegrator)–CAERwin–SybasePowerDesigner–OMGCWM元数据集成把OWB源数据传输到OracleDiscoverer元数据报告元数据报表–影响分析总结Oracle完整集成的数据仓库解决方案OracleWarehouseBuilder总结：Oracle数据仓库解决方案总结：OWBOWB是一个针对数据仓库应用的工具设计和部署数据仓库／数据中心以及源数据和目标数据的匹配充分利用Oracle数据库技术和投资元数据共享和报表在OracleDeveloperSuite套件中Designuser(s)schema-DesignmetadataRepositoryAssistantDesignuser(s)Run-timeownerschema-Audittables-Run-timeanddeploymentstatistics-PhysicallocationinfoTargetschema(s)-Tables-Dimensions,cubes-Mappings-Packages,…ConnectAsuserschema-intermediaryuserforsecurityRuntimeAssistantConnectuserRuntimeownerTargetschema(s)总结：OWB架构总结：OWB工作过程•关系性数据•平面文件•应用•主机Oracle8iorOracle9i抽取和转换数据6生成代码4设计目标数据仓库模型1映射源数据3部署数据仓库5OWBrepository源数据目标数据仓库OWBClient2定义源数据管理＋Informatic以及Hypersion介绍练习环境介绍OLAPServer–Oracle10g10.1.04EE–Oracle10.1.04patchset–OLAPClient–Oracle10gClient–AnalyticWorkspaceManager10.1.0.4–OracleBISpreadsheetAdd-In