Oracle数据集成解决方案

FinishDataModelingMethodologyOracle数据集成解决方案CONFIDENTIAL:Allcontentsareforstudypurposesonlyandcannotbeusedinanycontract目录•1、背景•2、数据集成平台介绍•3、Oracle数据集成解决方案•4、Q&ACONFIDENTIAL:Allcontentsareforstudypurposesonlyandcannotbeusedinanycontract3.1、数据集成方式数据集成方式适用场景不适用场景技术手段业务场景实时数据集成/容灾在异构的数据库之间复制/同步数据不同数据源的数据分发或汇总要求数据准实时同步数据源和同步目标有很多的数据转换要求GoldenGate（异构数据库间数据同步）生产系统到ODS异地灾备双业务中心批量数据集成大批量数据的转换异步的批处理应用系统间的单向数据传输FlatFile到数据库对数据同步的实时性要求非常高ODISuite（高效的数据抽取、加载、转换技术）业务数据库系统到数据仓库系统ODS到数据仓库CONFIDENTIAL:AllcontentsareforstudypurposesonlyandcannotbeusedinanycontractGoldenGate提供异构环境下交易数据的实时复制。3.2、OracleGoldenGate简介卓越性能灵活性可靠性非侵入性，轻量级，亚秒级开放，模块化，支持异构业务一致性CONFIDENTIAL:Allcontentsareforstudypurposesonlyandcannotbeusedinanycontract网络源数据库目的数据库双向复制队列文件:暂存数据变化.传输:数据经过压缩和加密传送到目的地.捕获:实时读取交易日志捕捉数据变化.投递：执行所需的数据变化，然后将数据变化提交到目的库.CaptureSourceTrailTargetTrailSourceTrailTargetTrailDeliveryDeliveryCapture3.2、OracleGoldenGate简介－工作原理CONFIDENTIAL:Allcontentsareforstudypurposesonlyandcannotbeusedinanycontract单向复制备份、查询双向复制灾备、双业务中心点对点多业务中心广播复制数据分发集中复制数据仓库、N+1灾备多级复制层次化企业数据3.2、OracleGoldenGate简介－多拓扑结构CONFIDENTIAL:Allcontentsareforstudypurposesonlyandcannotbeusedinanycontract备用节点启动风险镜像软件购买费用备用节点投资网络投资备用节点不可用复制软件购买费用网络投资备用节点投资磁盘镜像GoldenGate节省的预算可用于其它方面}3.2、OracleGoldenGate简介－优势}额外的风险使成本居高不下GoldenGate节省网络投资备用节点可以双活，提高IT投资利用率磁盘镜像技术数据全量复制，网络投资大，且距离限制生产系统和备份系统的存储设备必须同构备用节点不可用不检查坏块，存在数据库无法启动情况总拥有成本CONFIDENTIAL:Allcontentsareforstudypurposesonlyandcannotbeusedinanycontract3.3、ODISuite简介ODISuite是一个业务驱动的通用数据集成及转换工具，采用E-LT架构，支持SOA，支持更多的异构数据源。PerformancePrice新型E-LT架构，高效率，高性能；不需单独转换服务器，节省IT投资Productivity高效的声明式设计、图形界面；知识模块，热插拔；CONFIDENTIAL:Allcontentsareforstudypurposesonlyandcannotbeusedinanycontract3.3、ODISuite简介-E-LT架构传统的ETL架构ExtractLoadTransform新一代架构“E-LT”LoadExtractTransform在单独ETL服务器上进行转换•私有的引擎•性能差•高成本在已有的关系数据库上进行转换•充分利用资源•效率高•高性能好处最佳的高性能、可扩展性易管理、低成本CONFIDENTIAL:Allcontentsareforstudypurposesonlyandcannotbeusedinanycontract•纯Java的设计环境•可以在任何平台上运行•通过瘦客户端浏览元数据•纯Java的运行环境•可以在任何平台上运行•协调执行数据流•元数据库•可以装在任何关系数据库上•便于开发•组件化的、可扩展的元数据Design-TimeMetadataManagementRuntimeAgentDataFlowConductorServiceInterfacesandDeveloperAPIsUserInterfacesTopologyManagerDataFlowGeneratorKnowledgeModuleInterpreterKnowledgeModulesMasterRepositoryWorkRepositoriesRuntimeRepositoriesDataFlowGeneratorRuntimeSessionInterpreterDataFlowOperatorDesigner3.3、ODISuite简介-架构CONFIDENTIAL:Allcontentsareforstudypurposesonlyandcannotbeusedinanycontract3.3、ODISuite简介-知识模块JournalizeReadfromCDCSourceLoadFromSourcestoStagingCheckConstraintsbeforeLoadIntegrateTransformandMovetoTargetsServiceExposeDataandTransformationServicesReverseEngineerMetadataReverseJournalizeLoadCheckIntegrateServicesCDCSourcesStagingTablesErrorTablesTargetTablesWSWSWS•120多个知识模块（非黑盒的）开发和利用最佳实践简化管理工作减少拥有成本KMInterpreterChooseKMMetadata可执行代码•模块化设计CONFIDENTIAL:AllcontentsareforstudypurposesonlyandcannotbeusedinanycontractOracleDataIntegrator“Interface”DeclarativeDesign1定义你需要什么3自动生成转换（数据）流2定义如何做:选择知识模块批量加载•变化数据捕获•增量更新•缓慢变化维3.3、ODISuite简介-示例CONFIDENTIAL:Allcontentsareforstudypurposesonlyandcannotbeusedinanycontract3.4、Oracle数据集成方案总结全面全面支持面向运营和面向分析的环境；完整包含了数据集成的所有要素——实时和批量数据迁移、数据转换、数据质量等；高效降低开发成本，提高数据处理速度；CONFIDENTIAL:Allcontentsareforstudypurposesonlyandcannotbeusedinanycontract目录•1、背景•2、数据集成平台介绍•3、Oracle数据集成解决方案•4、Q&ACONFIDENTIAL:Allcontentsareforstudypurposesonlyandcannotbeusedinanycontract