高效的数据整合服务--Oracle Data Integrator

InsertPictureHere高效的数据整合服务高效的数据整合服务高效的数据整合服务高效的数据整合服务--OracleDataIntegrator程丛超程丛超程丛超程丛超资深解决方案架构师资深解决方案架构师资深解决方案架构师资深解决方案架构师InsertPictureHere•数据集成简介数据集成简介数据集成简介数据集成简介•架构介绍架构介绍架构介绍架构介绍•6个操作步骤个操作步骤个操作步骤个操作步骤•扩展功能扩展功能扩展功能扩展功能•ODI应用场景应用场景应用场景应用场景议程议程议程议程挑战和解决方案挑战和解决方案挑战和解决方案挑战和解决方案在数据整合方面在数据整合方面在数据整合方面在数据整合方面挑战挑战挑战挑战解决方法解决方法解决方法解决方法1.数据量越来越大数据量越来越大数据量越来越大数据量越来越大;批处理时间窗批处理时间窗批处理时间窗批处理时间窗口越来越少口越来越少口越来越少口越来越少2.非集成的整合方案非集成的整合方案非集成的整合方案非集成的整合方案3.复杂的复杂的复杂的复杂的、、、、需手工完成的传统需手工完成的传统需手工完成的传统需手工完成的传统ETL设计设计设计设计4.缺少知识积累手段缺少知识积累手段缺少知识积累手段缺少知识积累手段从从从从E-T-L转变为转变为转变为转变为E-LT完整完整完整完整、、、、集成的集成的集成的集成的整合方案整合方案整合方案整合方案从手工编码转变为从手工编码转变为从手工编码转变为从手工编码转变为声明式声明式声明式声明式设计设计设计设计转变为转变为转变为转变为专家经验驱动的专家经验驱动的专家经验驱动的专家经验驱动的开发方式开发方式开发方式开发方式为什么需要数据集成为什么需要数据集成为什么需要数据集成为什么需要数据集成数据集成数据集成数据集成数据集成数据集成数据集成数据集成数据集成数据仓库数据仓库数据仓库数据仓库主数据管理主数据管理主数据管理主数据管理实时消息实时消息实时消息实时消息数据联邦数据联邦数据联邦数据联邦数据迁移数据迁移数据迁移数据迁移分散在各个系统中的数据分散在各个系统中的数据分散在各个系统中的数据分散在各个系统中的数据分散在各个系统中的数据分散在各个系统中的数据分散在各个系统中的数据分散在各个系统中的数据ERP------------------CRM---遗留系统遗留系统遗留系统遗留系统------------------------------------业务系统业务系统业务系统业务系统如何充分利用企业现有的信息如何充分利用企业现有的信息如何充分利用企业现有的信息如何充分利用企业现有的信息如何充分利用企业现有的信息如何充分利用企业现有的信息如何充分利用企业现有的信息如何充分利用企业现有的信息商业智能商业智能商业智能商业智能绩效管理绩效管理绩效管理绩效管理业务流程监控业务流程监控业务流程监控业务流程监控商业流程管理商业流程管理商业流程管理商业流程管理------------数据同步数据同步数据同步数据同步应用应用应用应用ETLDWBusinessIntelligenceEAIDWDWDWMasterDataEAI服务总线服务总线服务总线服务总线收单收单收单收单转接转接转接转接外卡外卡外卡外卡运维运维运维运维综合综合综合综合其它其它其它其它发卡发卡发卡发卡营销营销营销营销ODS系统系统系统系统双总线架构双总线架构双总线架构双总线架构数据总线数据总线数据总线数据总线ETL数据服务数据服务数据服务数据服务OracleDataIntegrator•将多个数据源中的数据迁移将多个数据源中的数据迁移将多个数据源中的数据迁移将多个数据源中的数据迁移、、、、转换到不同种类转换到不同种类转换到不同种类转换到不同种类的目标中的目标中的目标中的目标中1.高性能高性能高性能高性能:不同种类的不同种类的不同种类的不同种类的“E-LT”方案方案方案方案2.灵活性灵活性灵活性灵活性:实时的整合平台实时的整合平台实时的整合平台实时的整合平台3.高效性高效性高效性高效性:声明式设计声明式设计声明式设计声明式设计4.热插拔热插拔热插拔热插拔:知识模块知识模块知识模块知识模块优势优势优势优势关键的特性关键的特性关键的特性关键的特性特性特性特性特性:E-LT架构架构架构架构高性能高性能高性能高性能传统的传统的传统的传统的ETL架构架构架构架构ExtractLoadTransform新一代架构新一代架构新一代架构新一代架构“E-LT”“E-LT”LoadExtractTransformTransform在单独在单独在单独在单独ETL服务器上进行转换服务器上进行转换服务器上进行转换服务器上进行转换•私有的引擎•性能差•高成本•IBM和Informatica的方案在已有的关系数据库上进行转换在已有的关系数据库上进行转换在已有的关系数据库上进行转换在已有的关系数据库上进行转换•充分利用资源•效率高•高性能好处好处好处好处
最佳的高性能、可扩展性
易管理、低成本11
实现实时数据仓库和操作型数据集线器(DataHub)
作为服务嵌入到OracleSOA套件中，实现全面的整合OracleDataIntegratorData-orientedIntegrationEventConductorEventConductorEvent-orientedIntegrationServiceConductorServiceConductorService-orientedIntegrationDeclarativeDesignMetadataDataConductorDataConductor特性特性特性特性:实时整合实时整合实时整合实时整合批量的批量的批量的批量的,基于事件的基于事件的基于事件的基于事件的,面向服务的整合面向服务的整合面向服务的整合面向服务的整合•在通用平台上在通用平台上在通用平台上在通用平台上，，，，实现近实时的实现近实时的实现近实时的实现近实时的数据仓库功能数据仓库功能数据仓库功能数据仓库功能•统一的数据整合统一的数据整合统一的数据整合统一的数据整合•保证数据完整性保证数据完整性保证数据完整性保证数据完整性•可作为服务嵌入到可作为服务嵌入到可作为服务嵌入到可作为服务嵌入到OracleSOA套件中套件中套件中套件中•好处好处好处好处22特性特性特性特性:声明式设计声明式设计声明式设计声明式设计提高开发人员生产力提高开发人员生产力提高开发人员生产力提高开发人员生产力传统的传统的传统的传统的ETL设计设计设计设计需要指定每个需要指定每个需要指定每个需要指定每个ETL的数据流的数据流的数据流的数据流•开发人员必须定义每个步骤•传统的开发方法，需要专门的ETL技术•开发时间长，维护困难声明式设计声明式设计声明式设计声明式设计•简化的步骤•根据源和目标数据库自动产生数据流好处好处好处好处
便于知识传递
缩短开发时间
非IT人员也能使用ODI声明式设计声明式设计声明式设计声明式设计DefineHow:Built-inTemplatesDefineWhatYouWantAutomaticallyGenerateDataflow112233JournalizeReadfromCDCSourceLoadFromSourcestoStagingCheckConstraintsbeforeLoadIntegrateTransformandMovetoTargetsServiceExposeDataandTransformationServicesReverseEngineerMetadata
基于现有的最佳实践经验
容易管理工作
降低成本ReverseJournalizeLoadCheckIntegrateServices基于知识模块的热插拔架构基于知识模块的热插拔架构基于知识模块的热插拔架构基于知识模块的热插拔架构CDCSourcesStagingTablesErrorTablesTargetTablesWSWSWSSAP/R3SiebelLogMinerDB2JournalsSQLServerTriggersOracleDBLinkDB2Exp/ImpJMSQueuesCheckMSExcelCheckSybaseOracleSQL*LoaderTPump/MultiloadTypeIISCDOracleMergeSiebelEIMSchemaOracleWebServicesDB2WebServices外部的知识模块示例外部的知识模块示例外部的知识模块示例外部的知识模块示例好处好处好处好处特性特性特性特性:知识模块知识模块知识模块知识模块热插拔热插拔热插拔热插拔:组件化的组件化的组件化的组件化的,灵活的灵活的灵活的灵活的,可扩展的可扩展的可扩展的可扩展的44OracleDataIntegrator架构介绍架构介绍架构介绍架构介绍•纯纯纯纯Java的设计环境的设计环境的设计环境的设计环境•可以在任何平台上运行•通过瘦客户端浏览元数据•纯纯纯纯Java的运行环境的运行环境的运行环境的运行环境•可以在任何平台上运行•协调执行数据流•元数据库元数据库元数据库元数据库•可以装在任何关系数据库上•便于开发•组件化的、可扩展的元数据Design-TimeMetadataManagementRuntimeAgentDataFlowConductorServiceInterfacesandDeveloperAPIsUserInterfacesThinClientDataFlowGeneratorKnowledgeModuleInterpreterKnowledgeModulesMasterRepositoryWorkRepositoriesRuntimeRepositoriesDataFlowGeneratorRuntimeSessionInterpreterDataFlowOperatorDesigner架构架构架构架构:概念视图概念视图概念视图概念视图架构架构架构架构:概念视图概念视图概念视图概念视图ODIDesign-TimeEnvironmentDevelopmentServersandApplicationsDesign-timeRepositoriesCodeExecutionExecutionLogReturnCodesAgentDataFlowConductorCRMLegacyERPDataWarehouseFiles/XMLUserInterfacesAdministratorsDesignersTopology/SecurityMetadata/RulesDevelopmentESBProductionServersandApplicationsODIRuntimeEnvironmentRuntimeRepositoryReturnCodesCodeExecutionLogExecutionMetadataNavigatorProductionCRMLegacyERPDataWarehouseFiles/XMLESBUserInterfacesAdministratorsOperatorsThinClientDataStewartsTopology/SecurityExecutionLogMetadataLineageAgentDataFlowConductorScenariosandProjectsReleases性能性能性能性能•“地理系统数据加载需要执行地理系统数据加载需要执行地理系统数据加载需要执行地理系统数据加载需要执行128个接口个接口个接口个接口（（（（Interface），），），），OracleDataIntegrator将整个流程自动化将整个流程自动化将整个流程自动化将整个流程自动化，，，，运行时间少于运行时间少于运行时间少于运行时间少于4分钟分钟分钟分钟!”LucScotts,ProjectManager,OAG•“OracleDataIntegrator从从从从900万条源数