Oracle数据集成方案

InsertPictureHereOracleDataIntegrator介绍InsertPictureHere•为什么需要数据集成•什么是OracleDataIntegrator•功能介绍•ODI应用场景•CDC的实现简介•KM简介•架构介绍•总结议程OracleDataIntegrator是什么？OracleDataIntegrator是一个完整的数据集成平台，能够满足所有数据集成的需求。什么是OracleDataIntegrator？OracleDataIntegratorData-orientedIntegrationODIDataConductorODIEventConductorEvent-orientedIntegrationODIServiceConductorService-orientedIntegrationDeclarativeDesignMetadataDataWarehouseOracleDataIntegratorODSDWDatamartAnalyticApplicationsMasterDataManagementApplicationServersESBsDatamartCubeCubeMOMServiceServiceService•单一集成平台IntegrationEffortApplicationsOracleDataIntegratorServiceConductorDataConductorEventConductorEIIVirtualDBBusinessIntelligenceCorporatePerformanceManagementBusinessActivityMonitoringBusinessProcessManagementERP------------------CRM---Legacy------------------------------------Best-of-breedApplicationsOracleDataIntegrator数据集成数据仓库主数据管理实时消息数据联邦数据迁移分散在各个系统中的数据ERP------------------CRM---遗留系统------------------------------------业务系统如何充分利用企业现有的信息商业智能绩效管理业务流程监控商业流程管理------------数据同步信息共享信息发现与管理数据整合抽取管理作业调度数据库管理元数据管理安全访问控制业务系统业务系统业务系统业务系统ODI是一个ETL工具用户数据仓库数据模型数据源ETL数据存储管理信息模型数据展现随即报表企业内外网生产报表预测分析门户集成随即查询报表多维分析数据挖掘决策人员管理人员分析人员业务人员Standardization&TransformReconciliationETL解决方案抽取转换WeeklysnapshotDailychangesDailyMonthDailyPeriodicOracleDataIntegratorDATADATADATADATADATADATADATADATADATADATADATADATADATADATAINFORMATION信息信息INFORMATIONODI是一个数据集成的工具•ODI实现将数据转化为信息•数据复杂性•数据量不断增加•资源有限•项目期限紧迫ODI与SOA无缝集成OracleSOASuiteBusinessActivityMonitoringWebServicesManagerBusinessRulesEngineBPELProcessManagerEnterpriseServiceBusPublishRoute/Mediate•OracleSOASuite-ESB•ESB是基于消息的实时应用集成方案•可以实现消息的路由，发布，订阅业务规则，适配器等。•OracleDataIntegrator•高效的大批量数据处理解决方案•同时支持基于SQL的数据和基于XML的数据•统一的建模，监控，元数据管理•应用场景•周期性的大数据量实时处理•增量数据捕获和JMS的无缝集成BulkDataProcessingSubscribeOracleDataIntegratorODIJMSKnowledgeModulesBulkTransform.ChangedDataCaptureDataQualityODIConnectivityFrameworkOracleDataIntegrator功能介绍数据集成•数据完整性防火墙•审计，清洗和回收1.定义表级约束2.设计映射和检查流程完整性3.审计、清洗或者回收被拒绝的记录MessageIdNameCityDuplicatedRecord001JohnDoeNewYorkDuplicatedRecord022JohnDoeBostonInvalidCityReference230AlbertFreshMaris实时功能：变化数据捕获•发布和订阅的CDC框架•数据库日志•触发器•第三方解决方案•确保多表读事务的一致性1.设计和生成映射2.选择增量数据3.开始捕获CDC实时功能：基于消息的集成•与发布和订阅JMS消息的软件集成•保证消息传递的事务完整性•大数据量的批量转换1.设计复杂的批量转换，混合了队列、数据库和应用2.使用JMS队列和主题作为源或者目标JMSProvider(MOM,ESB)CDCSubscribePublishSOA功能：数据访问服务•生成和共享数据访问服务1.生成和部署数据服务2.测试数据服务3.让数据服务在SOA架构中发挥作用SOAInfrastructureServicesDataAccessTransformBusinessBusinessProcessesESBSOA功能：数据流程服务•使得数据转换变成为一个WebService1.编排数据流程2.以WebService形式发布数据流程到你的SOA架构中SOAInfrastructureServicesDataAccessTransformBusinessBusinessProcessesESBBulkTransf.JournalizeReadfromCDCSourceLoadFromSourcestoStagingCheckConstraintsbeforeLoadIntegrateTransformandMovetoTargetsServiceExposeDataandTransformationServicesReverseEngineerMetadataReverseJournalizeLoadCheckIntegrateServices热插拔的知识模块架构CDCSourcesStagingTablesErrorTablesTargetTablesWSWSWS扩展性：知识模块•120多个知识模块（非黑盒的）开发和利用最佳实践简化管理工作减少拥有成本•客制化和扩展性KMInterpreterKM的元代码Metadata可执行代码扩展性：脚本的架构•通过脚本过程扩展数据流程•利用到所有的数据库语言•SQL,PL/SQL,TransactSQL,etc.•使用操作系统脚本•Win32DOS,sh,ksh,csh,OS400commands,JCL,etc.•可选兼容的BeanScriptingFramework语言•Java,JavaScript,Jython(JavaPython),Perl,etc.扩展性：开放的工具•扩展ODI工具•可以增加你自己的工具到设计面板中1.继承OdiOpenToolAbstractJava接口2.在ODI中注册开放的工具3.在你的设计环境下使用开放的工具主数据管理：通用格式设计•与打包的主数据管理应用集成•设计和推广典型的格式1.使用现存的元数据来设计主数据管理的应用（实体、领域、关系）2.生成和管理主数据结构3.使用元数据生成和部署转换CRMEnterpriseServiceBusSCMLegacyERPMasterDataOracleDataIntegrator应用场景数据仓库的E-LT功能用ODI来推广高性能的数据仓库异构的源和目标增量加载缓慢变化维数据完整性和一致性变化数据捕获数据关联分析DataWarehouseCubeCubeCube----------------OperationalAnalyticsMetadataLoadTransformCaptureChangesIncrementalUpdateDataIntegrityAggregateExport下一代的E-LT架构比传统ETL架构更高的性能传统的ETL架构ExtractLoadTransform下一代的ELT架构“E-LT”LoadExtractTransformTransform在单独的ETL服务器上做转换•私有引擎，不开放•性能差，大数据量的两次网络传输•成本高，需要单独的一台硬件服务器•IBM和Informatica的方案在现有的数据库上做转换•充分利用已有投资•高效率•高性能优点优化的性能容易管理成本低数据迁移更新应用或者移植到一个新的方案中，用ODI一次性迁移数据并保持同步批量加载历史数据到新的应用中转换源格式到目标两个系统并存时，同步新旧应用间的数据双向捕获变化数据(CDC)OldApplicationsNewApplicationMetadataInitialbulkloadCDCforsynchronizationTransformationtonewapplicationformatCDCforloop-backsynchronizationCDCCDC----------------SOA交互为数据集成建立消息架构，在ODI中合并了数据批处理功能调用外部服务做数据集成部署数据访问服务部署数据转换服务集成数据访问和转换服务到你的SOA架构中ServicesDataAccessTransformationOthers----------------OperationalMetadataGenerateDataServicesExposeTransformationServicesDeployandreuseServicesBusinessProcessesODI增强了OracleBI结合ODI来推广高性能数据仓库OracleBusinessIntelligenceSuiteEE:简单的业务模型视图高级计算和计算引擎智能需求生成优化的数据访问OracleDataIntegrator:推广数据仓库优化的加载和转换性能可扩展的预打包的E-LT上下文SiebelCRMOracleEBSPeopleSoftSAP/R3OtherSourcesOracleDataIntegratorE-LTMetadataE-LTAgentOracleBIEnterpriseDataWarehouseOracleBISuiteEEOracleBIServerOracleBIPresentationServerAnswersInteractiveDashboardsPublisherDeliversBulkE-LTODI增强了OracleSOA套件给BPEL增加了批量处理转换数据的能力OracleSOA套件:BPEL过程管理能力来管理商业流程Oracle数据集成器:有效的批量数据作为商业流程的一个步骤通过数据服务和转换服务交互OracleSOASuiteBusinessActivityMonitoringWebServicesManagerBusinessRulesEngineEnterpriseServiceBusBPELProcessManagerBulkDataProcessingOracleDataIntegratorE-LTMetadataE-LTAgentODI增强Orac