oracle主数据管理

InsertPictureHere主数据管理ETL解决方案－OracleDataIntegrator数据整合平台袁京声资深咨询顾问，华东区技术咨询部制造业[e-mail]•什么是主数据管理？•ODISuite完整主数据管理解决方案•成功案例•问答议程什么是主数据管理？什么是主数据(MasterData)？•主数据不是•企业信息系统里的所有数据，例如交易数据，计费数据，销售数据，库存数据等等•应用系统所特有的数据•主数据是•描述核心业务实体的关键事实，例如客户、产品、员工、地区等•主数据不仅仅包含业务实体的关键事实，同时也包含这些事实之间的数据关系•这些关键事实在多个业务系统中被用到反复用到•多个IT系统交互时，相同的实体会有区别AgentCustomerEmployeeProspectSupplierPARTYPRODUCTACCOUNTLOCATIONPartProductProductBundleItem/SKUServiceTerms&ConditionsContractAgreementTransactionRewardProgramFinancialAccountLocationAddressContactMethodGeography/RegionCUSTOMERtoACCOUNTRelationshipPRODUCTtoLOCATIONRelationshipCUSTOMERtoPRODUCTRelationshipACCOUNTtoLOCATIONRelationship公司主数据管理概况•240家企业将改变地址•150家企业电话号码将会改变或者无法连接•112个管理者职位（CEO，CFO，等）将发生改变•20家公司将会倒闭•12家新公司将会诞生•4家公司将改名资料来源：D&B、美国人口调查局、美国卫生和人类服务部、美国联邦法院管理署、美国劳工统计局、Gartner、A.TKearney、GMAInvoiceAccuracyStudy•5,769人将换工作•2,748人将改变住址•515人将结婚•263人将离婚•186人将宣布个人破产个人主数据以每月2％的速度发生变化。忽视数据管理会影响关键企业功能的发挥必须在每个项目上对主数据进行处理主数据始终处于流动状态主数据在应用竖井之间是割裂的产品•产品数据平均有20％重复•90%的产品推广失败•60%的发票出错•由于产品信息不灵，零售商每年损失400亿销售收入，占总销售额的3.5%一个小时内…一个小时内…一年内…主数据的问题不是数据有问题…是业务系统的问题WebSiteContactCenterDataWarehouseEnterpriseSystemsLocationCustomerLocationSupplierCustomerLocationAccountLocationCustomerOrderSupplierOrderOrderCust.Ship-toOrderProductCust.Ship-toProductProductProductAnalytic/InsightAnalytic/InsightAnalytic/InsightAnalytic/InsightOperationalFunctionsCollaborationAnalyticsBusinessProcessesOperationalFunctionsCollaborationAnalyticsBusinessProcessesOperationalFunctionsCollaborationAnalyticsBusinessProcessesOperationalFunctionsCollaborationAnalyticsBusinessProcesses处理数据的应用和业务是主数据问题的始作俑者现象数据没有同步、不完整、不准确原因之本业务和应用的设计之初并不能对超出其范围之外的数据进行管理，从而影响数据一致性、数据质量和数据管理能力CommonFunctionality&Data问题所在通用业务数据全部是纵向使用，并没有横向打通对所有应用都是通用的业务功能和数据：客户、帐户、产品CRMBillingERP每个应用所特有的业务功能和数据Application-uniqueFunctionality&DataApplication-uniqueFunctionality&DataCommonFunctionality&DataApplication-uniqueFunctionality&DataCommonFunctionality&DataCommonFunctionality&Data问题所在CommonData=MasterDataCommonFunctionality&MasterData解决之道CRMBillingERPeBusinessApplicationApplication-uniqueFunctionality&DataCommonFunctionality&DataApplication-uniqueFunctionality&DataCommonFunctionality&DataApplication-uniqueFunctionality&DataCommonFunctionality&DataApplication-uniqueFunctionality&Data什么是主数据管理？•对企业内部通用业务数据的管理•主数据管理提供：•对各个系统中的业务主数据进行整理和管理•对业务主数据的统一通用视图•各个应用系统之间的主数据同步•提供主数据访问功能来满足业务对主数据的请求主数据管理的功能CollaborateOperationalAnalyzeParty,Product,Account,LocationCreateandDefinebusinessservicesInsightandAnalysisMDMFunctionMDMDataMasterDataManagement使用主数据管理系统的应用主数据管理通用架构BankingInsuranceGovernmentHealthcareRetailTelcoMasterDataManagementCollaborateOperationalizeAnalyzeParty(Customer,citizen,prospect,organization,supplier,distributor,etc.)Product(good,service,productbundle,catalogue,productcomponent,etc.)Account(Agreement,financialaccount,rewardprogram,etc.)Define,createandsynchronizeMasterInformationDeliverMasterInformationasaServiceforbusinessoperationsDriverealtimebusinessinsight主数据管理主数据IndustryModels&AssetsOracleEBSPeopleSoftSAP/R3OtherSourcesDataWarehouseCDCMessageQueuesInformationAssets抽取清洗转换访问通用接口OracleDataIntegrator数据整合平台元数据管理平行处理丰富的连通性Oracle主数据管理通用架构主数据管理主数据IBMMasterDataManagementBankingInsuranceGovernmentHealthcareRetailTelco使用主数据管理系统的应用行业主数据解决方案Oracle主数据管理创建和管理操作和访问分析和使用Party,Product,AccountOracleEBSPeopleSoftSAP/R3OtherSourcesDataWarehouseCDCMessageQueuesInformationAssets各个系统和数据库MDM:ERP/SCM基础MDM作为CRM/ERP/SCM/BI的基础BI/DWBI/DWERPSCMPLMFINS传统中间件ETLETL实时/准实时的主数据实时/准实时的主数据OracleMDM能够…¾将共享信息合并/联合至一个地点¾集中对数据进行清理、去重和扩充¾将数据作为一项服务提供给使用这些数据的应用、企业业务流程和决策支持系统…在独立的CRM系统或ERP/SCM系统中WebPRM标志销售服务MDM:CRM基础ODISuite完整主数据管理解决方案OracleDataIntegrationSuite是什么？SOA中的数据服务延伸•构建可重用的数据集成和转换服务•清洗数据并确保数据质量•数据集成的元数据管理•SOA使用XML,ODI套件使用本地数据集成技术15ODISuite完整主数据管理解决方案特点•端到端的、全面的、完整的主数据管理解决方案•服务化的解决方案•SOA预集成的解决方案•总体拥有成本比较低16移动并转换数据支持异构数据源及异构目标好处关键特性1.性能多样的“E-LT”2.灵活性事件驱动平台3.生产力声明式设计4.开放性100%Java及SOA支持5.热插拔知识模块ODI-EE价值定位灵巧的数据集成工具1718特性:E-LT结构高性能传统ETL结构传统ETL结构ExtractLoadTransform全新结构全新结构“E-LT”“E-LT”LoadExtractTransformTransform传统方式:独立的ETLServer•私有ETL引擎•性能较差•独立服务器投入成本较高•IBM&Informatica解决方案Oracle:无需新的Server•低成本:利用已有计算资源•高效率:利用数据库优化器•快速:利用本地数据库或其它数据库接口进行批量数据装载•可扩充:根据需要增加数据源或目标的处理能力收益•更好的性能和可扩充性•硬件资源充分利用•易管理及低成本特性:声明式设计提高开发人员生产力传统的ETL设计需要指定每个ETL的数据流•开发人员必须定义每个步骤•传统的开发方法，需要专门的ETL技术•开发时间长，维护困难声明式设计•简化的步骤•根据源和目标数据库自动产生数据流好处9便于知识传递9缩短开发时间9非IT人员也能使用ODI声明式设计DefineHow:Built-inTemplatesDefineWhatYouWantAutomaticallyGenerateDataflow11222020JournalizeReadfromCDCSourceLoadFromSourcestoStagingCheckConstraintsbeforeLoadIntegrateTransformandMovetoTargetsServiceExposeDataandTransformationServicesReverseEngineerMetadata•利用数据库优化能力:本地SQL;本地函数;本地装载;本地日志记录/变更数据捕获•配合已有方案•便于管理•降低拥有成本ReverseJournalizeLoadCheckIntegrateServices可插拔的知识模块结构CDCSourcesStagingTablesErrorTablesTargetTablesWSWSWSSAP/R3SiebelLogMinerDB2JournalsSQLServerTriggersOracleDBLinkDB2Exp/ImpJMSQueuesCheckMSExcelCheckSybaseOracleSQL*LoaderTPump/MultiloadTypeIISCDOracleMergeSiebelEIMSchemaOracleWebServicesDB2WebServices其他模块示例好处特