工作总结--ODI开发

工作总结ODI开发作者:付朋项目:青啤PTS/MDM项目技术负责人:荣耀/何莺日期:August24,2019工作总结—付朋第2页共65页目录工作总结....................................................................................................................................i目录...........................................................................................................................................ii概述...........................................................................................................................................3工作总结--ODI开发...............................................................................................................4ODI开发工作小结............................................................................................................4ODI环境搭建....................................................................................................................5ODI架构搭建..................................................................................................................12ODI代理创建..................................................................................................................14ODI基础开发..................................................................................................................18CDC接口开发.................................................................................................................36KM(知识模块)基础.........................................................................................................46附录.........................................................................................................................................61附录I：表空间创建脚本...............................................................................................61附录II：触发器脚本.......................................................................................................61附录III：JKM客户化....................................................................................................62更改历史.................................................................................................................................65工作总结—付朋第3页共65页概述工作总结主要是描述我在青岛啤酒MDM项目和PTS项目4个月以来的学到技术和工作感悟。主要是对ODI开发进行一次总结，描述对ODI技术开发的认识和了解。更多ODI开发技术可参阅《OracleDataIntegrator应用指南》文档。技术目前接触的大部分都是与数据相关的开发，可能在技术方面学习和理解比较片面。1.在MDM项目学到的技术：接口开发、ODI基础开发、FORM个性化、FORM基础开发、HTML报表开发等；2.在PTS项目学到的技术：ODI环境搭建及CDC开发、RTF报表开发等。业务对业务的了解主要方式是和业务顾问进行交流，在EBS界面上跑业务流程等。1．MDM项目业务认识：集中对数据进行管理，数据标准化，流程固化。2．PTS项目业务认识：通过条码达到产品的追溯。工作总结—付朋第4页共65页工作总结--ODI开发主要是对在项目上学到的技术进行总结。注：如有错误或疑问，请大家欢迎提出和指正。ODI开发工作小结简单叙述在项目做过的ODI开发及相关信息ODI开发业务背景主要涉及ODI开发的项目：青啤MDM项目和PTS项目。青啤MDM项目：青啤MDM系统大部分基础数据(如物料、物料类别等)都是从ERP系统获取的(初始化数据)，然后在MDM系统中维护这些数据，并实时同步到ERP系统中。这些初始化数据和同步数据的迁徙媒介都是ODI。青啤PTS项目：PTS项目数据分为基础数据和业务数据，都采用ODI使这些数据流转在ERP、DataCenter、总PTS、分PTS、CDCPTS等系统间。ODI组件ODI主要是以下组件组成的：资料库(Repository)：MasterRepository、WorkRepository。设计工具，主要用以下设计工具：TopologyManager：描述物理和逻辑构架，在主资料库中标示服务器、Schema、代理。SecurityManager：管理ODI用户及权限，可以给配置文件及用户访问对象的权限。Designer：是ODI开发的主要组件，创建和执行DataStores、Interfaces、Procedure、Packages，客户化KM等操作Operator：管理和监控数据转换任务的执行情况，可用于调试。计划代理(ScheduleAgent)：属于Runtime组件，因为ODI采用E-LT架构，所以ScheduleAgent只用来调度执行ELT任务，其数据转换引擎很少用到。另外还有三个需要单独安装的组件：MetadataNavigator、LightweightDesigner、PublicWebServices。ODI接口ODI接口主要分为两类：静态接口和动态接口。静态接口用于数据初始化，只在接口运行初期执行一次。动态接口用于数据维护，是实时性的。工作总结—付朋第5页共65页在MDM项目中，采用的是普通动态接口：基于静态接口，指定数据筛选字段(常用字段last_update_date)和筛选规则(last_update_datesysdate-1)。在PTS项目中，采用的是CDC动态接口：基于静态接口，添加订阅者，生成日志。KM(知识模块)ODI的知识模块主要分为几个大类(RKM,CKM,LKM,IKM,SKM)，其中最重要的是LKM(loadKM)和IKM(IntegrationKM)RKM：RKM：完成从源系统和目标系统的数据结构的反向工程来形成数据模型的功能。CKM：完成数据质量检查。JKM：日志记录知识模块，记录单个表或视图等中的新数据和更新的数据。LKM：完成从源数据库数据加载到临时表。IKM：完成从临时表的数据加载到目标表。SKM：完成ODI和WEB服务接口的功能。SKM(ServiceKM)：Web服务知识模块，可以使用该知识模块来生成Web服务调用。ODI环境搭建ODI开发环境进行ODI开发的基础。创建ODI用户ODI用户就是指数据库为ODI开发而创建的用户，就是说ODI通过此用户连接数据库，又是ODI的WorkSchema。ODI用户权限较大，能否访问其他用户的数据。如果某个用户的数据需要进行ODI开发，那么这些数据的增删改查操作权限都得赋给ODI用户。而ODI开发会涉及到源系统和目标系统，那么需要分别为这些系统创建ODI用户。创建脚本如下：---------------------------------------------------------创建ODI用户(WorkSchema)---------------------------------------------------------源系统@ERPcreateusersoauidentifiedbysoaudefaulttablespacesoau_data;grantconnect,resourcetosoau;grantcreatedatabaselinktosoau;grantcreatesynonymtosoau;--目标系统@MDMcreateusersoauidentifiedbysoaudefaulttablespacesoau_data;grantconnect,resourcetosoau;grantcreatedatabaselinktosoau;grantcreatesynonymtosoau;说明：1、ODI用户统一命名，方便，易于管理；工作总结—付朋第6页共65页2、源目标和目标系统角色可交换(源系统作为目标系统，目标系统作为源系统)，但是需要保证同一数据模型必须单向ODI开发；3、源/目标系统建立物料架构时，如下两处地方需要设置为ODI用户：创建资料库ODI在ERP系统搭建环境，其TNS信息为：BEST=(DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=erpdemo.tsingtao.com.cn)(PORT=1522))(CONNECT_DATA=(SID=BEST)))资料库概念：摘自《OracleDataIntegrator应用指南》工作总结—付朋第7页共65页MasterRepository，保存企业所有IT资源的Topology，保存项目和数据模型的安全信息、版本信息，供ODI图形模块等使用。通常创建一个即可。MasterRepository要尽可能独立存储，单独的Instance，或单独的Schema。WorkRepository，保存项目和数据模型，供ODI图形模块等使用。可创建多个。一个WorkRepository只能连接一个MasterRepository。一个Schema只能存储一个WorkRepository，不过MasterRepository倒可与其安装在同一Schema。说明：在哪个服务器上创建资料库是没有明确要求，可按项目需求来，本案例是在ERP服务器创建资料库(原因是MDM数据库没有创建表空间的权限)。创建主资料库(MasterRepository)@ERP1、创建MasterRepos