DataService-操作手册

DataServices培训总结-操作手册目录一、DS简介.............................................................................................................................2二、DS数据加载方式.............................................................................................................2三、DS进行数据抽取模型开发的基本过程..........................................................................3四、DS创建数据源系统和目标系统的数据存储..................................................................31、Oracle数据库作为数据源系统.................................................................................32、ECC作为数据源系统..................................................................................................43、HANA数据库作为目标系统......................................................................................5五、全量加载过程...................................................................................................................51、创建Project和Job.....................................................................................................52、导入源表的元数据到资源库.....................................................................................63、创建DataFlow............................................................................................................64、设置源表和目标表.....................................................................................................75、手工执行Job..............................................................................................................7六、基于表比较的增量加载...................................................................................................81、在Job下定义工作流.................................................................................................82、在工作流中定义数据流.............................................................................................83、加入Table_Comparison控件.....................................................................................94、设置Table_Comparison控件.....................................................................................9七、基于时间戳的增量加载.................................................................................................101、在Job下定义工作流...............................................................................................102、定义Script控件.......................................................................................................103、定义处理新增数据的数据流和处理更新数据的数据流.......................................11八、DS中常用控件介绍.......................................................................................................131、Key_Generation.........................................................................................................132、Case...........................................................................................................................133、Merge........................................................................................................................144、Validation..................................................................................................................155、设置过滤器和断点...................................................................................................15九、定义Job定期执行.........................................................................................................161、登录DataServicesManagementConsole................................................................162、定义BatchJobSchedules.........................................................................................17十、其他注意事项.................................................................................................................18一、DS简介SAPBusinessObjectsDataServices是通过SAPHANA认证的ETL工具。采用数据批量处理的方式，定期执行后台作业，将数据从多个业务系统中抽取出来，并进行必要的处理（转换，合并，过滤，清洗），然后再加载到HANA数据库中。DS的组件之间的关系：ManagementConsol：管理控制台是网页版DS管理工具，可以进行一些系统配置和定义Job执行Designer：Designer是一个具有易于使用的图形用户界面的开发工具。它允许开发人员定义包括数据映射，转换和控制逻辑的数据管理应用程序，创建包含工作流（作业执行定义）和数据流（数据转换定义）的应用程序Repository：应用程序设计器使用的本地资源库用来存储DataServices对象（如项目，作业，工作流，和数据流）的定义和源和目标的元数据Jobserver：作业服务器启动数据移动的从多个不同种类的源集成数据的引擎，执行复杂的数据转换，并管理从ERP系统和其他源的抽取和事务二、DS数据加载方式全量加载增量上载a)基于表比较作业在执行时读取数据源和目标中的全部数据，在服务器的内存中进行比较，计算数据差异b)时间戳增量需要在数据源中添加时间戳字段，一般为创建时间和最后修改时间，在抽取作业中定义对两个时间戳字段进行对比，符合条件的创建时间条目进行插入，符合条件的修改时间条目进行更新c)利用数据库CDC（changeddatacapture）首先需要开启数据库的CDC服务，为数据库实例启用CDC功能，为源表启用CDC功能。在这种模式下，DS的增量更新不再直接访问源表，而是在与源表相关的变更记录表中读取增量三、DS进行数据抽取模型开发的基本过程为数据源创建数据存储导入源表的元数据到资源库为SAPHANA目标系统创建数据存储新建DS项目和批量作业新建DS数据流：定义源表和目标表，定义变量、编辑Query和Map_CDC_Operation执行批量作业四、DS创建数据源系统和目标系统的数据存储1、Oracle数据库作为数据源系统登录DataServicesDesigner，在本地对象库的数据存储页签中单击鼠标右键，选择新建菜单创建数据存储“EAM_TEST”，在弹出的对话框中输入EAM数据库的连接信息2、ECC作为数据源系统同样在创建DataStore时，输入ECC的连接信息3、HANA数据库作为目标系统在创建DataStore时，输入HANA数据库的连接信息五、全量加载过程1、创建Project和Job在本地对象库的project页签中单击鼠标右键，选择新建菜单，创建项目“ERP_DS”。双击该项目，在“ProjectArea”，可以在该项目下创建Job2、导入源表的元数据到资源库在本地对象库的数据存储页签中，选择源系统的数据存储，单击鼠标邮件，选择“ImportByName”，输入需要导入到资源库的表名称。导入成功后，在数据存储的table目录下可以看到导入的表3、创建DataFlow单击“General”Job，在右边空白区域单击鼠标邮件，选择“AddNew”-“DataFlow”4、设置源表和目标表单击创建的DataFlow，将需要导入到HANA数据库中的源表拖入到DataFlow区域中，将DataFlow区域右侧的工具条中的模版表拖入Data