SAP BI 项目 FIAR模块ETL设计说明书

SAPBI项目FIAR模块ETL设计说明书错误!未找到引用源。当前版本:拥有者:最后更新日期:最后更新者:作者:创建日期:批准者:批准日期:修订历史版本号更新日期修订作者主要改变描述目录1.概述........................................................................................................................52.ETL系统架构设计....................................................................................................62.1FIARETL系统逻辑架构....................................................................................................................62.2FIARETL数据流...............................................................................................................................72.2.1顶正逾期账龄分析数据流.........................................................................................................72.2.2数据源环境...............................................................................................................................73.FIAR模型设计.........................................................................................................83.1PSA设计..........................................................................................................................................83.1.1PSA数据源...............................................................................................................................83.1.2信息包......................................................................................................................................83.2Level1ODS层设计.........................................................................................................................93.2.1FI_D120：客户:带有增量提取的行项目..................................................................................93.3Level2EDW层设计......................................................................................................................113.3.1顶正-逾期账龄分析.................................................................................................................113.4Level3DM层设计........................................................................................................................213.4.1DTP........................................................................................................................................223.4.2转换........................................................................................................................................234.数据加载流程........................................................................................................291.概述本项目ETL部分的核心功能就是按照本设计说明书的架构，将数据由数据源系统(SAPR3)加载到数据仓库(SAPBW)中。其实现的困难在于ETL工作将面临复杂的源数据环境，包括多种R3标准数据源和增强结构、繁多的数据种类、巨大的加载数据量、错综复杂的数据关系和参差不齐的数据质量，这些都使ETL的架构和应用设计面临相当的挑战。通过高效的ETL系统结构、层次化的应用功能划分和BW标准的元素，ETL系统和应用架构设计需要能够达到以下目标：支持在此框架下实现BW数据仓库所需要的ETL功能；支持在规定的时间窗口内能够完成数据加载工作，即需要满足日常数据加载的性能需求；能够支持有效的应用程序开发模式，提高开发效率，尽量减少应用开发成本；减少系统维护的复杂性，支持后续增加新数据或功能的开发工作。ETL设计说明书为ETL开发提供指导，着重叙述数据仓库系统ETL系统的架构、功能和实施过程，其中包含了主要数据转换过程以及涉及到的客户化例程的说明。ETL过程依赖于源数据的准备就绪，本设计说明书同时也列出了模块所对应的SAP标准数据源和主数据数据源。由于ETL的复杂性，本设计尝试从多个层面进行说明，希望能够尽可能回答开发过程中所面临的问题达到指导开发的目的，但实际开发过程中，开发人员仍然可能遇到设计说明书没有涉及的问题，因此，遵循设计的基本思想，通过开发人员的反馈，在开发的过程中不断地完善和修正设计，对于ETL的开发是非常重要的。对于任何ETL开发过程中遇到的技术问题，开发人员需要与设计人员协商讨论，以迅速解决问题，保证开发顺利进行。而同时，为保证ETL系统架构的完整、统一、程序的可维护性以及开发的可管理性，对设计的修改必须得到控制，重要的变动必须通过版本管理流程来协调进行。本设计说明书将包括以下部分：1．架构设计：设计对应模块ETL系统的逻辑架构以及分析数据流。2．ETL过程说明：包括ETL过程涉及到的各步骤说明，如信息包的更新机制，转换过程中涉及到的特定例程控制，DTP的执行和更新机制等等。3．数据加载流程：说明了对于本模块而言在运行特定步骤之前需满足的条件。2.ETL系统架构设计2.1FIARETL系统逻辑架构上图是ETL系统逻辑架构。从宏观设计上，历史数据、初始数据加载和日常数据加载的ETL都将按照此架构设计。该架构将ETL作为一个整体来设计。对于数据仓库的加载，ETL分为数据抽取（Extract）、数据转换（Transform）以及数据加载（Load）3个阶段。2.2FIARETL数据流2.2.1顶正逾期账龄分析数据流2.2.2数据源环境数据源全部由SAP系统提供，数据源包括两种类型2.2.2.1业务数据数据源0FI_AR_4——客户：带有增量提取的行项目0FI_GL_4——总分类账：带有增量提取的行项目2LIS_13_VDITM——开票凭证项目数据2.2.2.2主数据数据源0CUST_SALES_ATTR——客户号0MATERIAL_ATTR——物料（属性）3.FIAR模型设计3.1PSA设计3.1.1PSA数据源FIAR模型的PSA业务数据源包含0FI_AR_4，并且使用0FI_GL_4得到凭证对应的业务范围，使用2LIS_13_VDITM得到销售给客户的物料类型，从而给客户分类；3.1.2信息包0FI_AR_4信息包包含增量、全量及初始化信息包初始化信息包增量信息包：此信息包放在处理链里全量信息包3.2Level1ODS层设计3.2.1FI_D120：客户:带有增量提取的行项目FI_D120是写优化DSO，其结构与PSA一样，存储最原始的财务凭证，其结构如下：在0FI_AR_4到FI_D120的数据加载中，在DTP中没有过滤，在提取方式的设置如下所示：3.3Level2EDW层设计3.3.1顶正-逾期账龄分析3.3.1.1FI_D220：客户（按账期分类）3.3.1.1.1设计初衷：顶正原来的报表中，客户分为预付货款、月结零天、月结30天、月结60天、月结90天、月结120天、月结180天、其他这几类，其中预付货款、月结零天、月结30天、月结60天、月结90天、月结120天、月结180天是按客户的“月结条件”分的，“其他”是按销售给客户的物料的物料类型分的（销售组织不是4200，也不是4210，也不是42Z6，物料的物料类型是FERT——成品）上面涉及到2类数据：A）一个是主数据（客户销售视图主数据，数据源是0CUST_SALES_ATTR），每个客户在一组“销售组织”、“分销渠道”和“产品组”下，都对应一个月结条件。B）另外一个是业务数据（销售订单行项目，数据源是2LIS_13_VDITM），记录销售给客户的物料。根据上面分析，设计了FI_D220，用客户号做主键，定义了一个和报表同名的分类信息对象——ZZQ（账期），ZZQ（账期）这个信息对象中维护了8条数据：1——预付货款2——月结零天3——月结30天4——月结60天5——月结90天6——月结120天7——月结180天8——其他然后，根据客户主数据和销售订单数据为每个客户附上ZZQ（账期）的值。3.3.1.1.2DSO——FI_D220FI_D220是写优化DSO，其结构如下：3.3.1.1.2.1根据销售订单信息给客户分类3.3.1.1.2.1.1转换3.3.1.1.2.1.2开始例程sortsource_packagebysold_toascendingcreatedonascending.deleteadjacentduplicatesfromsource_packagecomparingsold_to.loopatsource_packageassigningsource_fields.deletefrom/bic/afi_d22000wherecustomer=source_fields-sold_to.endloop.开始例程解释：需求调研时，顶正说：同一个客户今后不会再“即买卖原材料、又卖产成品”，因此开始例程中先根据客户将记录排序，只保留最后一笔销售记录，然后将FI_D220有效数据表中已存在