XX银行数据仓库建设项目方案

银行数据仓库建设方案文件１XX银行EDW/数据仓库项目方案银行数据仓库建设方案文件２目录第一章系统总体架构.............................................................................４1.1总体架构设计概述........................................................................４1.1.1总体架构的设计框架..............................................................４1.1.2总体架构的设计原则..............................................................５1.1.3总体架构的设计特点..............................................................５1.2EDW执行架构................................................................................６1.2.1执行架构概述........................................................................６1.2.2执行架构设计原则.................................................................６1.2.3执行架构框架........................................................................７1.3EDW逻辑架构.............................................................................１４1.3.1逻辑架构框架.....................................................................１４1.3.2数据处理流程.....................................................................２０1.4EDW运维架构.............................................................................２１1.4.1运维架构概述.....................................................................２１1.4.2运维架构的逻辑框架...........................................................２２1.5EDW数据架构.............................................................................２７1.5.1数据架构设计原则..............................................................２７1.5.2数据架构分层设计..............................................................２９1.6EDW应用架构.............................................................................３１1.6.1应用架构设计原则..............................................................３１1.6.2数据服务............................................................................３２1.6.3应用服务............................................................................３３第二章ETL体系建设...........................................................................３４2.1ETL架构概述.............................................................................３４银行数据仓库建设方案文件３2.2ETL设计方案.............................................................................３６2.3ETL关键设计环节......................................................................３６2.3.1接口层设计策略..................................................................３６2.3.2StagingArea设计策略......................................................３６2.3.3数据加载策略.....................................................................３７2.3.4增量ETL设计策略..............................................................３７2.3.5异常处理............................................................................３９2.3.6作业调度和监控..................................................................４０2.3.7元数据管理.........................................................................４０2.3.8ETL模块设计......................................................................４０2.3.9ETL流程设计......................................................................４３2.3.10动态资源分配...................................................................４５2.3.11数据接口设计...................................................................４６银行数据仓库建设方案文件４第一章系统总体架构1.1总体架构设计概述1.1.1总体架构的设计框架XX银行EDW项目的总体架构分为基础技术架构、应用架构和数据架构三个核心部分。这三个部分共同组成了XX银行EDW系统。在基础技术架构中，包括执行架构、逻辑架构、功能组件架构和运维架构四个部分。执行架构描述系统大的框架和模块区域，以及之间的逻辑关系；是确定生产环境的建设要求及指导原则。逻辑架构描述EDW各个模块之间的数据的接口、数据流向、工具使用和采用具体的技术实现手段或方式情况，用于规范本项目最终生产环境的建立。逻辑架构是建立应用架构、执行架构、运维架构的基础，也是建立执行架构、应用架构以及运维架构的原型系统。功能组件架构描述确定系统各个大的组件组件区域的功能模块框架，以及提供的某种服务类型。运维架构是描述EDW项目的运维架构标准，包括运维架构设计的内容、设计原则、各构成组件的设计考虑因素、约束、要求等。运维架构通过相应的流程和工具实现对逻辑架构、功能组件架构、执行架构、数据架构以及应用架构的运维和管理。而数据架构和应用架构的主要描述：应用架构是EDW为满足业务需求所提供的系统应用功能及其蓝图设计，其中业务需求是应用架构设计的基础，最终的应用架构将以应用系统的形式体现在执行架构中，主要包括：应用服务和数据服务。数据架构描述于EDW系统相关的数据流动策略，即数据在EDW系统的执行架构下的抽取、转换、储存策略以及应采用的流程，包括数据层次和银行数据仓库建设方案文件５总分行之间的数据分部情况等。数据架构是建立执行架构标准的需求定义。下图是EDW项目总体架构的框架：1.1.2总体架构的设计原则总体架构在着重考虑实施要求的同时，需要为后续阶段进行规划，以保证项目最终能够达到目标架构的设计；总体架构的设计要基于包括XX银行数据现状分析、实施阶段数据源情况分析、第一阶段实施EDW设计建议做为参考；总体架构设计架构时充分考虑与现有系统兼容，充分利用已有成果，避免重复开发和建设。总体架构设计过程中应遵守XX银行的IT管理规程，保证最终的系统可以顺利的部署并移交给XX银行的运行维护部门。1.1.3总体架构的设计特点权衡功能、性能、可扩展性、易用性、可管理性和性价比。银行数据仓库建设方案文件６根据XX银行的数据情况和分析需求，采用多层次的企业EDW系统架构来保证在存在复杂的数据种类和关系的海量数据上进行业务分析和查询在业务支持能力和性能等方面的要求。多级／自动的增量ETL加载机制，有效提高ETL并发度、加载效率，降低错误处理的复杂性。通过用户入口支持用户采用Web浏览器使用查询和分析工具，统一的信息服务界面，提高系统易用性，减少技术支持工作量。利用企业信息集成和Web数据服务，提高系统的数据支持能力和接口的一致性。统一的数据增强平台也减少数据增强的复杂度。1.2EDW执行架构执行架构的主要内容是描述EDW项目执行架构的建设要求及指导原则，用于规范本项目最终生产环境的建设。EDW项目的生产环境的建立需要参考并遵循执行架构部分提出的要求。1.2.1执行架构概述执行架构是EDW的概念环境，主要包含：源数据、数据落地区、ETL、数据准备区、数据存储区EDW、业务应用、用户环境、数据管控、系统安全性以及EDW基础设施平台（包括：服务器、存储、网络）等功能组件。从技术层面上来说，EDW系统的执行架构应实现多种技术平台及应用之间的无缝集成。1.2.2执行架构设计原则在EDW项目实施的过程中，系统执行架构的建设应遵循以下技术原则：开放性原则：EDW项目的生产环境的建设应基于业界开放标准，对系统中使用的网络协议、硬件接口、数据接口等应进行统一规划，EDW系统应支持主流的应用软件包及其部署的各种硬件平台。灵活性与可扩展性：EDW系统的基础设施平台应能够根据未来系统的发展需要以及应用需求，方便的扩展设备容量和提升设备性能；具备支持银行数据仓库建设方案文件７多种组件模块、多种物理接口的能力；具备技术升级、设备更新的灵活性；具备支持业务功能的扩展与重构的灵活性。如：系统容量可以随着ETL系统数据量的扩展以及应用系统的不断扩展、用户量不断扩展而进行平滑的扩展。高性能原则：系统应达到数据处理时间窗口的要求，用户定义的查询效率、响应时间的要求，满足业务系统的要求；对现有业务系统影响小。自动化原则：EDW项目建设的核心任务之一是数据抽取、转换、清洗和加载（ETL），在这个过程中应采用自动化的设计原则，避免