数据仓库-系统设计说明书

归一大数据平台数据仓库系统设计说明书件控制受控不受控档编号版本号分册名称第册/共册总页数正文附录编制审批生效日期系统设计说明书-2-修改变更记录：更改条款及内容更改人审批人更改日期创建文档阎飞谢益武2015-11-5系统设计说明书-3-目录1引言...........................................................................................................................................51.1文档编制目的...........................................................................................................51.2背景...........................................................................................................................61.3词汇表.......................................................................................................................61.4参考资料...................................................................................................................62总体设计...................................................................................................................................72.1软件体系结构...........................................................................................................72.2系统运行体系............................................................................错误!未定义书签。2.2.1运行体系图........................................................................错误!未定义书签。2.2.2程序/模块对应表...............................................................错误!未定义书签。2.3系统物理结构...........................................................................................................72.4技术路线...................................................................................................................83系统接口设计...........................................................................................................................83.1用户接口...................................................................................................................84子系统/模块设计......................................................................................................................84.1数据仓库...................................................................................................................84.1.1ODL(操作数据)层设计....................................................................................84.1.2BDL(数据仓库)层设计..................................................................................104.1.3IDL(宽表)层设计...........................................................................................114.1.4PDL(应用)层设计...........................................................................................124.1.5PUB(维度)层设计..........................................................................................154.1.6数据导出设计.................................................................................................165数据结构与数据库设计.........................................................................................................176外部存储结构设计.................................................................................................................177故障处理说明.........................................................................................................................178尚需解决的问题.....................................................................................................................18系统设计说明书-4-编写指南：本模板力图给出系统设计阶段可能包括的基本信息，重点在于和需求分析文档相联系。描述系统整体情况。如果某个章节在项目或当前阶段中无法描述，则可保留其标题，注明“不系统设计说明书-5-适用”；如果需要对本模板的个别章节详细描述，也可将其形成单独的文档，成为本文档附件。若文档中的某个章节已经在其他项目文档中加以描述，可保留标题，注明“参见（文档编号）（文档名称）（条款）”。形成正式文档后须删除斜体字内容。0报告编制要求这里列出本系统设计报告编制的经验性要求，须由系统设计人员参照其进行裁剪以确定本次报告编制的相关规定。序号要求1对各种结构图要求采用Visio绘制。2软件体系结构图通常包括：子系统实体、子系统间数据流、相关说明。3软件结构图通常包括：模块实体、模块间数据流、数据存储、相关说明。4运行体系图包括：进程实体、启动顺序、并发性、数据交换。5物理结构图包括：物理节点实体、物理节点分布、物理节点描述、物理节点间相互关系。6对数据库结构的描述要求采用结构图方式描述，而非采用过多表格。7数据库结构图主要包括：表实体、表间关系、主要字段、相关说明四部分。8对于平台性产品，要求有系统层次的划分图。9通常要隔离应用对数据库的直接访问。1引言1.1文档编制目的指导开发人员进行后期的开发工作；指导测试人员进行解决方案级的系统测试；系统设计说明书-6-1.2背景叙述系统设计阶段的目标、作用范围以及其他应向读者说明的理解本报告所需的背景，如与公司其它软件之间的联系等。1.3词汇表列出本系统设计说明书中专门术语的定义、英文缩写词的原词组和意义、项目组内达成一致意见的专用词汇，同时要求继承全部的先前过程中定义过的词汇。词汇名称词汇含义备注备注中注明该词汇的来源，或有其他更详细的解释的文档位置；以及对该词汇的其他叫法。1.4参考资料需求规格说明书系统架构设计说明书数据仓库命名规范.docx系统设计说明书-7-2总体设计2.1软件体系结构2.2系统物理结构描述使用本软件系统典型用户的物理设备分布图及设备上相应基本软件配置。软件环境包括：操作系统、数据库、以及其它支撑软件；硬件环境包括：主机类型、网络类型、存储器容量、其它特殊设备。要求：1）尽量为系统的每个物理节点定义一个和功能相关的名称，名称的含义在词汇表中说明；2）结合运行体系图中提到的“程序”，将相关的“运行程序”分布到各个物理节点中；3）采用网络拓扑图表示。系统设计说明书-8-2.3技术路线描述本软件系统在实现过程中所采用的技术路线、方法。对较新的技术给予详细的阐述及必要的说明，在可能的情况下给出相应的技术参考资料。3系统接口设计3.1用户接口无接口。4子系统/模块设计4.1数据仓库4.1.1ODL(操作数据层)设计4.1.1.1功能描述实现从外部系统导入数据到大数据平台,ODL层数据与数据源保持一致.同步方式包括:增量同步全量同步数据源类型包括:数据库4.1.1.2业务流程流程图:系统设计说明书-9-数据同步流程图数据库同步调度系统数据源系统数据库读取同步脚本远程调用ODL本地表结束分布式数据仓库开始是否成功异常处理是否流程说明:1.调度系统定时启动数据同步作业.2.作业读取数据同步脚本,远程调用数据库接口.3.数据库接口返回远程调用结果.4.接收数据库接口返回的数据集,装载到ODL本地表.异常处理:调度系统捕获异常并处理日志说明:由调度系统负责记录作业(正常和异常)日志.数据源说明:1.通过视图封装需要同步的物理表,与业务进行隔离.当物理表发生变动,尽量通过修改视图兼容.2.数据同步程序访问数据源视图.数据粒度说明：与数据源保持完全一致。4.1.1.3作业设计详见数据同步列表.xlsx系统设计说明书-10-4.1.2BDL(事物层)设计4.1.2.1功能描述BDL层对ODL数据进行清洗、转换，实现统一维度的数据整合。4.1.2.2业务流程流程图:BDL数据流程图ETL阶段调度系统读取作业脚本BDL本地表结束分布式数据仓库开始ODL表数据清洗维度转换、捕获维表流程说明:1.调度系统定时启动数据同步作业.2.作业读取ODL表，进行数据清洗，对不符合规则的数据进行丢弃或转换.3.将转换后的结果数据装载到BDL本地表.异常处理:调度系统捕获异常并处理.日志说明:由调度系统负责记录作业(正常和异常)日志.系统设计说明书