数据仓库实施方法论

菲奈特数据仓库实施方法论实施部2005•本手册是菲奈特公司实施部实施项目的参考手册。•拿到本手册的菲奈特员工必须确保本手册没有被复制、散发或采取任何方式为第三方所用。•在您离开菲奈特公司时，有义务归还本文件。Copyright©2000-2004FEnetSoftwareCo.,Ltd.-AllRightsReserved主题•菲奈特数据仓库方法论概述•菲奈特数据仓库体系架构•菲奈特数据仓库实施方法Copyright©2000-2004FEnetSoftwareCo.,Ltd.-AllRightsReserved菲奈特之“一种方法两个模型”•菲奈特做为商业智能解决方案的领导者，一直致力于BI领域的创新，创建了DW的最佳实施体系－－“一种方法两个模型”•--“一种方法”，菲奈特数据仓库方法论是菲奈特经过多年的数据仓库实施积累的最佳实践经验。•--“两个模型”指的是DWM和BAM。DWM（FEnetDWIntegrationDataModel）用于企业数据整合的数据模型是对企业数据进行整合和组织的工具，描述了数据仓库各个主题域的实现。BAM（FEnetBusinessAnalysisDataModel）用于企业数据分析的数据模型，是技术人员与业务人员沟通的载体和工具，反映了业务分析需求、指标体系、行业最佳实践经验。•--建设数据仓库一定要统一规划，分步实施。建议企业在数据整合和业务分析两方面对EDW蓝图进行统一规划。方法论是使蓝图得以实现的路线图，建议企业循序渐进，逐步建成企业级DW。Copyright©2000-2004FEnetSoftwareCo.,Ltd.-AllRightsReserved什么是菲奈特数据仓库方法论•菲奈特数据仓库方法论：--是菲奈特多年的数据仓库系统实施过程中积累的最佳经验。--是一套建立企业级数据仓库解决方案的方法。帮助定义灵活的、可扩展的DW体系架构；采用结构化方法，详细定义了建设一个满足客户需求的数据仓库系统所不可缺少的任务和步骤。--可提高工作效率，保证项目实施质量；减少项目的实施风险，确保在预算的范围内按时完成项目，满足用户的需求。--可解决诸如：确定正确的系统范围和需求、建立灵活的系统架构以满足不断变化的分析决策需求等等比较棘手的、高风险的问题。Copyright©2000-2004FEnetSoftwareCo.,Ltd.-AllRightsReserved菲奈特数据仓库方法论体系•菲奈特数据仓库方法论包含的内容：一、体系架构。帮助建立灵活的、可扩展的EDW架构。二、数据模型。包括DWM和BAM。三、实施方法论。采用结构化方法，定义了建设一个DW包含的详细任务和步骤。四、项目管理。减少项目的实施风险，确保在预算的范围内按时完成项目，满足用户的需求。过程管理委员会对项目进行评审和指导。Copyright©2000-2004FEnetSoftwareCo.,Ltd.-AllRightsReserved主题•菲奈特数据仓库方法论概述•菲奈特数据仓库体系架构•菲奈特数据仓库实施方法Copyright©2000-2004FEnetSoftwareCo.,Ltd.-AllRightsReserved©2000-2004FEnetSoftwareCo.,Ltd.-AllRightsReserved•数据仓库是与操作系统分离的、基于企业模型集成的、面向主题的、稳定的、历史的数据集合。数据仓库的数据模型是应用无关的，换句话说，DW是一个数据平台，提供各种查询的数据支持，但最终用户的查询并不直接在DW中执行。DW的物理设计也无需针对用户查询和分析的需求进行优化。Copyright©2000-2004FEnetSoftwareCo.,Ltd.-AllRightsReserved•数据仓库数据模型是对企业数据进行整合和组织的工具。首先抽象出企业概念模型，然后将其转换为DWM。•企业概念模型把现实世界高度抽象为信息世界。概念模型是主观与客观之间的桥梁。概念模型是设计系统、收集信息的概念性工具。用ER图描述概念模型，形式简单，便于交流。•系统设计阶段把概要模型转换为DWMDWM描述了数据仓库各个主题域的逻辑实现，即每个主题所对应的关系表的关系模式定义。DWM是当前和未来数据的集成蓝图，用来指导企业级数据仓库建设。DWM主题域保证数据组织独立于数据处理逻辑，因而可以从DWM之上方便的开发新的分析应用。定义主题域采用结构化、逐步求精的方法，确保主题域的独立性和完备性。Copyright©2000-2004FEnetSoftwareCo.,Ltd.-AllRightsReserved•用户所有的数据需求都通过访问DataMart，DataMart可分为：•1、DataMart(RDBMS)面向业务需求；存储在关系数据库中；一般采用反规范化设计方法，包括明细的数据，或者聚合、冗余的数据；•2、OLAP(MDBMS)OLAP根据存储方式又分为三类：1、ROLAP，数据以Star-Schema存储在关系数据库中。2、MOLAP，数据先以Star-Schema存储在关系数据库中，再加载到OLAP。3、HOLAP，把上面两种方式结合起来。Copyright©2000-2004FEnetSoftwareCo.,Ltd.-AllRightsReserved•BusinessTemplates是用来指导数据集市建模（BAM）和前端开发的业务分析需求、指标体系、行业最佳实践经验等。•BAM是数据集市的数据模型，根据分析需求组织数据，通过数据冗余和数据库优化来满足数据访问的快速响应要求。•BAM设计必须与行业经验结合，采用结构化、逐步求精的方法。•BAM的设计采用反规范化以及Star-Schema。Copyright©2000-2004FEnetSoftwareCo.,Ltd.-AllRightsReserved•ODS（OperationalDataStorage）是一个包含了面向主题、集成、可变、当前的（或最近一个阶段）和详细的操作信息。•ODS的优点：ODS提供了改善的方法进行数据库的存取。通过ODS，企业可以在客户交易的过程中获得客户的完整视图。ODS可在实时或近实时的基础上提供查询产品和服务所需数据的能力。与传统系统相比，ODS能以更高的性能生成操作报告。ODS可帮助集成现有新型系统。•根据W.H.Inmon的提法，把ODS按照数据更新频率分为3类，后来随着业务的发展，又出现了第4类ODS：ODSI：实时或准实时，数据整合少、简单。ODSII：每1小时或半小时更新一次，数据整合比较复杂。ODSIII：每天更新一次，或者每周更新一次。ODSIV：把DW的分析结果存储到ODS，该ODS保证交易访问这些数据能在2-3秒获得。Copyright©2000-2004FEnetSoftwareCo.,Ltd.-AllRightsReserved•StagingAreaStorage由一些ETL处理过程的辅助表组成，辅助ETL工具完成复杂的转换和计算，StagingArea通常是一些临时表。•StagingArea的作用与实现：1、减少对数据源的查询压力，有助于不同数据源的整合。2、应用于增量处理，可以减少处理的记录数量，使增量处理更加容易。3、对数据的格式进行转换，例如日期格式、数据类型转换等。4、时间调度上的灵活性，通过建立StagingArea，把数据存储在临时空间，使ETL调度更灵活。5、作为ETL后续处理的统一接口，建立StagingArea作为ETL每个处理阶段的接口，对系统的灵活性和可扩展性非常有帮助。Copyright©2000-2004FEnetSoftwareCo.,Ltd.-AllRightsReserved主题•菲奈特数据仓库方法论概述•菲奈特数据仓库体系架构•菲奈特数据仓库实施方法Copyright©2000-2004FEnetSoftwareCo.,Ltd.-AllRightsReserved菲奈特实施模式与关键因素•系统设计以业务为驱动,需求明确业务增长管理层重视,业务积极参与循序渐进，螺旋式开发……数据质量控制成熟的实施方法,风险控制灵活的架构和数据模型最佳实践经验Copyright©2000-2004FEnetSoftwareCo.,Ltd.-AllRightsReserved数据仓库实施评估过程|阶段方案评估系统定义系统分析系统设计系统开发系统测试系统上线系统维护项目前期准备10.0%业务需求定义40.0%26.0%35.0%系统结构设计15.0%20.0%15.0%8.0%4.0%逻辑模型设计10.0%15.0%15.0%15.0%数据获取(ETL)10.0%12.0%18.0%20.0%40.0%20.0%8.0%物理模型设计18.0%8.0%12.0%DW/OLAP建立5.0%10.0%3.0%5.0%前端应用开发2.0%3.0%8.0%8.0%3.0%3.0%数据质量控制5.0%10.0%3.0%5.0%5.0%15.0%元数据管理1.0%1.0%3.0%3.0%2.00%数据仓库管理2.0%4.0%3.0%4.0%5.0%7.0%5.0%文档编写5.0%1.0%2.0%4.0%3.0%3.0%5.0%系统测试/Review5.0%2.0%4.0%5.0%8.0%25.0%15.0%用户培训7.0%2.0%4.0%4.0%7.0%20.0%系统上线2.0%3.0%30.0%技术支持8.0%25.00%合计100%100%100%100%100%100%100%25%表中的百分比以一个中等规模的项目为例，说明每个过程的工作量在各个实施阶段中所占的比例，该百分比是多个项目的平均值，仅供参考。Copyright©2000-2004FEnetSoftwareCo.,Ltd.-AllRightsReserved©2000-2004FEnetSoftwareCo.,Ltd.-AllRightsReserved实施团队模型•实施团队模型定义了相互协作、同等角色关系的工作模型。每个组中的成员在项目中都有一个明确定义的角色，并且关注于一种特定的任务。•每个人的工作是同样重要和有价值的。•每个人必须对其交付品的质量负责。•团队模型不是组织结构图。Copyright©2000-2004FEnetSoftwareCo.,Ltd.-AllRightsReserved菲奈特数据仓库实施流程•方案评估•系统定义•系统分析•系统设计•系统开发•系统测试•系统上线•系统维护Copyright©2000-2004FEnetSoftwareCo.,Ltd.-AllRightsReserved方案评估－－概述•本阶段为售前阶段，以客户策略性业务需求和目标为基础，提供解决方案，完成对系统目标和企业数据仓库基础结构的定义。•对客户组织结构、成功的关键因素、主要的限制因素、事项、风险和由数据仓库系统带来的收益进行评估。•此外，