迪比特数据仓库方案书

第一章系统规划1.1系统目标系统的目标是建立面向业务（宏观）战略的商务智能平台，整合迪比特集团各业务系统。整个系统分为四个阶段来完成：1.2灵活报表系统1.2.1系统目标迪比特在长期的生产经营中，已经积累了大量的历史数据；由于这些数据分布在不同的系统中，以及缺乏良好的工具手段，导致公司在日常的生产管理中，却常常感到信息不够，或数据提出非常困难。如何将这些历史数据变成有价值的信息，如何提高信息的快速反馈能力，使企业有足够的、及时的信息，来面对迅速变化的市场，以成为迪比特信息应用第一阶段：灵活报表系统第二阶段：大MIS系统：流程再造第三阶段：统一数据平台：决策支持第四阶段：优化第四阶段：优化的一个课题。通过灵活的报表与数据查询功能，运用先进的绩效和企业管理手段，力求搭建完整、稳健、高效的自动化综合统计信息展现平台。灵活报表系统的具体设计目标主要有：1、最大限度地科学管理信息资源，以先进的数据库管理系统为基础，完成数据采集、整理、存储、利用，提高信息资源的管理水平；2、充分挖掘信息的价值，借助计算机及网络通信技术，通过系统自动生成各类管理报表和经营管理统计分析指标，并提供强大的查询系统，辅助管理人员动态监控的业务状况、财务状况；3、提高工作效率，帮助公司各层级管理人员摆脱烦琐的数据整理工作，实现管理水平和管理质量的飞跃；4、减少工作误差，提供更加完善的指标校验功能，自动验证用户数据输入是否正确，保证输入数据的正确性、完整性。1.2.2系统特点1数据抽取ETL分别是三个单词的首字母缩写（ExtractTransformLoad）也就是抽取、转换、装载，但我们日常往往简称其为数据抽取。ETL包含了三方面，首先是‘抽取’：将数据从各种原始的业务系统中读取出来，这是所有工作的前提。其次‘转换’：按照预先设计好的规则将抽取得数据进行转换，使本来异构的数据格式能统一起来。最后的‘装载’：将转换完的数据按计划增量或全部的导入到数据仓库中。ETL完成的工作主要包括三方面，其在数据仓库和业务系统之间搭建了一座桥梁，确保新的业务数据能源源不断进入数据仓库，同时用户的分析和应用也能反应出最新的业务动态。如果从整体角度来看，ETL主要作用在于其屏蔽了复杂的业务逻辑从而为各种基于数据仓库的分析和应用提供了统一的数据接口，这也可以说是构建数据仓库最重要的意义所在。2数据存储系统数据存储采用关系型数据库技术和ROLAP技术。存储分为ODS层（操作型细节数据层）和数据集市层。具有以下特点：关系数据存储模型直接ETL装载保留数据细节同时建立必要的数据预聚合不丢弃业务信息3业务特性：作为世界一流的商务智能平台产品，MicroStrategy具有以下一些特点：1)完美的客户化展现:查询、报表和图表MicroStrategy产品具有非常强大的报表定制功能。通过GUI方式，只需简单鼠标拖拽方式就可以实现复杂报表的定制，并且报表的定义逻辑可以保存，以便于以后在此基础上再次编辑加工。如下图所示报表：MicroStrategyReportService支持中国式报表格式2)可实现OLAP分析提供多维视图的数据组织、管理与多维分析。提供增量汇总技术。提供分析作业调度管理。提供最优/最差分析、例外分析、排名分析、比较分析等分析功能。具有丰富的图形展现功能。能够灵活地建立、定制不同的分析指标和各种指标计算公式，实现OLAP分析的动态化处理。并具有切片、切块、旋转、钻取和钻透等多维分析操作。能直接钻取到详细数据，也能进行多维数据和详细数据的混合分析。提供丰富的函数，可自由扩展，便于二次开发。OLAP分析结果可输出为Excel、HTML、文本文件等多种类型的文件。对分析指标指定警告值的，在分析报表或图形中以突出方式进行显示。3)可实现即席查询通过定义业务逻辑到数据库结构映射层，使最终用户无需了解数据库和SQL的复杂性，只需按业务逻辑规则即可快速简洁地定义查询需求，系统自动完成连接操作、条件定义等复杂的SQL定义操作。提供各种向导式界面、图形查询生成器、提示窗口等，通过简单的鼠标拖拉操作即可实现即席查询、报告生成、图表生成、深入分析和发布等功能。具备多表之间的钻取访问、具备主表与子表之间的钻取访问功能。提供资源控制机制。它能够监控查询的运行进程，并停止长时间运行的查询，控制资源使用效率。而且还提供查询预测能力，使分析人员在运行查询之前，能够预测查询所需时间。能访问各种数据源的数据，访问结果也能输出到多种通用文件格式中。可以对用户设立不同的查询优先级，实现数据仓库资源的合理分配。4)信息发布默认情况下就已经是发布到Web方式。还能够以电子邮件、手机短信等方式发布。提供订阅门户，使用者可以在门户中自定义发送方式。1.3大MIS系统——流程再造作为业务决策人(BDM)或技术决策人(TDM)，您始终都在寻找能够更好地分析、策略化并改善组织业务流程的方法。了解Microsoft门户和集成解决方案如何帮助您的公司简化异种系统、提高雇员生产力、降低运营成本并改善整体IT基础结构。将企业资源计划(ERP)、供应链管理(SCM)和客户关系管理(CRM)系统等内部业务系列应用程序与客户和贸易合作伙伴进行集成，从而实现实时协作。实现订单处理和合同管理业务流程自动化。是通过数据整合和报表整合以及未来的门户（工作流整合）实现对原有分立系统的信息整合。这样做既不需要“推倒重来”而且风险和投入都相对小业务流程管理BPM（BusinessProcessManagement）是将生产流程、业务流程、各类行政申请流程、财务审批流程、人事处理流程、质量控制及客服流程等70%以上需要两人以上协作实施的任务全部或部分由计算机处理，并使其简单化、自动化的业务过程。1.4统一数据平台1.4.1统一数据平台特性统一数据平台是面向主题的、综合的、不同时间的、稳定的数据集合，用于支持经营管理中的决策制定过程。也就是说，数据平台是一个大的数据库，存储了该公司所有业务数据，从在线事务处理（OLTP）系统中获取的综合数据，这些数据可能驻留在许多不同的数据源中。这些数据源可能是文档、层次型数据库、网络结构化的数据库、反向列表数据库、关系型数据库，或者更常见的由上述系统组成的混合系统。数据平台为决策支持和在线分析提供数据。数据平台除了具有传统数据库管理系统（DBMS）的共享性、完整性、数据独立性外，还具有下列特征：*统一性和一致性*面向主题*历史性*只读性统一性和一致性数据平台使用一致的命名规定、测度、物理属性和语义来统一来自多种数据源的经营数据。例如，在许多企业中，应用程序常常以不同的格式使用类似的数据：日期按照Julian或者Gregorian格式存储，真/假数据可能表示为1/0、ON/OFF、TRUE/FALSE、正/负等。不同的应用程序可能使用不同的术语来描述同样的数据，例如一个应用程序可能使用“平衡表”来描述银行帐户，另外一个应用程序可能使用“总量表”表示银行的帐户。在数据仓库中存储的数据需要一种单一的、可以由企业分析人员接受的格式存储，而不考虑各种外部数据源。这种统一性允许数据来自跨组织和部门，例如企业以前保存的数据、表格中的数据、甚至来自Internet上的数据。这些数据可以统一在数据仓库中，使企业经营人员更好地分析和理解企业的经营状况。面向主题传统的数据库是面向应用设计的，它的数据只是为处理具体应用而组织在一起的。应用是客观世界既定的，它对于数据内容的划分未必适用于分析所需。而主题是一个在较高层次将数据归类的标准，每一个主题基本对应一个宏观的领域，基于主题组织的数据被划分为各自独立的领域，每一个领域都有自己的逻辑内涵互不交叉。因此，在数据进入数据仓库之前，必然要经过加工和集成，将原始数据结构做一个从面向应用到面向主题的大转变。跨组织的经营数据源保存着企业方方面面的大量数据，例如客户记录、产品信息等等。而这些数据没有被用于对企业的全面经营状况相关分析。数据仓库只是组织这些关键的企业信息，以便简化对企业的分析过程。历史性存储在OLTP系统中的数据可以正确地表示现在时间的任何值。OLTP系统经常只是包含当前的数据。例如，处理定单的应用程序总是显示库存的当前值，而不显示在过去某一时间的库存值。不同时间的查询一般地会得到不同的查询结果。然而，存储在数据仓库中的数据，可以准确地表示过去某一时刻的数据，因为这些存储的数据表示了历史信息。存储在数据仓库中的数据一般表示过了一段比较长的时间的数据，一般是五年到十年。数据仓库存储了企业一段时间的快照形式。这些数据一般是不改变的。与此不同的是，业务数据库通常只保存有用事务数据30-90天。数据经集成进入数据仓库后是极少或者根本不更新的。因此，常用的操作是追加操作和历史查询。只读性因为存储在数据仓库中的数据表示是某一时刻点的数据，所以在数据仓库中，不允许删除、插入和修改。当数据移动到数据仓库之后，一般是不改变的，除非存储的数据是不正确的。一般地，在数据仓库中发生的操作是建立数据仓库时的加载数据和查询数据。因为数据在加载之后不再修改，所以对数据仓库的设计可以通过使用索引、预先计算的数据和物理的数据库正规化来优化查询的性能。1.4.2统一数据平台建模数据模型是对现实世界进行抽象的工具。它描述了企业内的实体和联系,即主题域,是企业最高层次的抽象。数据模型采用ERD（实体关系模型），整体ERD由各分ERD综合而成,不仅消除了分ERD之间的不一致,而且消除了不必要的冗余。ERD在逻辑上实现了数据仓库集成和面向主题的特点。数据平台的建模首先是根据迪比特公司的业务,确定主题领域，然后扩充每个主题域,以得到主码(包括时间主属性)和各属性,并实现主题域之间的联系。生产制造也得主题领域有：机构组织、产品、客户、订单、地区、仓库、促销、服务等。1.4.3统一数据平台应用在同一数据平台基础上，除了能产生各种报表，满足日常生产管理需求外，还能支持各种决策支持系统，和数据挖掘功能。决策支持应用如：经营分析与计划达成、kpi指标监控、企业战略管理——平衡计分卡应用等等。数据挖掘应用，如客户贡献度分析、客户分类分析等等，为公司的产品设计提供更多的客户信息。1kpi指标监控对于企业高层管理人员来说，可定义一些企业的关键绩效指标，如企业销售收入、税后利润等等，根据业务实际状况推算出下一个年度合适的阀值，通过后台存储过程技术定时计算迪比特的实际数值，最后通过MicroStrategy产品的告警功能实现数据的push，刷新客户端，使用户及时了解监管指标的当前状况。2经营分析与计划达成经营分析会关注市场接受度指标集、服务水平指标集、生产费率科学性指标集等五个指标集，每个指标集里面都包括丰富的指标。如在市场接受度指标集中会有产品市场占有率、客户满意度等等。通过对这些指标集多角度多手段的观察，可以把握经营的总体特征，如同期比、前期比、占比、TopN、绝对值分布等等数理统计。计划达成主要包括业务收入人力资源计划达成情况、业务收入计划达成情况、业务支出计划达成情况等几个主要方面，以及其他五个方面的辅助方面。3企业战略管理——平衡计分卡应用通过仪表板表现形式：第二章灵活报表方案设计在开发灵活报表系统时，国天商业智能采用成熟的数据仓库原理和方法，根据应用主题建立各种多维分析模型，使系统能灵活地生成各种报表和图形等多种多样的信息表现形式，为企业的经营决策提供各种信息。2.1系统逻辑设计系统分为三大模块：数据抽取、数据存储、数据展现。数据抽取：通过此模块，将生产系统或外部系统的数据抽取到数据仓库中。数据存储：数据存储包括数据仓库和数据集市。数据仓库为企业统一的信息平台；数据集市为面向多维分析的数据存储。数据展现：数据仓库信息输出部分，输出方式可分为固定报表、即席查询、多维分析。按功能可分为各种应用分析系统，如：客户关系管理系统、资产负债分析系统、管理会计、绩效考核系统。统计分析数据挖掘在线分析（OLAP）多维展现查询报表决策支持抽取清洗加载数据抽取数据存储数据展现原始数据获取数据有序、结构化存储信息、知