数据仓库解决方案v0

第1页共22页数据仓库解决方案深圳太极云软技术股份有限公司2016年1月第2页共22页目录(一)概述...................................................................................................................................3一.国内信息化的现状.......................................................................................................3二.以应用驱动，数据仓库建设应由后向前规划...........................................................3三.“想大做小”（整体设计、分布实施）...................................................................4(二)系统架构...........................................................................................................................5数据仓库架构...........................................................................................................................6系统功能架构...........................................................................................................................7(三)数据仓库建设方法...........................................................................................................8数据仓库建设8大步骤..........................................................................................................91.系统分析，确定主题...................................................................................................92.选择满足数据仓库系统要求的软件平台.................................................................103.建立数据仓库的逻辑模型.........................................................................................104.逻辑数据模型转化为数据仓库数据模型.................................................................115.数据仓库数据模型优化.............................................................................................126.数据清洗转换和传输.................................................................................................137.开发数据仓库的分析应用.........................................................................................148.数据仓库的管理.........................................................................................................15(四)系统功能详细介绍.........................................................................................................16企业数据门户.................................................................................................................16主题分析.........................................................................................................................17即席查询.........................................................................................................................18多维分析工具.................................................................................................................19ETL工具..........................................................................................................................19报表工具.........................................................................................................................21第3页共22页(一)概述一.国内信息化的现状1.信息化建设的发展历史：在国内信息化建设过程中，基本上是按照当时业务系统的需求进行建设，过一段时间，如果有新的业务推出，就再建设一个新的系统，或在原系统的基础上增加新的业务处理。这样的结果使每个系统和系统之间缺少真正的信息沟通和信息交换。2.为何要建立数据仓库：根据现状业务系统各自为政，相互独立。当很多业务系统建立后，由于领导的要求和决策的需求，需要一些指标的分析，在相应的业务系统基础上再增加分析和相应的报表功能，这样每个系统就增加了报表和分析功能。但是，由于数据源不统一导致了对同一个指标分析的结果不相同。为了解决该问题，为了分析和决策的需要，将相互分离的业务系统的数据源整合在一起，可以为领导和决策层提供分析和辅助决策。二.以应用驱动，数据仓库建设应由后向前规划数据仓库到底应该怎么建设?我一贯的主张是应用驱动。什么样的应用呢？应用是应考虑政府管理的现状和决策层最关心的问题入手。分利用现有信息系统资源，进一步细化、量化权力清单，固化权第4页共22页力运行流程和办理环节，达到规范业务流程、监督个体行为、记录执法诚信、科学考核评价和提升管理精度，最终使群众的合法权益得到保护，实现权力有效监督和提升政府效能。通过分析经济发展、卫生健康、教育科技、道路交通、机构团体、生活服务、文体娱乐、安全避险、资源环境、社保就业、财税金融、法律服务等这些主题的分析是否可行，应该先进行评估。这样从应用主题入手，就可以知道需要什么样的数据，来自那些业务系统和数据源，这些数据的全体进行一定的整合，按照分析的要求存储就组成了一个个数据集市（DataMart）。三.“想大做小”（整体设计、分布实施）为了避免原有业务系统相对独立而形成的一个个信息孤岛，以应用驱动建设数据仓库，往往会造成新的信息孤岛。这是因为应用往往是部门级的或者是某一方面的应用，不能完全覆盖企业级的所有应用。当然我们这里不提倡一次建设的应用。如何避免这个问题，是我这里着重要要强调的。这里分两种情形进行设计，系统作用1.整合业务数据在各业务系统中，数据不流通，形成信息孤岛，商业智能解决方案建立统一数据仓库，整合业务数据，给管理者提供统一视图，统一决策界面。2.支撑决策从数据中分析企业发展趋势，挖掘新的机会方法，根据数据决策，第5页共22页提高决策的及时性及准确率。3.提供管理效能，量化办事效率基于系统分析内容，管理者能了解细化、量化权力清单，固化权力运行流程和办理环节，达到规范业务流程、监督个体行为、记录执法诚信、科学考核评价和提升管理精度，最终使群众的合法权益得到保护，实现权力有效监督和提升政府效能。(二)系统架构数据使用层数据管理层信息整合服务（数据采集交换）ODS交换数据库基础数据空间数据警务数据干部数据梅沙数据其他数据库数据清洗、转换、加载数据管理层信息治理数据仓库数据集市共享数据视图多维分析相关业务单位数据交换元数据管理即席查询报表统计数据挖掘预测分析决策管理离线报表数据使用层系统架构图在建立数据仓库，数据仓库按主题域存储各业务数据。数据来源主要是政府第6页共22页管理结构的不同业务管理系统。通过数据交换平台定期采集各管理机构的业务数据，后台数据处理工具ETL抽取、清洗数据，并加载入数据仓库中。架构于数据仓库上的系统功能主要包括大数据门户、专题主题分析、即系查询、多维分析、自助报表的功能模块，通过这些功能模块为管理者获取数据和分析数据提供简单易用、功能强大的方法，为管理者决策及提升管理精度，最终实现权力有效监督和提升政府效能。数据仓库架构数据仓库是一个建设过程，而不是产品。数据仓库是通过对来自不同的数据源进行统一的处理及管理，通过灵活的展示方法来帮助决策支持。数据获取层实现如何从所有源系统中获得原始的业务数据，并对其进行一定的数据处理，按主题进行数据重组和格式转换，然后传送并装载到数据仓库系统中。数据仓库系统需要从多个源数据系统中抽取和汇总各个业务数据，这些数据源系统是数据仓库系统的数据来源。把上述数据源系统中的数据按照主题进行划分和组织，然后抽取并装载到数据仓库系统中。数据需要经过三个过程：数据抽取、数据转换、数据装载。这三个过程是在保证各个数据源系统与数据仓库系统能够成功连接（包括网络协议标准的转换、不同平台之间的接口）的前提下实现的。保证把来自不同的源数据系统的同类数据的一致性和完整性，转换完成的第7页共22页数据装载到数据仓库系统中。数据管理层把数据存储到企业级数据仓库系统中进行集中管理。在数据存储层，数据是存放在两类数据库中：关系型数据库和多维数据库。数据存储是数据仓库系统的中心。取自多个数据源系统的明细数据，以及用于分析的集成汇总数据都存储在这个中心。它在逻辑上是一个完整的库。数据使用层把数据仓库系统中的数据和分析结果提供给最终用户。按照用户的分析需求、使用报表、随即查询、多维度分析和数据挖掘进行数据展现。数据输出层的功能是使最终用户通过报表、图形和其他分析工具的方式简便、快捷地访问数据仓库系统中的各种数据，得到分析结果。提供多种数据分析方法，包括标准报表、即席查询报表、动态分析报表、多维分析、趋势预测、假设分析和数据挖掘等。系统功能架构多维分析OLDP多角度、立体化、灵活动态的分析业务数据。产品简单易用，无需编写任何的代码，用户只需要通过语义层