企业数据仓库解决方案

信迈科技企业数据仓库解决方案1文件编号：SMSI-BSM-SMSIOA-2010303保密级别：□公司级□部门级■项目级□普通级采纳标准：CMMI企业数据仓库实施解决方案V1.0.0作者：许少鹏FujianSinomythSystemIntegrationCO.，LTD鑫信迈(福州)系统集成有限公司版权所有信迈科技企业数据仓库解决方案2一.目录一.目录.................................................................................................................................2二.文档更新说明...................................................................................................................3三.术语说明...........................................................................................................................3四.数据仓库总体解决方案...................................................................................................34.1.数据仓库定义...............................................................................................................34.2.数据仓库完整架构图...................................................................................................44.3.数据仓库技术平台.......................................................................................................54.3.1.数据转换技术实现...........................................................................................64.3.2.数据展示技术实现...........................................................................................7信迈科技企业数据仓库解决方案3二.文档更新说明更新内容版本更新人员日期文档创建V1.0.0许少鹏2011-2-12文档修改文档审核三.术语说明术语全称简称说明OracleWareHouseBuilderOWBOWB、ODI是针对数据仓库设计、部署管理的工具OracleDataIntegratorODI四.数据仓库总体解决方案4.1.数据仓库定义数据仓库是一个建设过程，而不是产品。数据仓库是通过对来自不同的数据源进行统一的处理及管理，通过灵活的展示方法来帮助决策支持。信迈科技企业数据仓库解决方案44.2.数据仓库完整架构图数据获取层实现如何从所有源系统中获得原始的业务数据，并对其进行一致性处理，按主题进行数据重组和格式转换，然后传送并装载到数据仓库系统中。数据仓库系统需要从多个源数据系统中抽取和汇总各个业务数据，这些数据源系统是数据仓库系统的数据来源。系统按照满足分析需求的原则，把上述数据源系统中的数据按照主题进行划分和组织，然后抽取并装载到数据仓库系统中。从上述这些系统中获取数据需要三个过程：数据抽取、数据转换、数据装载。这三个过程是在保证各个数据源系统与数据仓库系统能够成功连接（包括网络协议标准的转换、不同平台之间的接口）的前提下实现的。这三个过程主要完成确定从哪个系统中抽取什么样的数据，如何保证来自不同的源数据系统的同类数据的一致性和完整性，如何把转换完成的数据装载到数据仓库系统中，以及如何处理在转换和装载过程中出现的错误。数据管理层把数据存储到企业级数据仓库系统中进行集中管理。在数据存储层，数据是存放在两类数据库中：关系型数据库和多维数据库。数据存储是数据仓库系统的中心。取自多个数据源系统的明细数据，以及用于分析的集成汇总数据都存储在这个中心。它在逻辑上是一个完整的库。数据使用层实现如何把数据仓库系统中的数据和分析结果提供给最终用户。按照用户的分析需求、使用报表、随即查询、多维度分析和数据挖掘进行数据展现。数据输出层的功能是使最终用户通过报表、图形和其他分析工具的方信迈科技企业数据仓库解决方案5式简便、快捷地访问数据仓库系统中的各种数据，得到分析结果。Oracle为企业提供多种数据分析方法，包括标准报表、即席查询报表、动态分析报表，预测，假设分析和数据挖掘等。标准报表、即席查询报表标准报表和即席查询报表是基于关系型数据库/多维数据库的报表输出，标准报表是一种格式固定，内容仅依据预定义的条件变化的报表，是在系统开发时根据用户需求定制的，最终用户无法修改。即席查询报表的格式和内容可以由最终用户自由选择，即支持即席查询。允许最终用户控制数据的访问方法，定义报表格式和报表中的数据内容。动态分析报表动态分析报表支持客户对数据进行旋转、切片和分层，并从各个角度对数据进行分析和比较。预测，假设分析预测主要是根据历史数据推断将来的数据趋势。假设分析允许用户设定一些假设条件，观察条件成立的情况下相关指标的变化。数据挖掘数据挖掘是利用多种数学的分析方法建立模型，找出隐含的业务规律。4.3.数据仓库技术平台信迈科技企业数据仓库解决方案64.3.1.数据转换技术实现4.3.1.1.数据转换工具数据仓库设计、部署、管理工具采用OWB/ODI技术，OWB/ODI都是使用E-LT的理念设计出来的数据抽取/数据转换工具。ODI和OWB是互为补充的。ODI特点：1)对于需要异构数据支持：当数据源或者目的不是Oracle数据库，ODI能够生成针对那个数据源的native的SQL操纵语句。2)对于需要实时数据集成的环境：ODI能够检测事件，一个事件可以触发ODI的一个接口流程。从而完成近实时的数据集成。下图是ODI提供的一些检测事件的工具，可以用在package里（ODIworkflow的代名词）如OdiFileWait是等待文件到达，OdiSleep类似于许多系统里的Sleep等待轮询，OdiWaitForLogData则可以用于捕获增量数据的捕获的事件。这里的组件都是实现实时数据集成的关键部分。3)在数据抽取集成过程中需要和SOA集成，ODI本身提供了callwebservice的机制，并且ODI的接口也可以暴露为webService，从而可以和SOA环境进行交互。4)一致的CDC(ChangeDataCapture)支持，不同的数据源（Oracle，DB2等）对于变化数据获取都提供了不一样的技术框架，ODI把这些不同的技术框架屏蔽了，以一个统一的接口方式提供统一的CDC的设置框架，并提供订阅者的功能。OWB特点：1)丰富的Oracle数据运算符，能够提供Oracle数据库之间的高速转换抽取。2)从11g开始，OWB会作为Oracle的标准选件来提供，OWB本身会通过Oracle数据库的安装盘来安装，和所有的其他Oracle选项一样，都会和数据库核心紧密集成。3)数据质量管理：OWB的dataprofiling是一个相当强的数据质量管理工具，原理和流程是数据采样-》分析采用数据的错误和规则-》生成纠正采样数据的mapping流程-》验证流程-》把流程应用到所有的数据上的循环。总结：ODI跟OWB都有各自的特点，但在建设一个数据中心的项目里使用这两个工具的话，可以使用ODI来完成从异构数据源到stagingOracle数据的生成，或者用ODI完成需要实时数据同步的工作。4.3.1.2.OWB/ODI原理1)设计：图形化建模、映射关系定义2)构造：生成数据仓库、生成抽取转换过程、元数据集成3)管理：基于元数据的数据仓库管理信迈科技企业数据仓库解决方案74.3.1.3.OWB/ODI模型设计通过连接不同数据库，从不同数据库中的表字段内容抽取到数据仓库中统一的表进行管理。模型设计如下：4.3.2.数据展示技术实现数据展示方式：图形+表格形式图形包括：柱状图、线状图、条形图、饼图、点图、面积图，需要具有大量深入的数理统计的功能，如最大值、最小值、增幅、排名、比重、同比、环比等，并支持TOPN、TOP%、结构分析、离散分析、弹性分析、相关分析、方差分析、聚类分析等高级的数据统计分析方法表格包括：固定报表、动态浮动报表、交叉浮动报表、多维度动态展开报表等。1）图形展示图形展示可用免费版FusionCharts控件来展示，使用方法简单，灵活，界面美观信迈科技企业数据仓库解决方案82）报表展示模型：表格展示主要通过table+css来实现。可以自由地实现任意表格方式。固定报表：固定报表是分析报表展现的一种形式，是常用的一类报表，这一类报表的特点是，行列数固定不变，即使设置了不同的报表期参数，计算后，报表值可以变化，但行列数不会变化。信迈科技企业数据仓库解决方案9浮动报表：浮动报表是相对固定报表而言的，其行、列数不是固定，可以根据一定的条件浮动产生多行、多列数据。交叉报表：可以同时向下浮动和向右浮动。多维度动态展开报表：多个维度浮动产生数据，维度是可以动态展开的信迈科技企业数据仓库解决方案10