数据仓库

Oracle数据仓库解决方案杨新忠2009-02-17主要内容1数据仓库的应用背景2数据仓库的总体框架3Oracle数据仓库解决方案3.1Oracle数据仓库架构3.2Oracle数据仓库实现工具1.数据仓库的应用背景---面临的问题人们在日常生活中经常会遇到这样的情况：超市的经营者希望将经常被同时购买的商品放在一起，以增加销售；保险公司想知道购买保险的客户一般具有哪些特征；医学研究人员希望从已有的成千上万份病历中找出患某种疾病的病人的共同特征，从而为治愈这种疾病提供一些帮助；……1.数据仓库的应用背景---面临的问题经过多年的计算机应用和市场积累，许多企业或者单位保存了大量原始数据和各种业务数据,它是企业生产经营活动的真实记录由于缺乏集中存储和管理，这些数据不能为本企业或者单位加以利用,不能进行有效的统计、分析及评估，无法将这些数据转换成企业或者单位有用的信息1.数据仓库的应用背景---获取信息-贯穿公司或单位的数据集成?-公司或单位的历史数据?-详细数据及汇总数据?computer1.数据仓库的应用背景---决策的需要应用在不断地进步，当联机事务处理系统应用到一定阶段的时候，人们便发现单靠拥有联机事务处理系统已经不足以获得市场竞争的优势；他们需要对其自身业务的运作以及整个市场相关行业的态势进行分析，从而做出有利的决策。1.数据仓库的应用背景---如何获得信息早期应用系统PC电子表格归档文件OLTP系统数据仓库获得信息数据仓库的通俗解释针对这一问题，人们专门为业务的统计分析建立一个数据中心，它的数据可以从联机的事务处理系统、异构的外部数据源、脱机的历史业务数据中得到；它是一个联机的系统，专门为分析统计和决策支持应用服务，通过它可满足决策支持和联机分析应用所要求的一切。这个数据中心就叫作数据仓库。数据仓库是一个作为决策支持系统和联机分析应用数据源的结构化数据环境。2.数据仓库的体系结构DataExtractionTransformationEngineLoaderMetadataManagerSchedulerSAPRDBMSLegacySASExternalInformationDatabaseQualityMetadata数据的抽取存储和管理信息探索RiskCustomerProductMarketFutureWebEISQueryReportingDataMiningDSSVisualizeOLAP数据仓库的概念结构业务系统外部数据源数据准备区数据集市/知识挖掘库数据仓库数据库数据集市/知识挖掘库应用工具应用工具用户用户管理工具数据源3Oracle数据仓库解决方案Oracle提供了对数据仓库的全面支持。通过一系列的集成工具，使Oracle数据仓库开发和管理人员可以创建、管理和维护数据仓库并利用Oracle智能工具对数据仓库中的数据进行数据挖掘和决策支持分析。3Oracle数据仓库解决方案3.1Oracle数据仓库架构元数据管理(CWM)数据仓库管理(OEM)企业管理数据外部数据运营数据9i应用服务器ApplicationServer商业智能BIBeans即时查询Discoverer报表Reports门户PortalOracle9iETL引擎OLAP分析数据挖掘商业智能应用数据获取数据管理数据使用抽取、转换、装载WarehouseBuilder3.1Oracle数据仓库架构3.1Oracle数据仓库架构数据获取层：实现如何从所有源系统中获得原始的业务数据，并对其进行一致性处理，按主题进行数据重组和格式转换，然后传送并装载到数据仓库系统中。OracleWarehouseBuilder（OWB）在同一个软件中实现了从数据模型设计、ETL流程设计和元数据管理的全部功能。3.1Oracle数据仓库架构数据管理层：把数据存储到企业级数据仓库系统中进行集中管理；Oracle10g数据库实现对数据仓库系统各种类型数据的集中存储和管理，包括各种结构化数据和非结构化数据。Oracle10g数据库内置OLAP和数据挖掘功能，不需要进行复杂的数据迁移就可以直接在关系数据库中完成复杂的统计分析功能。3.1Oracle数据仓库架构数据使用层：实现如何把数据仓库系统中的数据和分析结果提供给最终用户。按照用户的分析需求，使用报表、随即查询、多维分析和数据挖掘进行数据展现。Oracle为客户提供多种数据分析方法，包括标准报表、即席查询报表和动态分析报表，预测，假设分析（What-if）和数据挖掘等。标准报表和即席查询报表是基于关系型数据库/多维数据库的报表输出。标准报表（Reports）是一种格式固定、内容仅依据预定义的条件变化的报表，是在系统开发时根据用户需求定制的，最终用户无法自己修改。即席查询报表（discoverer）的格式和内容可以由最终用户自由选择，即支持即席查询。允许最终用户控制数据的访问方法，定义报表格式和报表中的数据内容。动态分析报表支持客户对数据进行旋转、切片和分层，并从各个角度对数据进行分析和比较。预测主要是根据历史数据推断将来的数据趋势。假设分析允许用户设定一些假设条件，观察条件成立的情况下相关指标的变化。数据挖掘(OracleDataMiner)是利用多种数学的分析方法建立模型，找出隐含的业务规律。数据仓库的数据抽取模型P2清理数据记录F8数据清理规则F8数据清理规则F2KHCGF5CQLS_KHCGF6CQLS_KHCGF7SJCK_KHCGP4加载到数据仓库F3SPQKF4ZGYJP3数据排序聚集P1抽取数据源记录数据仓库的数据抽取模型1数据仓库的数据抽取、转换与加载计划影响数据抽取、转换与加载的因素数据格式坏数据系统的兼容性数据源的变化数据抽取的时间数据仓库的数据抽取模型2.数据仓库的数据清理转换方法(1)类型转换(2)串操作(3)数学函数(4)参照完整性(5)关键字翻译(6)聚集运算数据仓库的数据抽取模型数据源抽取对象表数据平台数据库表名备注Windows/SQLServerXSSJKHCG客户采购商品表Windows/SQLServerXSSJSPQK商品情况表Windows/AccessRSGLZGYJ职工业绩表……………………数据仓库的数据抽取模型数据源抽取规则表表.列名过滤与连接条件比较值复合条件备注KHCG.CGSL50000AND采购商品数量小于50000KHCG.CGSL500AND采购商品数量大于500SPQK.SPID≠‘AB’OR商品前两位非’AB’…………………………数据仓库的数据抽取模型数据抽取的目标列与源列对应关系表目标表.列源表.列转换公式备注SJCK_KHCG.KHZYKHCG.KHZY直接转换客户职业SJCK_KHCG.CGRQKHCG.CGRQ将月/年/日的日期格式转换成年/月/日格式客户采购日期……………………数据仓库的数据抽取模型数据抽取过程的排序、概括和导出情况表表.列名排序概括/导出备注CQLS_KHCG.CGSL降序分组按照采购数量从大到小排序、按照日期进行分组SJCK_KHCG.CGHZ概括对每一客户采购量按照星期分别进行概括处理，计算客户的采购总量SJCK_KHCG.PJL导出对每一客户采购情况按照星期分别进行平均采购量计算……………………3.2Oracle数据仓库实现工具OracleWarehouseBuilder，用于创建数据仓库。OWB的图形用户界面为快速有效地设计和部署数据仓库提供了方便。用户在建立数据库的设计过程中向导驱动程序将指导完成具体的设计过程。元数据源的定义向导驱动过程支持从己有元数据源向OWB知识库的导入。OWB支持3NF星型模式的设计可以从OracleDesigner中导入现存设计。OWB还为表、事实表和维度供向导及图形编辑器。3.2Oracle数据仓库实现工具Oracle透明网关，用于访问非Oracle数据库中的数据，如DB2、Informix、Sybase、SQLServer等数据库中的数据，将数据装载到Oracle数据仓库中。Oracle普通连接，是为任何ODBC或OLEDB兼容的非Oracle系统环境提供的普通方案。它支持使用ODBC和OLEDB之类的工业标准的连通性。Oracle透明网关，是为非Oracle目标系统而量身定制的解决方案，使用它的本地接口进行通信。3.2Oracle数据仓库实现工具---信息展现解决方案信息利用的主要功能是提供一个数据访问层，使数据仓库系统使用人员通过报表和图形的方式，简便、快捷的访问数据仓库系统中的各种数据并进行各种分析预测操作。信息利用可以提供多种数据加工实现方法，包括预定义报表、即席查询、多维动态分析和数据挖掘。3.2Oracle数据仓库实现工具---信息展现解决方案一定制报表数据仓库的一个重要功能在于满足日常生产报表的需要。OracleReportsDeveloper事稳健、高效的报表工具，用于快速构建高质量的基于动态或者静态的报表。通过向导驱动的方法，ReportsDeveloper提供一个图形布局编辑器，根据声明的、以文档为中心的开发模型构建复杂的报表。3.2Oracle数据仓库实现工具---信息展现解决方案即席查询OracleDiscover，是直接基于数据仓库关系型数据库进行分析的查询分析工具，是最终用户查询、报告、搜索和Web公布工具，能够帮助公司内部各个层次的商业用户，使其获得迅速访问关系型数据库、数据中心或者联机事务处理系统中数据的能力。OracleDiscoverer帮助最终用户在不需要了解SQL或者数据库结构的情况下，建立查询、报告，以及执行功能强大的搜索。只需拖拉式操作，就能直接访问所需数据，以及改变工作面的布局。3.2Oracle数据仓库实现工具---信息展现解决方案联机分析处理（OLAP）可以直接使用或者借助BIBeans在Java开发工具JDeveloper中，快速的进行OLAP应用开发。OracleExpress为开发OLAP应用提供先进的计算引擎和多维数据缓存。OracleExpressServer的多维数据模型拥有分析、预测、建模功能，可以对数据进行模拟(what-if)分析。ExpressServer具有用于数学、财务、统计和时间序列管理等方面的内置函数，用户可以通过这些函数开发强大的分析应用。Express系列多维分析工具与Discoverer有一些特点是共同的。它们都通过图形化的前端，支持交互式查询，业务的图形化显示和钻入功能。3.2Oracle数据仓库实现工具---信息展现解决方案Oracle的数据挖掘工具(DataMiningSuite)数据挖掘(DataMining)是决策分析技术的一个更高层次，数据挖掘技术采用人工智能的决策分析方法，按照用户既定的业务目标，对数据仓库中浩如烟海的数据进行探索，揭示隐藏其中的规律，并进一步将其模型化。从业务问题的定义到分析结果的实施，Dataminingsuite提供完整的工具。包括确定业务问题、为挖掘准备数据、建立多种模型、分析结果（分析结果可以用丰富的图形表示）及发布商业智能五个方面的工具集。OWB操作OWB操作它是完全集中于分析工作区中维度模型定义和实施的管理工具。通过它可以方便的创建维表及其结构、事实表以及多维数据库与关系数据库之间的映射,并不需要编程就可实现各种运算。如最大、最小、平均、加权平均、比率和求和运算。并通过oracle提供的OLAPDML语言,这是一种过程编程语言,可用于表达各种类型的计算、设计自定义分析函数以及控制与多维数据类型相关的数据加载和计算过程。OLAPDML集成了大量的分析函数,可用于产生任何类型的多维计算。如汇总、分配/n分摊、数据选择、财务、预测和回归、数学和统计、模型、定制维度成员等函数类型。通过SQL和PL/SQL以及O-LAPWorksheet工具可以访问OLAPDML。EnterpriseManagerDatabaseControl提供了一个基于Web的界面，您可以使用这个界面来管理