数据仓库构建方法及其应用实例研究

东华大学硕士学位论文数据仓库构建方法及其应用实例研究姓名：王磊申请学位级别：硕士专业：管理科学与工程指导教师：郭大宁20050101数据仓库构建方法及其应用实例研究作者：王磊学位授予单位：东华大学参考文献(31条)1.WHInmon.王志海.林友芳数据仓库20032.段云峰.吴唯宁.李剑威.韩洁数据仓库及其在电信领域中的应用20043.沈兆阳SQLServer2000OLAP解决方案--数据仓库与AnalysisServices20014.常新功.金红.肖玉巍正确使用原型法构建数据仓库[期刊论文]-微机发展2002(4)5.RalphKimball.MargyRoss.谭明金数据仓库工具箱一维度建模完全指南20036.宝山钢铁集团公司生产部宝山钢铁集团公司初步设计资料汇编(生产管理篇)19977.薛富波.张文彤.田晓燕SAS8.2统计应用教程20048.JarkeM.LenzeriniM.VassiliouY.Vassiliadis,PFundamentalsofDataWarehouses20039.DevlinBarryDataWarehouse:FromArchitecturetoImplementation200210.MJarke.YVassiliouFoundationofdatawarehousequality-areviewoftheDWQproject11.IBMInformationWarehouseArchitectureI199312.RYWang.HBKon.SEMadnikDataQualityRequirementsAnalysisandModeling199313.JordanArthurDataWarehouseIntegrity:HowLongandBumpytheRoad?199614.ZohraBellahseneSchemaEvolutioninDataWarehouses200215.LucaCabibbo.RiccardoTorloneAnArchitectureforDataWarehousingSupportingDataIndependenceandInteroperability2001(03)16.JMFirestoneArchitecturalevolutionindatawarehousinganddistributedknowledgemanagementarchitecture199817.MGyssens.LVSLakshmanananAfoundationformulti-dimensionaldatabases199718.MatthiaJarke.Manfredajeusfeld.ChristiphQuixAarchitectureandQualityinDataWarehouse1999(03)19.WHInmon.ClaudiaImhoff.RyanSousa.邢国庆企业信息工厂200320.高惠璇SAS系统BaseSAS软件使用手册200121.谢榕基于数据仓库的决策支持系统框架[期刊论文]-系统工程理论与实践2000(4)22.EfremGMallach.李昭智.李昭勇决策支持与数据仓库系统200223.焦维纳佐.williamA面向对象数据仓库设计200024.王占昌基于空间数据仓库体系结构的数据仓库质量研究[期刊论文]-鞍山师范学院学报2002(1)25.曹翊数据仓库规划与项目管理,数据仓库之路原创资料26.挖掘企业数据的金矿27.查看详情28.程建华中国钢铁企业信息化道路29.姜奇兵.姜奇平从宝钢经验看企业信息化建设200330.北京蓝太平洋公司主站点、决策支持专题五构建基于数据仓库的DSS31.MetadataCoalition:MetaDataInterchangeSpecification,(MDISVersio1.1)1997相似文献(10条)1.学位论文赵清数据仓库增量维护的体系结构研究2007数据库满足了人们对数据，特别是日常业务数据存储的需求；数据仓库满足了人们合理地组织加工业务数据并由其上升到决策信息的需求；而在快速变化要求迅速反映的时代，高质量的决策信息要求数据仓库的高度有效性，这就进一步反映到对数据仓库维护过程的要求。数据仓库中包含着从各种独立自治的数据源中抽取出来的信息，他其中的数据也必须被更新以反映数据源中数据的变化，面对如此大量的数据，采用完全重载的方法显然是不可行的，因而有必要提出一种高效的增量式维护的方法，也就是只将数据源中发生变化的数据捕获并刷新到数据仓库中。建立在数据仓库上的一些应用，如OLAP分析和数据挖掘等，通常会涉及到大批量数据的检索，为了能够提高查询的效率，在数据仓库中会建立一定数量的实视图，用以预先存储某些使用率较高或计算较复杂的查询的结果，或者其他查询可利用的中间结果。但实视图毕竟是建立在数据源表基础上的，为了正确反映数据源表的变化，需要对实视图进行维护。作为数据仓库维护的重要组成部分，实视图的维护也有必要建立在增量维护的基础上。实视图虽然在数据仓库中有不可替代的重要性，但它与数据仓库中的其他对象和其他交互模块共同构成一个有机的整体，因而对数据仓库维护的讨论就不能够局限于实视图。本文提出了一个实现数据仓库增量维护的体系框架，它将不局限于实视图的维护，而涉及到了一个数据仓库系统运行的整个过程，包括对数据源变化的监控(即捕获数据源的变化数据)、将捕获到的变化数据传送并集成到数据仓库、对数据仓库对象(维度表、事实表和实视图)的维护和历史数据的保留等主要部分。它将数据仓库增量维护的任务模块化，清晰地体现了系统的模块组成和模块之间的交互。模块包括监控数据源变化的监视器、包装各独立数据源变化数据并将其传送到下一模块的包装器、集成各数据源变化数据(如有必要，还将按照事先设计好的规则反向查询数据源以完成变化数据与数据源中相关数据的连接)并将其传送到下一模块的集成器以及负责将这些变化数据最终应用到数据仓库对象的数据仓库更新管理器。实现增量刷新的一个先决条件就是要能够监控和捕获数据源的变化。依据被集成的数据源的类型不同，对一个具体的数据仓库环境，可以有多种不同的解决方法。本文对这些方法进行了分析，并简要介绍了Oracle9i中变化数据捕获的机制。此外，本文提出了一种基于Delta表的数据刷新方法，变化的数据先被抽取到Delta表中，它同时记录了数据的更新模式(插入、删除或修改)，然后再利用Delta表中的内容对数据仓库对象进行增量维护，该方法能够将复杂的维护过程进行分解，使可控制性和正确性得到进一步的保证。另外，在数据刷新过程中，数据仓库通常是不可访问的，为了减少数据仓库对外“不可见”的时间以提高数据仓库的有效性，我们将实视图的维护过程分成了数据传送和刷新两个阶段。在数据传送阶段，我们只是在后台准备即将应用到数据仓库对象中的数据，而数据仓库对象对用户仍然是可访问的，因而这个阶段会做尽可能多的变化数据处理工作以减少刷新阶段的工作量和所需的时间。在数据刷新阶段，由于与数据仓库对象结构相同的数据已经准备好，因而刷新的效率会显著提高。最后，越来越多的不可预测性和激烈的竞争迫使企业迅速识别内外部的变化，并及时做出适当响应，这就使实时商务智能逐渐受到企业的青睐。而对于一个可靠的实时商务智能系统，它必须有相应的数据仓库为其提供可靠的用来进行分析与决策所必需的数据，这就要求数据仓库具有与商务智能系统一致的实时程度。需要特别说明的是，实时数据仓库并非适用于所有的情况，也并非时滞越短越理想。这主要取决于两个因素：数据的可获得性和商业运作本身，前者是限制，可以通过技术来克服，而后者则是实实在在需要考虑的因素，比如实施实时数据仓库以支持实时商务智能从而做出实时响应，这对特定的商业问题是否有意义，这其中的获益是否足够补偿付出。本文就在之前工作的基础上提出了(准)实时数据仓库增量维护的体系结构。它考虑了原体系结构中各模块可采取的不同策略，这些不同策略的组合就构成了多种级别的实时性，分别适用对实时性有不同要求的数据仓库系统。2.期刊论文于千城.YuQiancheng企业数据仓库中元数据集成体系结构的研究-计算机应用与软件2009,26(12)随着数据仓库的数据质量问题越来越引起重视,更进一步让人们认识到了元数据管理的重要性.元数据集成体系结构是一个技术的、实现元数据管理策略的系统体系结构.在中国太平洋保险公司(CPIC)建设企业数据仓库(EDW)的项目背景下对企业数据仓库中的元数据集成体系结构作了研究.首先对三种元数据集成体系结构作了介绍,然后阐述了采用联邦体系的CPICEDW元数据集成规划,并用文档服务器作为全局元数据仓储的替代解决方案进行了元数据集成实施,最终阐明了现阶段企业数据仓库应该采用联邦元数据体系结构.3.学位论文盛钟电信行业建设数据仓库系统体系结构的研究2004数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的集合，用于支持管理决策制定过程.电信行业各大运营商为了提高自身竞争力，建设决策支持系统，纷纷要求沉淀企业经营信息，构建企业级数据仓库.如何针对电信行业的特点建设企业经营信息数据仓库系统，系统体系结构设计的好坏直接关系数据仓库系统建设的成败，它是系统成功建设的关键.该文针对电信运营商迫切要求建设企业级经信息数据仓库的应用背景，主要研究了电信行业建设数据仓库系统的体系结构，系统体系结构包括功能体系结构、信息体系结构、网络体系结构.该文在介绍了有关课题背景之后，阐述了构建数据仓库系统的相关技术，同时介绍了数据仓库相关应用和基于数据仓库的数据分析系统、技术和方法，如客户关系管理系统、决策支持系统、在线分析处理技术、数据挖掘技术等，分析了它们对数据仓库系统信息体系结构、功能体系结构的要求.文章接着分析了电信综合业务运营支撑系统的体系结构，重点对经营信息数据仓库系统的数据源进行了研究.在以上理论研究的基础上，作者以国内某电信运营商统一经营信息服务系统的建设为应用实践研究背景，设计出了系统数据仓库信息体系结构、功能体系结构、网络体系结构.系统信息按当前细节级数据层、轻度综合级数据层、中度综合级数据层、高工综合级数据层设计;当前细胞级数据层对应系统ODS数据存储，轻度综合层和中度综合层数据对应系统DW数据存储，高度综合级数据对应系统CUBE和报表级数据存储.系统功能分为数据采集层、数据装载层、数据展现层设计.系统网络体系结构分总部、省分、地市三级设计，总部与省分公司之间、省分公司和省各个地市之间通过企业内部网连接，上传下达数据.最后，作者对所作的研究工作进行了总结，提出在实践过程中面临的主要问题和困难，并对进一步的研究工作提出了一些建议.4.期刊论文王占昌基于空间数据仓库体系结构的数据仓库质量研究-鞍山师范学院学报2002,4(1)数据仓库质量对数据仓库应用至关重要.本文在空间数据仓库体系结构基础上,对数据仓库质量进行研究,以进一步优化空间数据仓库.5.学位论文张玉芹一个数据仓库系统的体系结构及实现方案2003数据仓库运行过程中,数据管理在协调数据仓库各部分数据正确流向的基础上,提高系统运行的效率,保证系统高效的响应用户请求.我们在体系结构的支持下,提出了一种统一管理数据仓库和源数据库数据的数据管理方法.该方法基于新的数据模型(对象和雪花混合的模型),扩展了RDBMS的功能(包括扩展其数据类型与数据模型两方面).它不但能够管理普通关系型数据库的数据,还能够高效的存取像多媒体数据这样的关系型数据库很难处理的数据,同时提高了数据库和数据库系统的检索效率.通过定量和定性两种分析方式,我们证明了该方法不但是可行的,而且能够使得系统具有高效的检索效率,满足数据仓库系统的基本要求.数据仓库体系结构不仅要为系统其余各部分提供运行的平台,保证系统畅通的运行,更重要的是使得系统具有高的运行效率、可扩充性等特点.该文通过对以往系统体系结构的研究,并根据我们要建立系统的特点,提出了一种基于C/S结构和DB-ODS-DW结构的数据仓库体系