数据仓库与挖掘技术在校园网计费和管理中的应用

中山大学硕士学位论文数据仓库与挖掘技术在校园网计费和管理中的应用姓名：黄志成申请学位级别：硕士专业：软件工程指导教师：陈有青20070609数据仓库与挖掘技术在校园网计费和管理中的应用作者：黄志成学位授予单位：中山大学相似文献(10条)1.学位论文迟晓明基于数据仓库与数据挖掘的航空货运分析CRM应用研究2009随着航空货运业的发展，客户关系管理(CRM)的应用越来越广泛，因此，产生了大量的数据，有效的利用这些数据，并充分挖掘这些数据中的隐藏的有用信息，可以为航空公司的经营决策带来极大的帮助。数据挖掘技术以其善于从大型数据仓库中挖掘有用信息的特性而成为航空公司客户关系管理中处理信息的最佳技术选择。通过查阅资料了解到国内部分行业，在数据仓库和数据挖掘的应用方面，已经有了比较好的信息化基础。数据仓库中已储存了大量的数据，但在数据分析等方面却处于薄弱状态。正如航空货运行业，利用信息技术产生和收集数据的能力逐渐加强，如何高效的利用各种数据，在保留现有的客户的基础上开拓新的市场，提高我国航空公司的核心竞争力，是研究航空货运CRM的核心问题。论文在对航空公司客户关系管理中应用数据仓库及数据挖掘所产生的商业价值分析的基础上，分别从构建数据仓库，构建数据挖掘应用系统结构、选择实施方法和基于OLAP技术的航空货运分析四个方面对航空公司客户关系管理做出了逐层深入的研究。首先介绍了客户关系管理(CRM)、数据仓库和数据挖掘技术的定义、发展现状和基本原理，讨论了数据挖掘和数据仓库技术在CRM中的应用意义。其次，对航空货运业在CRM系统基础上组建数据仓库系统的理论和方法进行了深入的探讨，为数据仓库在航空货运业的应用提供了理论依据和实现方法；并提出ETL的定义及应用，还涉及到操作数据存储(ODS)的研究。从概念模型设计、逻辑模型设计、物理模型设计论证了航空货运CRM数据仓库中的信息数据模型；根据航空货运业的数据特点和业务需求，提出了航空货运业数据仓库系统的总体框架。在数据仓库构建步骤中，列出了部分构建数据仓库时所用到的程序列表(事实表生成存储过程程序，维度表生成过程程序)。再次，论文接着阐述了航空公司客户关系管理中数据挖掘应用的系统结构与实施方法研究，提出了基于互动循环过程和SEMMA的实施方法，有效解决了航空公司客户关系管理中实施数据挖掘的商业问题和技术问题。研究了Apriori算法及改进的AprioriTid算法和AprioriTidList算法，并在此基础上，说明航空公司CRM中数据挖掘改进实施方法的应用流程。在本文的最后部分，展示了一个基于OLAP技术的面向分析的CRM系统。采用HOLAP方式进行数据存储。这一系统为航空公司提供了OLAP的功能，工作人员可以通过多维视图分析数据。在建立数据仓库的基础上进行数据挖掘，发现整个系统中各个项之间的潜在关系，能够为公司决策者提供决策支持。本文在对目前我国航空货运公司CRM领域需求分析的基础上，结合经典解决方案的优点，首先在数据层实现整合，设计出航空货运公司CRM系统基本框架。在该框架实现中，先分析公司数据仓库的技术需求，再从技术框架、数据库设计、数据建模、数据转换几个关键领域论述了数据仓库的实现。在数据模型设计中，做了一些相应的设计处理，保证了数据的有效性、准确性。2.期刊论文王预.WANGYu数据仓库与数据挖掘的关系及其安全性问题-计算机技术与发展2008,18(5)数据仓库与数据挖掘是当今新的技术热点,数据仓库是一种解决数据使用的高效技术,数据挖掘为之提供了更好的决策支持和服务,同时促进了数据仓库技术的发展.从数据仓库的相关技术和体系结构分析展开研究,分析了数据挖掘与数据仓库的关系,重点阐述了数据仓库的安全性问题,展望了数据仓库未来的研究方向.数据仓库和数据挖掘二者既相互结合、共同发展,又相互影响、相互促进.数据仓库越来越广泛地运用到各个领域中,成为企业获得竞争优势的关键武器.3.学位论文李雯娟基于医学信息数据仓库的数据挖掘研究2009随着数据库技术的飞速发展，信息技术已渗透到包括医学在内的各种领域。很多大中型医院都相继建立了自己的医院信息系统（HIS），随着HIS的应用和不断发展，数据库中的数据量迅速膨胀，数据库规模逐渐扩大，复杂程度日益增加。但是尽管积累了大量的业务数据，真正能将这些数据的价值挖掘出来，并运用到医院的临床辅助诊断和日常管理决策中去的却很少。本课题针对这种现状，提出了建立基于HIS系统的医学信息数据仓库，在此基础上，对数据仓库中的医疗数据进行疾病监测、预测、医院管理辅助决策等方面的数据挖掘。为医务工作者、临床管理人员、科研人员提供辅助决策与综合分析的工具。本课题通过研究现有医院信息管理系统的结构和数据组成，利用前沿的数据仓库技术，根据实际需求，从医院海量信息数据库中分析、提取、确立主题，进行有效地数据组织，来构建数据仓库模型。在进行数据清理和数据转换后，实现对数据仓库的数据装载。对创建好的数据仓库可以进行SQL查询、报表统计、OLAP数据分析及数据挖掘等方面的应用，来有效地服务于医院的全方位管理决策。本课题主要进行了以下研究：1.通过对源数据库中的数据进行大量数据分析和数据预处理工作，提取出构建数据仓库的主题。采用了微软最新推出的MicrosoftSQLServer2008企业级的数据仓库平台构建基于HIS的医学信息数据仓库，SQLServer2008建立在SQLServer2005的基础之上，进一步对各项服务进行改进，是一个完整的数据管理与商业智能平台，在性能和可扩展性方面排在世界领先的地位。2.运用SQLServer2008的集成环境BusinessIntelligenceDevelopmentStudio创建和使用基于医学信息数据仓库的数据挖掘模型。该环境包括数据挖掘算法和工具，使用这些算法和工具更易于生成用于各种项目的综合解决方案。3.介绍了几种经典的数据挖掘算法，并运用SQLServer2008中AnalysisServices数据挖掘组件提供的算法实现从多层次、多角度对医学信息数据仓库中门诊部和住院部信息进行数据挖掘和分析。探讨了在疾病监测控制、疾病预测、医院管理辅助决策等方面的数据挖掘应用。4.期刊论文数据仓库、OLAP、数据挖掘之间的关系-包钢科技2005,31(5)通过对数据仓库、联机分析处理(OLAP)、数据挖掘技术在决策支持系统中相互关系的研究,认为数据仓库和OLAP之间,以及数据仓库和数据挖掘之间存在着单向支持的关系,提出了基于数据仓库的数据挖掘系统的原型框架设计;数据挖掘、OLAP存在着双向联系,即数据挖掘为OLAP提供一定的分析模式,OLAP可对数据挖掘的结果进行技术验证,并对数据挖掘给予一定的数据属性的提示.5.学位论文张春阳数据挖掘和数据仓库在入侵检测中的应用研究2003该文结合国家自然科学基金重大计划--面向大规模网络的分布式入侵检测和预警模型(90104030),针对数据仓库与数据挖掘在入侵检测中的应用进行了研究工作.在第一章和第二章该文分别介绍了以下内容:数据挖掘及其相关问题,包括数据挖掘的过程、方法、分类和应用等;数据仓库及其相关问题;入侵检测及其相关问题,包括系统模块、分类、入侵检测技术和相关产品介绍;最后综述介绍了入侵检测中的数据挖掘和数据仓库的研究现状.获得生成训练模型所需要的数据的代价过高,且难以自动完成,是数据挖掘在入侵检测中应用的主要障碍之一,第三章提出了解决该问题的一种方法.该文提于离群数据挖掘的异常检测模型(OutlierMiningbasedAnoma1yDetection,OMAD),OMAD模型使用离群数据挖掘方法,剔除数据集中的异常数据,自动地生成正常训练集,降低训练数据的生成代价,提高入侵检测系统的效率.第四章介绍基于数据仓库的联机分析系统的整体设计及具体实现过程,这是一种通用数据仓库系统,具有高效的数据处理、存储能力,支持联机分析的各种操作,提供图形化的分析界面.第六章设计并实现了一种基于数据挖掘的入侵检测系统模型—DMIDS模型(DataMiningbasedIntrusionDetectionSystemmodel).第七章是全文的总结，并提出了进一步的研究方向.6.期刊论文李海涛.LIHai-tao浅谈数据仓库与数据挖掘-井冈山医专学报2006,13(3)本文阐述了数据仓库和数据挖掘的概念以及数据仓库的体系结构组成,并介绍了数据挖掘产生的背景,数据挖掘的特点,数据仓库和数据挖掘的关系,同时还简要地介绍了关于数据仓库与数据挖掘在实际应用中面临的法律问题.7.学位论文何晓峰电力系统数据仓库构建及数据挖掘方法的研究2007当前，我国的电力行业信息化建设正在大力推进，并以共享与开发利用信息资源为重点。数据仓库是信息管理和分析型应用的有效平台，可以更有效地为分析决策支持系统服务，提高其系统的分析效率并增强处理复杂查询能力。数据挖掘技术是从大量数据中提取及挖掘隐藏、潜在和有用的知识和信息的方法，为决策分析提供知识和规律。数据仓库与数据挖掘技术的应用是目前实现电力企业各类信息资源共享与综合利用开发的重要途径。为此，本文针对电力系统数据仓库构建及数据挖掘方法进行了科学性地探索，主要研究工作及成果如下：1．在分析电力系统数据仓库需求、结构及特点的基础上，提出了一种增强型的电力系统数据仓库平台体系结构，该平台主要由信息一体化节点、实时数据处理中心、主动数据仓库和系统管理工具等组成，实现了从三个方面对数据仓库的增强：以自开发的通用ETL工具作为信息一体化节点，增强了数据抽取和转换能力；建立实时数据处理中心实现实时数据的缓冲与交换，增强了数据仓库的实时性能；采用基于事件触发的主动数据仓库技术增强了对突发事件捕获的能力，使电力系统数据仓库不仅支持长时间的战略决策，还支持短时间的战术决策，满足决策人员的不同需要。该数据仓库平台的性能在已投入海丰实际电网运行的自开发SCIiT2008电网调度自动化系统中得到了测试。增强型数据仓库平台有效地提高了信息资源的实时共享能力以及信息特征的挖掘与综合利用开发能力，实现了更好地支持分析决策系统。2．分析介绍了电力系统数据仓库设计步骤及主题确定。提出了一种通用的基于CIM的电力系统数据仓库维度建模方法，以及设计评估的5个基本标准，并以故障分析为实例介绍了模型及评估过程。提出了电力系统数据仓库变粒度存储策略，实现了在时间维上对数据集的滚动压缩，防止了数据随时间推移呈线性增长。电力负荷预测多维数据模型建立的实验表明：该策略节省了存储空间，提高了分析查询的响应速度。3．分析介绍了对电力系统数据仓库安全的基本概念及安全控制模型。基于系统安全工程能力成熟度模型(SSE-CMM)，提出了电力系统数据仓库安全评估的模糊综合评估模型及方法，其权重系统的确定采用了层次分析法(AHP)，并以算例进行了演算。分析了数据仓库质量的定义及数据错误的来源，提出了数据仓库数据质量评价指标体系。同样基于模糊综合评估方法，提出了实现电力系统数据仓库数据质量评估的模型和方法，也用算例进行了演算。4．提出了增强型分类数据挖掘方法--基于Adaboost方法的支持向量机分类算法。该方法引入了Adaboost，将弱分类器支持向量机提升为强分类性能的增强型支持向量机，大大提高了分类效果以及增强了分类的智能性和容错性。电网故障诊断的应用仿真研究表明：模型的分类能力大大提高，并具有很强的泛化能力。5．基于独立成份分析(ICA)与支持向量回归(SVR)提出了数据挖掘与预测整合方法。该方法利用了独立成份分析具有从未知来源的混合信号中分离出原始信号的能力，以挖掘隐藏在预测变量内的干扰；使用了支持向量回归构建预测模型；并采用了粒子群优化算法(PSO)对模型参数进行优化。在负荷预测中的应用研究表明：该方法的预测精度和速度优于直接使用SVR的预测方法。6．提出了一种粒子群优化算法(PSO)与模糊C均值算法(FCM)有机结合的粒子群优化模糊聚类算法。该算法用PSO优化过程代替FCM中基于梯度下降的迭代过程，充分利用PSO具有全局寻优、快速收敛的特点，