基于数据仓库与数据挖掘的航空货运分析型CRM应用研究

中国海洋大学硕士学位论文基于数据仓库与数据挖掘的航空货运分析CRM应用研究姓名：迟晓明申请学位级别：硕士专业：管理科学与工程指导教师：张勤生20090601基于数据仓库与数据挖掘的航空货运分析CRM应用研究作者：迟晓明学位授予单位：中国海洋大学相似文献(10条)1.期刊论文王预.WANGYu数据仓库与数据挖掘的关系及其安全性问题-计算机技术与发展2008,18(5)数据仓库与数据挖掘是当今新的技术热点,数据仓库是一种解决数据使用的高效技术,数据挖掘为之提供了更好的决策支持和服务,同时促进了数据仓库技术的发展.从数据仓库的相关技术和体系结构分析展开研究,分析了数据挖掘与数据仓库的关系,重点阐述了数据仓库的安全性问题,展望了数据仓库未来的研究方向.数据仓库和数据挖掘二者既相互结合、共同发展,又相互影响、相互促进.数据仓库越来越广泛地运用到各个领域中,成为企业获得竞争优势的关键武器.2.学位论文李雯娟基于医学信息数据仓库的数据挖掘研究2009随着数据库技术的飞速发展，信息技术已渗透到包括医学在内的各种领域。很多大中型医院都相继建立了自己的医院信息系统（HIS），随着HIS的应用和不断发展，数据库中的数据量迅速膨胀，数据库规模逐渐扩大，复杂程度日益增加。但是尽管积累了大量的业务数据，真正能将这些数据的价值挖掘出来，并运用到医院的临床辅助诊断和日常管理决策中去的却很少。本课题针对这种现状，提出了建立基于HIS系统的医学信息数据仓库，在此基础上，对数据仓库中的医疗数据进行疾病监测、预测、医院管理辅助决策等方面的数据挖掘。为医务工作者、临床管理人员、科研人员提供辅助决策与综合分析的工具。本课题通过研究现有医院信息管理系统的结构和数据组成，利用前沿的数据仓库技术，根据实际需求，从医院海量信息数据库中分析、提取、确立主题，进行有效地数据组织，来构建数据仓库模型。在进行数据清理和数据转换后，实现对数据仓库的数据装载。对创建好的数据仓库可以进行SQL查询、报表统计、OLAP数据分析及数据挖掘等方面的应用，来有效地服务于医院的全方位管理决策。本课题主要进行了以下研究：1.通过对源数据库中的数据进行大量数据分析和数据预处理工作，提取出构建数据仓库的主题。采用了微软最新推出的MicrosoftSQLServer2008企业级的数据仓库平台构建基于HIS的医学信息数据仓库，SQLServer2008建立在SQLServer2005的基础之上，进一步对各项服务进行改进，是一个完整的数据管理与商业智能平台，在性能和可扩展性方面排在世界领先的地位。2.运用SQLServer2008的集成环境BusinessIntelligenceDevelopmentStudio创建和使用基于医学信息数据仓库的数据挖掘模型。该环境包括数据挖掘算法和工具，使用这些算法和工具更易于生成用于各种项目的综合解决方案。3.介绍了几种经典的数据挖掘算法，并运用SQLServer2008中AnalysisServices数据挖掘组件提供的算法实现从多层次、多角度对医学信息数据仓库中门诊部和住院部信息进行数据挖掘和分析。探讨了在疾病监测控制、疾病预测、医院管理辅助决策等方面的数据挖掘应用。3.期刊论文数据仓库、OLAP、数据挖掘之间的关系-包钢科技2005,31(5)通过对数据仓库、联机分析处理(OLAP)、数据挖掘技术在决策支持系统中相互关系的研究,认为数据仓库和OLAP之间,以及数据仓库和数据挖掘之间存在着单向支持的关系,提出了基于数据仓库的数据挖掘系统的原型框架设计;数据挖掘、OLAP存在着双向联系,即数据挖掘为OLAP提供一定的分析模式,OLAP可对数据挖掘的结果进行技术验证,并对数据挖掘给予一定的数据属性的提示.4.学位论文胡燮数据挖掘和数据仓库技术在个人信用系统中的应用2009信用是一种建立在信任基础上的能力，不用立即付款就可获取资金、物资、服务的能力。信用问题是关系到我国市场经济健康有序发展的重大问题。也是影响我国消费信贷的主要瓶颈。在当前我国市场经济体制仍不发达的初期，个人和其他经济主体的失信行为广泛发生和蔓延，严重影响了社会信用交易的健康发展。br　　随着个人信用信息数据量的增多以及对数据分析需求的加大，构建个人信用信息数据仓库，利用多维数据分析和数据挖掘等技术，开发信用评估等增值产品对降低信贷风险、稳定金融秩序和促进经济增长有着重大作用。通过规范、安全、高效的服务流程对外提供个人信用服务，可以帮助各信用行业、政府机关、金融机构等更好的开展信用服务或信用监管，从而促进我国个人信用活动的健康、规范、有序的发展，协助防范信用风险，促进经济发展和推动经济社会和谐进步。本论文试图对数据挖掘和数据仓库技术在个人信用系统中的应用做研究，构建多维信用系统数据仓库与信用评估模型并实现相关算法。br　　基于数据仓库的数据挖掘工作：首先，简化数据挖掘过程中的一些重要步骤，在保证数据挖掘能力的前提下提高数据挖掘的效率，同时也保证了数据挖掘中数据来源的广泛性和完整性。并且，数据挖掘和数据仓库的发展是融合与互动的，有着令人振奋的学术研究价值和应用研究前景。它使得无数的商业信息数据库中杂乱无章的零散数据变成了能提供极有经济价值市场信息的宝藏，值得数据挖掘专家、数据仓库技术人员和行业专家共同努力。br　　由数据仓库、仓库管理和分析工具3部分组成的个人信用系统数据仓库能够为用户提供辅助决策的综合信用信息以及随时变化的分析信息。数据仓库的数据来源于多个异构数据源，包括各商业银行上报的银行卡和个人消费信贷数据，以及司法、税务、社保等其他社会机构提供的有关信用的数据，源数据可以是关系数据库、数据文件或其他数据形式。仓库管理包括数据建模、数据抽取/转换/装载、和系统管理3部分内容。数据仓库包括综合数据、当前数据和历史数据3类。分析工具包括查询工具、多维数据分析(OLAP)工具、数据挖掘(DM)工具和客户/服务器工具(C/S)等。br　　本文在分析信用信息系统的基础上，提出了信用系统数据仓库的构建方案，对个人信用业务的基本信息进行描述，建立了基本的数据概念模型，给出了部署和具体实施方案。以及数据库表的分析与数据流图；在数据处理方面，引入了ETL的概念，选择合理的ETL工具来处理信用系统的数据，并给出处理的范例；然后创建了信用系统的数据挖掘模型，采取具体的挖掘方法：Logistic回归分析信用评分模型和决策树的客户细分模型两种。Logistic回归模型可以将被征信人的各种信用因素综合起来用数学模型的方法得出此人发生不良信用行为的概率，决策树则是用人工智能的方法将被征信人群分类，综合两种分析方法的信用评估结果，则得出被征信人的信用信息；最后本文给出构建决策树的部分代码。5.期刊论文李海涛.LIHai-tao浅谈数据仓库与数据挖掘-井冈山医专学报2006,13(3)本文阐述了数据仓库和数据挖掘的概念以及数据仓库的体系结构组成,并介绍了数据挖掘产生的背景,数据挖掘的特点,数据仓库和数据挖掘的关系,同时还简要地介绍了关于数据仓库与数据挖掘在实际应用中面临的法律问题.6.学位论文张春阳数据挖掘和数据仓库在入侵检测中的应用研究2003该文结合国家自然科学基金重大计划--面向大规模网络的分布式入侵检测和预警模型(90104030),针对数据仓库与数据挖掘在入侵检测中的应用进行了研究工作.在第一章和第二章该文分别介绍了以下内容:数据挖掘及其相关问题,包括数据挖掘的过程、方法、分类和应用等;数据仓库及其相关问题;入侵检测及其相关问题,包括系统模块、分类、入侵检测技术和相关产品介绍;最后综述介绍了入侵检测中的数据挖掘和数据仓库的研究现状.获得生成训练模型所需要的数据的代价过高,且难以自动完成,是数据挖掘在入侵检测中应用的主要障碍之一,第三章提出了解决该问题的一种方法.该文提于离群数据挖掘的异常检测模型(OutlierMiningbasedAnoma1yDetection,OMAD),OMAD模型使用离群数据挖掘方法,剔除数据集中的异常数据,自动地生成正常训练集,降低训练数据的生成代价,提高入侵检测系统的效率.第四章介绍基于数据仓库的联机分析系统的整体设计及具体实现过程,这是一种通用数据仓库系统,具有高效的数据处理、存储能力,支持联机分析的各种操作,提供图形化的分析界面.第六章设计并实现了一种基于数据挖掘的入侵检测系统模型—DMIDS模型(DataMiningbasedIntrusionDetectionSystemmodel).第七章是全文的总结，并提出了进一步的研究方向.7.期刊论文蒋良孝.蔡之华基于数据仓库的数据挖掘研究-计算技术与自动化2003,22(3)结合当前数据仓库和数据挖掘的发展,本文探讨了数据仓库和数据挖掘结合的必然性;提出了基于数据仓库的数据挖掘的体系结构;综述了基于数据仓库的数据挖掘的主要特征和典型应用.8.学位论文何晓峰电力系统数据仓库构建及数据挖掘方法的研究2007当前，我国的电力行业信息化建设正在大力推进，并以共享与开发利用信息资源为重点。数据仓库是信息管理和分析型应用的有效平台，可以更有效地为分析决策支持系统服务，提高其系统的分析效率并增强处理复杂查询能力。数据挖掘技术是从大量数据中提取及挖掘隐藏、潜在和有用的知识和信息的方法，为决策分析提供知识和规律。数据仓库与数据挖掘技术的应用是目前实现电力企业各类信息资源共享与综合利用开发的重要途径。为此，本文针对电力系统数据仓库构建及数据挖掘方法进行了科学性地探索，主要研究工作及成果如下：1．在分析电力系统数据仓库需求、结构及特点的基础上，提出了一种增强型的电力系统数据仓库平台体系结构，该平台主要由信息一体化节点、实时数据处理中心、主动数据仓库和系统管理工具等组成，实现了从三个方面对数据仓库的增强：以自开发的通用ETL工具作为信息一体化节点，增强了数据抽取和转换能力；建立实时数据处理中心实现实时数据的缓冲与交换，增强了数据仓库的实时性能；采用基于事件触发的主动数据仓库技术增强了对突发事件捕获的能力，使电力系统数据仓库不仅支持长时间的战略决策，还支持短时间的战术决策，满足决策人员的不同需要。该数据仓库平台的性能在已投入海丰实际电网运行的自开发SCIiT2008电网调度自动化系统中得到了测试。增强型数据仓库平台有效地提高了信息资源的实时共享能力以及信息特征的挖掘与综合利用开发能力，实现了更好地支持分析决策系统。2．分析介绍了电力系统数据仓库设计步骤及主题确定。提出了一种通用的基于CIM的电力系统数据仓库维度建模方法，以及设计评估的5个基本标准，并以故障分析为实例介绍了模型及评估过程。提出了电力系统数据仓库变粒度存储策略，实现了在时间维上对数据集的滚动压缩，防止了数据随时间推移呈线性增长。电力负荷预测多维数据模型建立的实验表明：该策略节省了存储空间，提高了分析查询的响应速度。3．分析介绍了对电力系统数据仓库安全的基本概念及安全控制模型。基于系统安全工程能力成熟度模型(SSE-CMM)，提出了电力系统数据仓库安全评估的模糊综合评估模型及方法，其权重系统的确定采用了层次分析法(AHP)，并以算例进行了演算。分析了数据仓库质量的定义及数据错误的来源，提出了数据仓库数据质量评价指标体系。同样基于模糊综合评估方法，提出了实现电力系统数据仓库数据质量评估的模型和方法，也用算例进行了演算。4．提出了增强型分类数据挖掘方法--基于Adaboost方法的支持向量机分类算法。该方法引入了Adaboost，将弱分类器支持向量机提升为强分类性能的增强型支持向量机，大大提高了分类效果以及增强了分类的智能性和容错性。电网故障诊断的应用仿真研究表明：模型的分类能力大大提高，并具有很强的泛化能力。5．基于独立成份分析(ICA)与支持向量回归(SVR)提出了数据挖掘与预测整合方法。该方法利用了独立成份分析具有从未知来源的混合信号中分离出原始信号的能力，以挖掘隐藏在预测变量内的干扰；使用了支持向量回归构建预测模型；并采用了粒子群优化算法(PSO)对模型参数进行优化。在负荷预测中