bd格的数据挖掘平台体系结构设计与实现

天津大学硕士学位论文基于网格的数据挖掘平台体系结构设计与实现姓名：冯继航申请学位级别：硕士专业：计算机应用技术指导教师：赵政20080501基于网格的数据挖掘平台体系结构设计与实现作者：冯继航学位授予单位：天津大学相似文献(10条)1.期刊论文王翼.徐六通.杨胜琦.WANGYi.XULiutong.YANGShengqiDMGrid:基于网格计算的数据挖掘系统-计算机科学与探索2010,4(2)数据挖掘工作面临一个问题:由于数据挖掘任务需要处理大规模数据,导致任务执行时间过长.网格计算的研究目标就是将分散的、异构的、闲置的计算机结合为一个高性能的计算机系统,因此可以利用网格系统提供的高性能计算能力来有效降低数据处理时间.提出并实现基于网格计算的数据挖掘系统--DMGrid.重点考虑了并行计算功能,同时考虑了网格计算资源的动态配置.和现存的数据挖掘网格不同的是,DMGrid提供了一个引擎来执行应用中设定的工作流,同时还提供了应用运行监控功能.最后在实验中通过设计两个应用程序(客户流失分析和客户价值分析),证明了DMGrid的可行性.2.会议论文江舞山.俞集辉网格计算环境下的分布式数据挖掘2006本文对网格计算环境下的分布式数据挖掘进行了研究。文章分析了现有的分布式数据挖掘系统的不足,提出了一种网格计算环境下的分布式数据挖掘的体系结构,讨论了在该体系结构下如何进行数据挖掘。3.学位论文陈平数据挖掘网格若干关键技术研究2007本论文的主旨是研究数据挖掘网格的架构及其若干关键技术，为数据挖掘网格系统的设计和实施提供参考。论文通过研究当前数据挖掘面临的挑战和网格计算技术的发展，展现了当前数据挖掘网格的研究现状和最新研究动态：着重研究了电信领域数据挖掘网格的热点问题、技术难度等方面，并对电信领域数据挖掘网格的若干亟待解决的关键技术进行了深入研究。本文中作者主要的研究和设计工作如下：◇综述了数据挖掘算法的研究现状和网格系统的发展状况；通过分析比较多个主要的网格架构和网格系统，给出了这些网格架构的特点和不足，指出数据挖掘网格的实施是解决当前电信领域数据分析和数据挖掘难题的主要方案。◇通过分析电信数据挖掘应用的需求，分析比较研究了网格系统的基本架构，尝试提出了数据挖掘网格的概念，并提出和设计了一种数据挖掘网格的体系结构，该系统结构依据分层思想，把数据挖掘网格的架构自上而下从对外接口层到基本资源层总共划分为六层，该架构能够提供从数据挖掘接口服务到数据挖掘的领域应用的支撑，能够支撑数据挖掘的分布计算，也能很好的支撑并行计算资源和数据的分配。文中从多个角度详细描述了数据挖掘网格的层次结构，体系特征，模块功能，动态特性，交互关系。◇提出了对三大类经典数据挖掘算法和基于图的数据挖掘算法的并行化算法，同时总结了挖掘算法并行化的通用方法；提出了网格调度算法来优化并行化任务的执行效率，并且对并行算法及其调度算法都进行了性能分析，这些研究为数据挖掘并行算法的基本实现提供了保障，也验证了数据挖掘网格的可行性和实用性。◇通过研究元数据模型的当前标准，发现现有元数据标准不能支持数据挖掘网格的元数据模型，因此提出适合数据挖掘网格需要的元数据模型：元数据模型提供了对于数据挖掘网格架构的各个层面的支撑，该元数据模型的核心是支撑了分布式数据挖掘的算法元数据和网格系统的元数据；为了规范化和利于计算机之间的信息交互，把元数据模型用XML，Schema进行了描述，并详细描述了一个实例。◇通过研究元数据服务的机制，根据元数据服务的应用需求，提出了利Web服务技术构建数据挖掘的元数据服务系统结构，并给出了一个典型的利用Web服务方式提供的数据挖掘元数据服务的实例。◇数据挖掘网格原型系统设计实现和验证。为了展现数据挖掘网格体系结构设计的正确性和可行性，设计实现了数据挖掘的一个原型；通过原型系统的运行，展示了数据挖掘网格的工作过程，并且通过具体的数据试验，验证了数据挖掘网格系统的可行性和高效性。4.期刊论文林东岱.师鸣若.申贵成.LINDong-dai.SHIMing-ruo.SHENGui-cheng一种宏观网络数据挖掘网格系统-计算机应用研究2008,25(8)研究宏观网络安全数据挖掘系统的目的是保护大型网络中关键网络基础设施的可用性、机密性和完整性.为此,首先提出了一种宏观网络数据挖掘的系统框架;然后分析了宏观网络挖掘子系统和态势分析子系统;最后利用网格计算技术实现了该平台,并给出了其运行环境.该系统具有可扩展性,能有效进行宏观网络的数据挖掘和实时势态感知.5.学位论文闫朝阳基于网格计算的文本挖掘系统研究2008近年来，随着互联网技术与企业信息处理技术的快速发展，文本数据数量正在飞速增长。如何有效地从这些海量的文本数据中找到经营决策所需要的信息越来越被人们所关注。将网格计算与数据挖掘相结合是当前国际上的一个热门研究课题，而如何将网格计算应用于文本挖掘系统则刚刚起步。本文主要针对基于网格计算的分布式海量文本分类系统进行了研究。首先分析比较三种传统的分类算法的性能及其适应环境，提出了基于词频、词长、词语的首现位置的综合权重算法来处理海量文本。其次，在该算法的基础上构建了基于桌面网格的海量文本分类挖掘系统以及基于网格的分布式文本数据仓库集成模型，用于存储文本数据挖掘的结果，便于数据的统计分析。最后，成功地将这些研究成果应用于电信CRM客户抱怨系统。本文设计并实现了相关的算法与系统，并对挖掘系统的有效性进行了分析。实验结果表明，本文算法及系统的挖掘结果是令人满意的，具有较好的性能和一定的实用价值。6.期刊论文李众.董海峰.王彬.LIZhong.DONGHai-Feng.WANGBin基于数据仓库和数据挖掘的人体信息传感/记录/诊断/预测微系统-四川大学学报（自然科学版）2009,46(1)在分析介绍了微机电系统(MicroElectroMechenicalSystem,MEMS)技术、人体传感器网络技术(BodySensorNetworks)、微型数据存储技术、数据仓库与挖掘技术、网格计算技术的基础上,提出了人体信息传感/记录/诊断/预测微系统(Humanbodysensing/recording/diagnostics/predictionmicrosystem,SRDP)的概念,其核心思想是利用MEMS技术、人体传感网络技术和数据存储技术对人体生理参数进行长期检测和记录,通过数据仓库、数据挖掘技术和网格计算技术对这些超量数据进行聚类、存储和分布式并行信息挖掘,实现对疾病发生累计机制的量化认知和对人体健康状况的实时判断和预测.7.期刊论文侯文国.傅秀芬.谢翠萍网格的数据挖掘-计算机应用研究2004,21(10)网格是网络计算、分布式计算和高性能计算技术研究的热点.随着科学计算领域中的数据剧烈增长以及未来网格计算环境下广域分布的海量数据共享成为现实,数据挖掘技术将在挖掘有效的信息、发现新的知识和规律发挥着重要的作用.结合网格的特点,概述了网格数据挖掘的特点和关键技术,重点讨论了网格数据挖掘的体系结构和基本过程,最后给出了基于OGSA的网格数据挖掘的例子.8.学位论文马学良基于网格计算的商务智能研究2006企业在生产经营中需要充分利用各种资源，企业的资源具备不同的特性，也可能是由不同的技术实现的，而且这些资源可能分布在不同的位置。“信息孤岛”是企业中普遍存在的现象。而网格计算作为一种整合资源的新手段将分布式资源，如软件、硬件、网络等资源整合在一起，实现资源的全面共享。随着网格技术的不断成熟，寻求网格计算在企业中的应用成为研究热点。商业智能通过利用客户、供应商以及内部业务操作的有关信息来提高商业性能。商务智能系统的最终目标是使用户能够消费大量有关数据，对其进行分析从而使企业有机会增加收入或者节省成本。本文研究网格环境下的商务智能的应用。数据网格提供了很多适合企业实际应用的功能，本文从企业对数据集成的需求出发，对以OGSA-DAI为重点的数据网格技术进行分析研究，然后使用数据网格的强大功能来丰富商务智能应用，最终对企业决策提供支持。本文重点研究了网格和商务智能的结合，提出了一个基于SOA的网格商务智能应用框架，并以数据挖掘工具weka和OGSA-DAI，GT4作为主要实现的技术，实现了网格上的数据挖掘流程。最后本文对进一步研究工作进行了探讨。9.期刊论文孙健.尹晓峰.陈光伟网格计算和信息共享-铁路计算机应用2004,13(4)从网格技术提出的背景和其优越性出发,分析其协议体系结构及其各个协议之间的关系.详细介绍目前最为流行的开放网格服务体系结构OGSA的实现环境和接口机制,并且以一个基于OGSA的数据挖掘应用例子说明在多级虚拟网络运行环境下,网格服务是如何解决在从多个信息源集成信息过程中的远程接口激活,生命周期管理,通知和授权等功能的实现问题.这也是广域网环境下大型分布式系统中普遍存在的技术难点.10.学位论文单鹏飞基于网格的商务智能服务平台2006商务智能是计算机在大型企业商务中应用的一个新兴的领域。商务智能的任务是使用各种人工智能算法(如聚类、关联规则、分类等)对企业的大量数据进行分析从而发现商务对象(如供应商、客户、产品等)的特征并挖掘相关的商务模式。使得企业可以获得更大的利润并增强企业的竞争力。一般商务智能过程包括几个阶段：ETL(抽取、转化和装载)，数据仓库，OLAP(联机在线分析处理)，数据挖掘和报表。差不多每一个过程都要涉及到大量的企业数据的处理和计算，使得整个商务智能过程具有高度的计算复杂度。数据挖掘与知识发现是商务智能过程中的一个重要阶段，其中各种机器学习算法被应用于转化后的结构化企业数据，从而可以发现直接从企业原有的数据中不是很清楚的一些有用的结果。由于商务智能通常需要处理的数据量很大而且非常耗时，一般需要高性能的硬件配置。计算资源的有效利用是在设计商务智能软件系统时要考虑的非常重要的一点。商务智能的研究和工业界的开发到现在已经超过10年的历史了。然而因为以上的困难，商务智能的真正应用价值直到最近才受到广泛认可。现有的商务智能软件往往功能过于单一，仅能完成具体的几个简单应用，无法解决一般性问题。同时，由于商务智能相关概念和流程过于专业，以至于一般用户很难操作。现有商务智能软件中存在的另外一个问题是这些软件往往过于专门针对具体的企业应用，为不同的企业就要开发不同的软件，导致了难以想象的软件开发困难。为了解决这些问题，我们设计并开发了一套基于网格计算技术的通用商务智能服务平台。我们的目标是构建一个为各种企业用户提供商务智能服务的通用的平台。通过构建这样一个平台向企业用户提供商务智能应用的原子服务。企业用户可以使用这些原子服务来构建上层应用级别的商务智能任务并分析该企业自己的数据。企业用户享受的是按需服务的体验，避免了购买传统商务智能软件中往往有一些功能并不需要的情况。此外，网格计算的架构提供整合底层的计算资源的工具，能够最大化资源利用率与系统计算能力。通过将具体的商务智能任务分解为基本的原子任务，可以在一个统一的商务智能框架内用一种标准化的开发过程实现各种商务智能任务；而传统的商务智能软件往往包含了大量的重复劳动。另一方面，采用这种平台架构可以很容易的构造服务器集群或添加内存等硬件配置来提升所有商务智能应用的整体性能。网格计算是分布式计算领域内的一个新兴的概念。主要用于为分布式计算提供了一个基础设施来集成可用的分布式计算资源并为用户使用这些资源提供按需服务。网格计算领域目前仍然处于不断探索阶段，并不是十分成熟。现有的网格计算应用中WebService是一项重要技术。我们的平台通过使用WebService技术来构建我们的商务智能服务。我们也在商务智能服务平台的上面开发了一个客户端样例应用软件。该应用软件通过调用商务智能平台提供的商务智能服务来实现具体的商务智能应用。样例应用软件基于一个ERP系统的数据库而构建。本文链接：授权使用：上海理工大学(shlgtsg)，授权号