连锁店集群系统的设计与应用

中山大学硕士学位论文连锁店集群系统的设计与应用姓名：钟肖英申请学位级别：硕士专业：电子与通信工程指导教师：彭自成20070610连锁店集群系统的设计与应用作者：钟肖英学位授予单位：中山大学相似文献(10条)1.学位论文班桦基于集群系统的并行地震数据挖掘中间层PDMM的研究与实现2005本文旨在研究集群式高性能并行运算环境下，数据及其运算的分布性和并行性规律，并针对地震数据的特点，建立高效的地震数据并行挖掘中间层PDMM(ParallelDataMiningMiddleware)，达到简化并行数据挖掘程序的开发、有效地支持地震数据预处理和提高地震数据挖掘并行算法运行效率的目的。本文首先分析并总结了数据挖掘的发展现状及其各种挖掘方法的特点，特别是并行数据挖掘和并行计算的研究进展。之后，探讨了高性能计算机中的集群式并行计算机的工作模式，特别是在集群式并行计算机中广泛使用的环境平台MPI(MessagePassingInterface)的工作方式，以及MPI的并行I/O工作特点等。接着，根据地震数据的特点，结合并行数据挖掘和并行计算的工作特性，重点研究并实现了一个基于集群系统的地震数据并行挖掘中间层PDMM，利用MPI来支持传统的数据分布式存储，并提出适合数据挖掘的基于边界浮动的负载平衡技术，构建了加入压缩概念的可检索网络缓冲环境。最后，通过实验测试了中间层的工作效率，给出了测试结果，并对下一步的工作重点提出了展望。2.期刊论文李红.LIHong基于集群系统的并行关联规则挖掘策略-合肥工业大学学报（自然科学版）2007,30(3)文章在分析已有并行关联规则挖掘算法的基础上,讨论了多处理器系统中影响并行关联规则挖掘算法性能的主要问题.提出了多数据源在集群系统中的分布策略、在集群系统中进行并行关联规则挖掘的过程与策略、挖掘过程中并行计算的模型与方法以及规则的合并机制.3.期刊论文周秀梅基于Web数据挖掘的专业化信息检索系统研究-网络安全技术与应用2009,(8)本文利用集群系统、XML等技术对海量的信息资源进行了有效的组织和管理,设计了一个基于数据挖掘的专业化的Web信息检索系统,它能提高搜索引擎检索信息查准率和查全率,改善检索结果的组织,增强检索用户的模式研究从而使得检索效率得到改善.4.学位论文刘静基于数据挖掘的Web集群系统QoS的控制机制2006Internet的快速增长，特别是电子商务应用的发展，使Web应用成为目前最重要、最广泛的应用。网上信息交换量几乎呈指数增长，需要更高性能的Web服务器提供更多用户的Web服务，因此，Web服务器面临着访问量急剧增加的压力，对其处理能力、响应能力等带来更高的要求，如果Web服务器无法满足大量Web访问服务，将无法为用户提供稳定、良好的网络应用服务。由于客观存在的服务器物理内存、CPU处理速度和操作系统等方面的影响因素，当大量突发的数据到达时，Web服务器无法完全及时处理所有的请求而造成应答滞后、请求丢失等现象，严重时导致一些数据包因延时而重发，使传输线路和服务器的负担再次增加。以前传统的方法是提高Web服务器的CPU处理速度和增加内存容量等硬件办法，但无论如何增加Web服务器硬件性能，均无法满足日益增加的对用户的访问服务能力。因此，面对日渐增加的Web访问服务要求，必须按照一定策略将Web访问服务分配到多台服务器上，请求处理过程对用户透明，整体上对外如同一台Web服务器为用户提供Web服务。本文从理论和实践两个方面，针对单个Web服务器、局域Web服务器集群这样的体系结构，深入地分析了Web集群系统的QoS控制的模型、策略和性能分析技术。总体来说，本论文主要进行了如下研究：1、将Web服务器进程调度中所使用的HTTP请求的内容和优先级与Web服务器集群的负载均衡策略相结合，对基于请求内容和优先级的前端请求分配器的三层Web服务器的QoS控制体系结构进行了深入地分析。2、在基于前端请求分配器的三层Web服务器的QoS控制体系结构及多队列管理模式下，提出了用数据挖掘方式分析请求的方法，并提出了一种改进后的动态负载均衡调度算法，同时对性能分析所使用的性能评价指标进行描述，然后通过实例的数值结果展示了此方法的可行性。3、最后进行总结，并讨论进一步的研究工作。5.学位论文朱映辉集群环境下并行BIRCH算法的研究与实践2005高性能计算技术在全世界范围内受到了高度重视，在众多高新科技领域中的应用都取得了巨大的成就。集群系统的出现更给高性能计算的研究增添了一个极具吸引力的生力军，它以无可替代的优势和可深挖掘的潜在性能，成为了当前并行处理的热点和主流。BIRCH是数据挖掘领域中层次聚类的经典算法之一，它特别适合于大数据集，单遍的扫描数据集就可以产生较好的聚类。然而，随着其应用范围的日益广泛，有些问题需要处理的数据量非常之大，有些则要求有极快的运行速度，目前的计算速度达不到实际要求。基于此，本文对如何在集群系统中采用BIRCH进行快速聚类以及如何取得更好的聚类结果进行了深入的研究和分析。首先，本文对BIRCH算法进行了深入研究，编写了其串行算法，针对算法中存在的局限性，提出了CF-树中不同的簇应使用不同阀值的思想，极好地改善了对体积相差悬殊的簇不能很好聚类的不足。随后，搭建了基于Windows和MPI、Linux和MPI的两个集群系统。在此基础上，以主从模式作为并行程序的模型，对BIRCH的并行化进行了重点分析和研究，并提出了一些创新：认为在集群环境下，BIRCH算法的并行化应采用数据并行的思想；为达到计算与通信的最大重叠，各从节点之间应该选用增量递增的非均匀数据划分策略；从该思想出发推导出各节点的基本数据区块的计算公式；并利用该公式对原有的数据选段方式进行了改进；此外，给出了提高聚类质量的方案。其次，本文利用自建的两个实验平台，对并行算法进行了测试，比较了串行与并行BIRCH算法之间以及在不同平台之间的运算时耗的差异。根据理论研究和实际测试结果，表明利用集群系统进行BIRCH并行聚类能有效地提高效率是可行的，并得出Linux集群的性能较优。本文的研究结果对聚类算法在相关领域的实际应用有着一定的参考价值。6.期刊论文胡浩民.马德云.HUHaomin.MADeyun基于数据并行的神经网络预测模型-计算机工程2005,31(11)分析了数据挖掘领域面临的性能问题(主要包括算法的有效性、可伸缩性和并行性);根据数据并行的思想,提出了在时序预测中并行训练神经网络的模型,以提高训练速度.这一模型具有良好的可扩展性,能适应大训练集的情况,是一种粗粒度的并行,且易于在集群系统这样的并行环境下进行数据挖掘.同时,描述了相关算法,并对训练速度进行了测试.7.学位论文梁红基于网格和密度的并行聚类算法的研究与实现2006聚类是数据挖掘领域中的一个重要研究课题。随着聚类分析对象数据集规模的急剧增大，改进已有的算法以获得满意的效率受到越来越多的重视。其中对现有算法的并行化是针对海量、高维数据的一种有效改进方法。通过对国内外研究现状以及聚类和并行计算相关技术进行调研，本文着重对现有并行聚类算法进行了研究，并对其并行化改进方法进行了分析和比较。在此基础上，详细介绍了一种较好的、适合并行化改进的聚类算法——基于网格和密度的聚类算法。小波聚类是一种基于网格和密度的聚类算法，它满足一个好的聚类算法的很多要求，且求解思想优于一般意义上的基于网格和密度的聚类算法。结合小波聚类的自身特点，详细介绍了并行小波聚类算法的设计方法、设计模式以及实现步骤。针对当前并行程序实现技术是并行计算的关键这一研究热点，特别在并行程序实现技术方面进行了有益的尝试和研究。首先学习和研究了集群环境下MPI并行编程机制；进而结合小波聚类的自身特点，主要以减少集群系统中并行处理的通信次数和通信数据量为目的，分别对问题的并行化划分方式，集群环境下节点间的通信策略，以及实现过程中数据网格的划分方式等方面进行了研究。改进后的并行小波聚类算法及并行程序实现技术在曙光TC1700集群系统上进行了仿真试验。实验结果验证了，在MPI并行编程环境下我们对小波聚类算法的并行化改进是可行的、有效的。另外，本文的研究是建立在PC集群实验环境之上的，其理论和实践Ⅰ对日后在更大规模、更复杂的集群系统上进行应用研究也具有一定的指导意义。8.期刊论文刘安丰.陈志刚.曾志文.曾碧卿基于数据挖掘的Web集群负载均衡算法-计算机工程与应用2003,39(25)针对目前web集群的研究现状,从数据挖掘的角度提出一种web集群的负载均衡方法,它首先基于事务对web集群的访问进行文档聚类,形成一些聚类数据.将这些聚类按时间序列预测其负载强度,然后,用NSPP算法动态分配到集群系统各真实服务器上,使整个系统负载均衡.实验与分析结果表明了该方法的有效性.9.学位论文宋伟关联规则并行算法的研究与分析2006随着信息技术的迅猛发展，要从日益庞大和复杂的数据中发现有价值的信息和知识，达到为决策服务的目的，已成为非常艰巨的任务。数据挖掘技术在此背景下应运而生。关联规则挖掘是数据挖掘中的一个重要分支，也是目前应用最广泛的一种数据挖掘类型。目前传统的关联规则挖掘技术大多采用串行算法，随着数据库规模的增大以及分布式数据库的发展，研究并行算法以更好地适应实际需求逐渐成为人们所关注的目标。本文在探讨数据挖掘的基本知识的基础上，对各种传统的串行算法进行对比分析，总结它们的优缺点，说明进行并行挖掘关联规则的必要性；结合集群系统特点，介绍了并行体系结构，探讨了并行编程模式及方法。并行关联规则的代表算法各有特点，论文对算法的基本思想进行了介绍，并对比分析了不同算法的性能特点。并行算法对大型数据库的处理明显优于串行算法，但是，现在的并行算法仍然有许多不完善的地方，存在一些需要解决的问题。并行算法对并行机的依赖性很强，在一台并行机上有效的算法在别的不同结构的并行机上可能效果并不好，现有的算法并不完全适合集群系统。在集群环境下，设计并行算法时，为尽可能减少通信量，应采用数据并行的思想。论文结合集群特点,提出了在集群环境下采取基于主从(Master/Slave)模式的数据并行策略来并行挖掘关联规则，并对性能进行了分析。10.学位论文陈雪淋基于Ubuntu的MPICH2并行集群系统的构建及并行算法研究2008高性能计算是世界各国竞相发展的高科技技术,而集群系统是高性能计算技术的主流方向。人类对计算机性能的要求是无穷无尽的,在诸如网上电子商务,预测模型的模拟,DNA计算,数据挖掘与分析,工程自动化等领域中都对计算提出了极高的要求。对这些复杂的应用问题,由于数据量的巨大,一般计算机用传统的计算方法往往是不够的,正是这些重大的应用需求推动着并行计算技术的发展。本文结合了当前受到极大关注的一种Linux系统Ubuntu和MPI库的实现MPICH2,构建了基于Ubuntu的MPICH2并行计算集群系统,使用基准测试程序EuroBench对系统进行测试,并与另一系统测试结果进行比较。由于并行程序的性能评估与测试要复杂得多,需要加上专业的知识才能真正地对一个程序或系统进行客观、公正的综合评价。本文还设计并实现一个适用程序员自己使用的,可以对程序执行的具体条件进行配置并收集各项测试结果,分析、统计测试数据,然后生成统计数据文件,并通过读取统计数据文件,生成各种图表,根据任务描述文件以及图表等生成LaTeX文档,进而生成ps/pdf文档的系统。经过测试,本文所构建的系统具有良好的稳定性,还具体良好的通信和并行计算性能。基于所构建的系统,文章对并行算法进行了一定的研究,在并行计算的消息传递编程中,由于处理器间的通信将花费大量的时间,因此减少通信开销变得非常关键。基于这一点,注意到网络传输中存在大量小消息的特点,本文采用数据合并的思想,对减少弦振荡问题并行程序设计通信开销的方案进行讨论,推导出一个使性能达到最佳的公式,利用自动测试系统对其进行了实验,得出的实验结果表明合并根据公式计算出来的数据量能够最大限度地减少并行程序的通信开销,对于类似的问题也可以使用相同