您好,欢迎访问三七文档
当前位置:首页 > 商业/管理/HR > 企业文化 > 硕士论文-环境监测中的数据流处理技术研究与实现
国防科学技术大学硕士学位论文环境监测中的数据流处理技术研究与实现姓名:李琳申请学位级别:硕士专业:信息与通信工程指导教师:陈宏盛20071101环境监测中的数据流处理技术研究与实现作者:李琳学位授予单位:国防科学技术大学相似文献(1条)1.学位论文欧阳琳分布式数据流处理系统动态负载管理研究2009近年来,网络路由、入侵检测、传感器网络、股票分析、交通管理、移动通信、环境监测、健康状况监控、基于RFID的物品跟踪、电子商务交易信息以及数字化战场等应用领域的数据不断增长,给传统的数据处理技术带来了极大的挑战。这类应用具有数据量巨大、数据持续不断地到达且没有边界、具有一定的实时性以及数据具有时效性等特点,传统的数据处理方式已经难以适应这类应用的需要。近年来出现的数据流管理技术,为这一类应用提供了一条很好的途径,这一研究领域得到了研究工作者的密切关注。负载管理是保证数据流处理系统正常运行,提高数据流处理系统性能的关键技术之一。现有的数据流处理系统存在扩展性不强、适应面狭窄等问题,难以适应分布式数据流处理的需要。本文对数据流处理系统的基本结构、工作原理、实现方法以及系统特点等进行了讨论,针对单位时间内输入系统的数据元组变化引起的系统过载问题,探讨了数据流处理系统负载管理模型的构建方法,并对负载平衡、负载丢弃以及分布式多数据流的连接操作等关键技术进行了深入地研究。主要工作和研究成果如下:(1)提出了一种基于Chord扩展的层次型重叠网络vRing,通过对Chord进行扩展,充分利用网络的接近性构造vRing,从而形成一个分层的重叠网络,为系统的负载平衡提供一个合适的底层网络。在vRing的基础上,提出了一种分层的分布式动态数据流负载平衡算法vDDSLB。当某个节点超载时,负载平衡算法先在位于同一子域的节点间进行负载的迁移;当同一子域中的负载平衡仍不能满足需要时,再选择在整个系统范围内进行负载平衡。绝大部分的负载迁移活动都位于相应的子域内,减少了数据延迟和系统开销。(2)提出了一种基于线性规划的分布式负载丢弃算法LPBDLS。目前的负载丢弃算法主要侧重于单个节点内部的处理,对于节点间的负载丢弃研究较少,本文提出的LPBDLS算法是一种分布式的负载丢弃算法,除了考虑CPU约束外,还将网络连接做为一个重要约束条件,提高了网络连接受限情况下的系统吞吐量。(3)提出了一种多数据流分布式连接查询算法DMS-Join。由于数据流系统天然的分布性,将连接操作分布处理比集中式处理更适合多数据流系统的特点,在分布式环境下,网络传输带宽是一定的,本文提出的算法,在网络传输约束条件下,能够有效地完成多数据流的分布式连接操作问题。(4)提出了一个基于vRing的动态分布式负载管理系统框架。该系统框架建立在Chord重叠网络的扩展vRing的基础之上,利用vRing的网络接近性和其分层的特性,设计了一个分层的动态分布式负载管理系统框架。本文对负载管理技术的研究,为有效应对分布式数据流系统的负载问题提供了理论支持和应用借鉴,对进一步提高数据流系统性能以及更加深入的应用研究具有重要的意义。本文链接:授权使用:上海海事大学(wflshyxy),授权号:cfec10fc-7a40-4e60-ac7d-9dfa0137cd7b下载时间:2010年9月23日
本文标题:硕士论文-环境监测中的数据流处理技术研究与实现
链接地址:https://www.777doc.com/doc-920907 .html