基于网格服务的动态多点文件下载系统研究

基于网格服务的动态多点文件下载系统研究赵志崑，中国科学院研究生院信息学院2004.10介绍FTP和HTTP下载方式的缺点：–大量客户端连结有限的服务器；–受服务器计算能力和网络带宽的限制。解决的方法：–更新硬件：提高服务器处理能力和网络带宽；–改进下载模型：采用P2P模型。模型分析将文件下载模型分为以下四类图1单点单线程(Singlepointsinglethread)服务器客户端客户端客户端客户端客户端图2单点多线程(Singlepointmulti-thread)服务器客户端客户端客户端客户端客户端图3静态多点(Staticmulti-point)服务器客户端客户端客户端客户端客户端服务器服务器图4动态多点(Dynamicmulti-point)服务器客户端客户端客户端客户端客户端单点单线程模型当客户端数量多时，每个客户端的下载速度与客户端数量成反比。图1单点单线程(Singlepointsinglethread)服务器客户端客户端客户端客户端客户端),,min(NHNSDv服务器的处理速度为H服务器的网络上行速度为S客户端的网络上行速度为U下行速度为D客户端的数量为N单点多线程模型当客户端数量多时，每个客户端的下载速度与客户端数量成反比。图2单点多线程(Singlepointmulti-thread)服务器客户端客户端客户端客户端客户端),,min(),,min(NHNSDNHTtSTtDNvv服务器的处理速度为H服务器的网络上行速度为S客户端的网络上行速度为U，下行速度为D客户端的数量为N服务器上线程总数为T分配给某个客户端的线程数量为t静态多点模型当客户端数量多时，每个客户端的下载速度与客户端数量成反比。图3静态多点(Staticmulti-point)服务器客户端客户端客户端客户端客户端服务器服务器),,min(NHNSDv服务器的处理速度为H服务器的网络上行速度为S客户端的网络上行速度为U下行速度为D客户端的数量为N动态多点模型当客户端数量多时，每个客户端的下载速度趋近于客户端的下行速度或上行速度。图4动态多点(Dynamicmulti-point)服务器客户端客户端客户端客户端客户端),,min(NHUNSUDv服务器的处理速度为H服务器的网络上行速度为S客户端的网络上行速度为U下行速度为D客户端的数量为N模型对比前三种模型的平均下载速度随客户端数量的增长而趋近于0。动态多点模型的平均下载速度不会随客户端数量的增长而趋近于0，而是趋近于客户端的上行速度。),,min(NHNSDv),,min(),,min(NHNSDNHTtSTtDNvv),,min(NHNSDv),,min(NHUNSUDv单点单线程单点多线程静态多点动态多点服务器的处理速度为H服务器的网络上行速度为S客户端的网络上行速度为U下行速度为D客户端的数量为N实现方式动态多点模型的要求：–主服务器上必须维护一个正在下载的客户端列表；–客户端既要能够下载还要能够作为服务器提供上载。实现方式：–插件：不易开发，而且在可靠性、安全性和通用性方面都存在问题。–网格服务：既能够创建多个服务实例，每个服务实例又能够为多个客户端提供连续的服务。在可靠性、安全性和通用性方面比插件和独立程序要好得多。系统实现图5基于网格服务的动态多点文件下载系统(Gridservicebaseddynamicmulti-pointfiledownloadsystem)DownloadServiceFactoryInstance1File1ClientListClient1Client2……Client1Client2……Instance2File2ClientListClient……Client……服务器端下载同一个文件的客户端共享一个服务实例。服务实例维护一个客户端列表，记录所有客户端的信息。–客户端每隔一段时间T会将自己的信息发送到服务实例，服务实例立即更新列表，并将最新的列表信息返回给客户端。–列表信息中包括客户端的IP地址、提供下载的端口、下载完成度和上行带宽利用率，按照上行带宽的利用率由低到高排列。服务实例的生存周期也是靠客户端维持的，客户端在发送自身信息的同时，会要求服务实例的生存周期延长T+D，以保证维持到下一次信息发送。MTBR上行带宽利用率为R时间段长度为T最近一个时间段内上载字节数为B最大上行速度为M客户端从服务实例获得文件信息和分块信息创建N个线程并发下载。–每个线程按顺序选择一个未下载的分块，–根据从服务器得到的客户端列表，选择一个上行带宽利用率低而且下载完成度刚好包含该块的客户端。–如无法下载，重新选择一个客户端。如果找不到能够提供下载的客户端，则从主服务器下载。提高客户端上行带宽–要提高整个系统的平均下载速度，需要提高客户端的上行带宽。–为了鼓励客户端提高上行带宽，需要一定的下载服务策略。当有多个下载方同时请求数据时，服务方优先选择为上行带宽高的下载方服务。总结这个系统在Win2000操作系统下，采用GlobusTools3.0网格开发环境实现。优点：–解决了服务器网络带宽和处理能力的限制问题。–采用网格服务来实现，具有网格服务的易实现、可靠性、安全性和通用性方面的优点。缺点：–服务器端需要配置Tomcat、Junit、GT3、Java等网格服务所需的环境；–客户端需要Java运行环境。本文工作得到中国科学院研究生院院长基金资助项目，编号yzjj200306。谢谢大家！