基于分布式多计算机的网络服务器技术的探索

基于并行计算机的网络服务器技术的探索陈东锋2002.4.26服务器技术•基于Internet的服务型应用需要高性能的硬件平台作为支持•并行处理技术在高性能计算领域中，已经取得了巨大的成功•将并行技术应用在服务器领域中，是计算机发展的必然趋势•高可用和高性能是服务器发展的两个重要方向高性能计算与高性能服务高性能计算高性能服务单个任务规模较大单个任务规模较小少量批处理提交作业大量并发请求服务每个任务由多个结点协同完成每个请求由一个或少数几个结点进行服务完成一个并行任务的各个子任务有较强的相关性服务不同请求的进程之间有相对的独立性要求较强的计算和通信能力要求较强的I/O吞吐能力计算过程系统负载相对平稳具有很大的波动性和突发性要求每次作业可靠完成要求724小时的可用性服务器的种类•大型主机：IBMS/390–具有较强的处理能力，但是专用设计的价格昂贵•对称多处理机（SMP）：SunUltraE10000–适用于中小规模的信息服务系统，受其结构的影响扩展性较差，单台SMP机器无法满足日益增长的信息服务需求•大规模并行处理机（MPP）：IBMSP2–强大的计算能力和快速的通信系统，但是价格不菲，性能价格比不好•机群系统（COWorNOW）：清华同方108–将多台独立的计算机通过高速网络连接起来，提供高性能的服务，良好的扩展性和可用性，较高的性能价格比服务器的发展趋势•传统的终端/主机模式–终端功能简单，无需维护工作，在主机一端进行专门的管理与维护。但是，主机造价昂贵，终端没有处理能力•客户机/服务机模式–该模式推进了计算产业的标准化和开发化的发展–分布式的网络模型为系统提供了相当大的灵活性，但是随着分布系统规模的规模扩大，系统的维护和管理带来了巨大的开销服务器的发展趋势（续）•服务器机群系统–在机群系统中，服务器不再分布在各处，而是集中在一起统一进行管理和维护。–它保持了分布式客户机/服务器模式的开发性、可扩展性的优点，同时又具备了终端/主机模式的资源共享和集中易于管理的优点–相对集中的机群系统，降低了系统管理的成本，而且还提供了和大型服务器系统可比拟的服务能力–SMP机群系统是服务器发展的一个重要方向机群服务器的优势•良好的扩展性–在机群系统中可以动态地加入新的服务器和删除需要淘汰的服务器，从而能够最大限度地扩展系统以满足不断增长的应用的需要•可用性好–可用性是服务型应用中最重要的因素，是评价和衡量系统的一个重要指标–能够为用户提供不间断的服务，由于系统中包括了多个结点，当一个结点出现故障的时候，整个系统仍然能够继续为用户提供服务机群服务器的优势（续）•性能价格比–和传统的大型主机和MPP机器相比，具有很大的价格优势，而且具有相当的性能•资源可充分利用–机群服务器的每个结点都是相对独立的机器，当这些机器不提供服务或者不需要使用的时候，仍然能够被充分利用。而大型主机上更新下来的配件就难以被重新利用了。高性能服务器技术单一系统映像单一系统映像是建立在计算机软件和硬件之上，使得系统中的多台计算机看起来就如同一台通常的计算机的抽象表示可扩展性良好可扩展性为应付服务中的突发性事件提供了机遇，比如Web服务中出现访问高峰，系统能够很快地加入新结点以提高整个系统的能力可扩展性与单一系统映像应用——Internet服务•Web服务器机群系统已经成为目前诸多网站的主流平台•Email服务器，FTP服务器等的机群系统也广泛地应用在Internet中•机群系统适应Internet的访问量大，请求突发性强的特点，能够提供可靠的、高效的事务处理能力海量信息存储•使用机群系统进行数据的存储和管理•对于存储的数据在不同的机群结点上进行复制，从而提高了数据的可靠性•硬盘容量的不断增长，价格则不断下降，从而每个机群结点的存储容量可以到达几百G，甚至可以到达T级。使用机群系统，可以构建几十到几百T的海量存储系统•采用多级的存储结构，如可靠内存、磁盘缓存，以提高海量信息存储的性能数字图书馆•Web服务器机群系统为数字图书馆提供了Internet的访问界面•基于机群结构的海量存储系统，为数字图书馆的数据提供了高性能、高可用的空间•基于机群结构的高性能计算机可以为数字图书馆的数据提供并行处理，如并行的汉字识别，图像处理和压缩，文件索引等•采用机群服务器来进行相关的用户管理和文档管理服务电子商务平台•高性能的Web机群服务器，发布商务信息，构成了信息发布平台•高性能的数据库服务器，存储交易和商品信息，构成了电子交易平台机群系统——清华同方探索108的硬件平台P-IIICPU内存网卡交换机P-IIICPU网络8个结点（双PIII处理器）高速交换网络并行Web服务器的硬件组成路由器FTPBBSInternet请求分配器•基于直接拨号上站的BBS•完全基于WEB，通过CGI实现的BBS站•基于TCP/IP，通过远程登陆的BBS传统的BBS网络拓扑图BBS服务器（server）客户端（client）新型SVM(SharedVirtualMemory,虚拟共享存储)•所有的处理机可以共由SVM系统提供的统一地址空间，从程序员的角度来看，任何处理机可以访问整个地址空间的任何变量而无需考虑该变量位于哪个处理机上•每个处理机都有一个SVM层，这个SVM层不仅要负责本地存储器与虚拟共享地址空间的映射，而且还要在本机发生共享数据不命中时，到远地所需数据取回，并及时维护整个地址空间的一致性一个简单的SVM系统P1P2PnLocalMemorySVMLayerLocalMemorySVMLayerLocalMemorySVMLayerSharedVirtualMemory可能的方案•负载调度将进程分配到各个节点，类似机群•将进程映像分配到各个节点，达到负载平衡新的网络拓扑图•返回BBS服务器客户端(client)ThankYou