GPU-HPC集群方案

XXXX大学XXXX系统仿真平台建设方案XXXX科技有限公司2016.22目录第一章概述...............................................................................31.1高性能计算环境发展的趋势......................................................................................................31.1.1更高、更全面的性能要求..................................................................................................31.1.2向通用化方向发展..............................................................................................................41.1.3更加严格的预算约束..........................................................................................................41.1.4使用商品化部件..................................................................................................................51.2高性能计算应用的特点..............................................................................................................51.3高性能计算主机性能评价体系..................................................................................................6第二章设计方案.......................................................................72.1系统设计原则................................................................................................................................72.2总体方案结构................................................................................................................................82.3计算服务器方案...........................................................................................................................92.3.1GPU计算节点服务器型号及配置.....................................................................................102.3.2基于KEPLER的nvidia芯片GPU加速技术....................................................................112.3.3高性能计算环境................................................................................................................112.3.4计算任务提交及管理........................................................................................................122.4CLUSTER计算集群方案...............................................................................................................122.4.1宝德Cluster计算集群结构...........................................................................................122.4.2Cluster节点系统配置.....................................................................................................152.4.3节点互连、管理和用户网络............................................................................................162.4.4Cluster计算集群节点管理.............................................................................................172.4.5Cluster计算集群作业管理.............................................................................................182.4.6宝德Cluster计算集群的特点和优势...........................................................................192.5高性能计算外接存储需求分析..................................................................................................192.6方案的优势..................................................................................................................................20第三章产品清单.....................................................................213第一章概述XXXX非常荣幸能为XXXX系统仿真平台系统建设提出建议。我公司推荐了先进的系统建设方案，考虑了系统的实用性、高可用性、安全性、可管理性以及灵活扩展能力。XXXX凭借先进的技术和出色的支持服务，相信通过双方的合作，可使中国XXXX大脑初级视觉系统仿真平台系统建设项目顺利实施，从而为用户提供一个健壮、安全、高可用的运行环境，并进一步建立长期的友好合作关系。高性能计算系统是提高一个科研机构研究水平的重要基础设施，也是一个国家科技与经济实力的标志。它不仅是一个高速处理的计算机系统、更重要的是在其之上运行的各种应用对科学领域产生非常深远的影响。20世纪90年代中后期以来，许多高性能计算应用领域越来越多地希望利用半导体和计算机技术发展的新成果通过更大规模、更精确的数值模拟和数字计算来进行新产品设计和科学研究，提高科学研究水平、厂商市场竞争力以至国家的综合国力。另一方面，人们也要求利用工业标准芯片等开放性的技术降低投资、加速开发，在规定经费预算和时间框架内完成规模越来越大的计算任务。高性能和高经济效益相结合已经成为高性能计算领域最引人注目的发展趋势。1.1高性能计算环境发展的趋势1.1.1更高、更全面的性能要求高性能技术计算是利用数值模拟和数字技术方法探索和预测未知世界的技术。这一技术广泛应用于核武器研究和核材料储存仿真、生物信息技术、医疗和新药研究、计算化学、GIS、CAE、全球性长期气象、天气和灾害预报、工艺过程改进和环境保护等许多领域。近年来，随着研究的深入和竞争的加剧，各个领域越来越多地使用模拟的方法来解决科研和生产中的实际问题。模拟的模型越来越大、计算的精度越来越高、对超级计算机性能要求也越来越高。例如，在一个34维模型中，如果把从每个方向取100个分点增加取到1000个分点，对计算机资源的需求将增加1000倍以上。高性能计算应用不仅规模越来越大，而且往往必须在规定的时间内完成任务否则就失去了计算的价值（如天气预报、传染病防治）。这就对计算机系统的计算能力、系统带宽、内存容量、存储设备和I/O吞吐能力以及应用软件的开发技术都提出了更高、更全面的要求。1.1.2向通用化方向发展过去人们一般把计算机应用分为科学计算、信息处理和自动控制等类型。其中，以信息处理为主的应用统称企业应用，是市场容量最大的应用领域。早期的企业应用与高性能计算应用有很大的差别，涉及的计算比较简单、使用的数据量也不大，对计算机系统的主要要求是能够支持大量用户（包括网上用户）进行事务处理如信息输入、查询和统计等，而对于计算能力、存储容量要求也不高。因此，高性能计算应用往往使用与企业应用不同的系统，影响了产品批量的扩大。当前，人类正在从工业化社会进入信息社会，技术的持续创新、市场需求的瞬息万变、竞争空间的迅速扩大，要求企业采用Internet、电子商务、电子商务企业等现代化手段，来适应时代的发展。许多新型的企业应用对计算能力、存储容量和系统带宽的要求都越来越高、越来越迫切，高性能计算应用和其他类型应用的界限也日益淡化。当前，几乎所有应用领域都需要使用能够提供高计算能力、系统带宽和存储容量的计算机系统，促使用户选择相同的系统满足各种类型的需求，为利用大批量、低成本的通用产品满足高性能计算应用需求创造了有利的条件。1.1.3更加严格的预算约束随着竞争的加剧和应用的普及，高性能计算不再是一个不惜工本的应用领域，许多项目的预算约束越来越严格。这就要求厂商生产全系列的产品满足不同规模应用的需求、更加可靠地保护用户原有投资、加速IT投资回报，而且也要求实现资源按需供应和更大范围的资源共享，推动了网格和公用服务等新的计算模式的发展。51.1.4使用商品化部件为了促进高性能计算广泛应用必须降低成本，否则很难为更多的用户所接受。由于高端的高性能计算系统（特别是超级计算机）需要使用许多计算节点和互联设备等部件，因此必须保持每个部件的低成本。早期的超级计算机系统使用专门定制的处理器和互联设备等部件价格非常昂贵。以后，CrayResearch公司的T3D和CRAYT3E开始使用商品化的Alpha处理器。当前商品化处理器和服务器性能日益提高、价格也日趋下降，为利用它们建立高端和超级计算机系统提供了良好的基础。为此，美国政府还推出了ASCI计划，力图降低超级计算机系统的成本，其主要途径是尽可能采用商品化市售(COTS)硬件和软件部件，把力量集中在发展主流计算机工业不能有效地提供的专门技术。目前已经很少再有厂商使用专门的部件如向量处理器来建立超级计算机系统。今后的发展趋势是在高端和超级计算机系统中尽可能普遍地采用商品化和大批量的工业标准部件，包括处理器、互联设备、I/O、存储、操作系统、语