CAE高性能计算平台建设方案

CAE高性能计算平台建议书目录第1章概述4第2章关于IBM高性能计算的简介7第3章汽车行业CAE应用程序的特点及计算平台的选择11汽车行业CAE分析的过程11CAE高性能运算应用程序的特点11CAE硬件平台的选择15IBMCluster1600介绍17IBMCluster1350Linux集群系统（IBM刀片中心）：20IBM优势21第4章CAE高性能计算系统设计原则24应用通用性原则24系统高扩展性原则24系统高可用性原则25处理器性能最大化原则25高性价比原则26第5章CAE高性能计算平台方案27关于XX汽车CAE项目投资的几点建议27总体方案描述27二期扩展方案31第6章相关产品技术介绍32IBMPower57532IBMBladeCenter34IBMBladeCenterHS2238IBMSystemx3650M241IBMSystemStorageDS5000系列模块化企业存储系统43IBM并行文件系统GPFS简介46xCAT集群系统管理软件48IBM智能系统管理49第1章概述CAE一直是高性能计算的主要应用领域。随着现代汽车技术的发展，特别是与其它学科如数学、物理、化学、材料科学的结合，汽车应用所需处理的数据信息量不断增加，对运算能力的需求也越来越大，由于并行计算技术的飞速发展，汽车CAE模拟的应用平台也逐渐从巨型机过渡到高性能计算机系统，这也为用户提供了一个具有更高性价比的选择。近年来，高性能计算作为大规模CAE应用的基石，在工业和制造业领域的应用越来越普遍和广泛。从TOP600的统计信息来看，工业领域所占的比例在不断增加。2005年6月，工业用户使用的高性能计算机占到52.8％。而其中的半导体和制造业用户所占的比例相当可观。其中美国半导体公司大约有70台。许多国际著名的制造业大公司已实现了产品的虚拟化设计和制造，并实现了全球资源共享，利用全新的理念设计产品。美国、日本的一些公司都拥有总计算能力超过数十万亿次的高性能计算机用于新产品的研发。主导世界制造业方向的大集团公司目前都拥有大量的超级计算机用于产品设计和数据处理，制造业信息化是知识经济时代企业核心竞争的必要组成环节。第2章关于IBM高性能计算的简介高性能计算多年来一直是科技综合实力竞争的制高点，也在一定程度上反映了各大公司在系统研发方面的实力。在过去十年中，高性能计算技术正处于创新的高峰期，其处理速度和总体计算能力的发展远高于摩尔定律描绘的芯片技术的发展速度。作为行业的技术领先者，IBM公司在这一领域积累了长达半个世纪的丰厚经验，并在关键技术领域不断创新，发明了包括并行处理、对称多处理机和高性能计算机系统等并行计算的核心技术，并通过它们始终保持着在业界的领先水平。过去15年以来，IBM的专利数量都一直居于所有美国公司的首位。IBM长期以来致力于高性能计算领域的技术发展和应用完善，当其它IT厂商由于机会或者财务限制，在这种科学计算市场中进进出出时，IBM就从每年50亿美金的研发经费中按比例、持续地投入高性能计算领域。IBM承诺将保持在高性能计算领域的领先位置。IBM发明了包括并行处理、对称多处理机和集群等技术，并通过它们始终保持着在业界的领先水平。并且IBM还承诺，通过利用和增强基于开放资源技术与工业标准服务器的Linux集群，来提供给客户更多的机会。IBM将会成为这种方案的领先提供商，我们在世界各地成立了专门的队伍，为Linux的发展贡献力量，帮助客户或合作伙伴将应用移植到Linux平台，开发更多的新技术和应用。IBMLinux集群系统是利用先进的体系架构将IBM的Systemx系列服务器、Systemp系列服务器以及TotalStorage存储解决方案连接起来，通过集群技术实现高性能运算。由于Linux集群系统性能卓越，可用性高，扩展能力强和易于掌握等优势，一经推出，就被科学运算领域和商用领域的用户认可。众所周知，IBM公司长期以来在高性能运算方面投入了大量的精力，并取得了很好的成绩。在高性能运算TOP500名中，IBM公司占有很大的份额。IBM的大规模并行处理机SP系统已广泛地运用在各个领域，该机（深蓝）曾在1997年中的“人机大战”中因战胜棋王卡斯帕罗夫而享誉全球。作为后起之秀的Linux集群系统，吸取了SP大规模并行机的诸多优势，并且将SP上的优秀的系统管理软件和并行处理方面的程序移植到Linux集群系统上，如并行系统管理软件PSSP和通用并行文件系统GPFS等，从而使Linux集群系统不仅能在并行运算方面的性能得到保障，增强了集群系统的可管理性，最新的技术进步使得在相同的空间内采用刀片式服务器，从而将节点密度提高一倍，大大降低成本。也正因为如此，IBM的Linux集群解决方案越来越受到众多的用户群的关注，其中包括著名的蓝色基因(BlueGene)以及目前在全球高性能计算集群中排名第一的“走鹃”（RoadRunner）。图1：蓝色基因系统示意图在2008年6月最新公布的全球500强超级计算机中，188套来自IBM，其中5套位于前10名，35套位于前100名，其每秒钟的运算能力总和达到了8903万亿次，是500强所有系统运算能力总和的39.4%，占绝对主导地位。其中，全球最快的计算机是IBM的“RoadRunner”，实测浮点运算能力达到每秒1105万亿次。以下是目前全球超级计算机前十强的名单，IBM占据了5席：#Ven-dorRmaxTFlopsInstallation1IBM1105DOE/NSSA/LANL(QS22/LS21)2Cray1059OakRidgeNL-Jaguar(XT5QC2.3GHzOpteron)3IBM825.5FZJJuelich(72racksBlueGene/P)4SGI487.0NASAAmes(AltixQC3.0/2.8Xeon)5IBM478.2DOE/NSSA/LLNL(104racksBlueGene/L)6Cray463.3NICSUTenn-Kraken(XT5QC2.3GHzOpteron)7IBM450.3ArgonneNatlLab(40racksBlueGene/P)8Sun433.2TexasAdvCompCenter(QC2.3GHzOpteron)9IBM415.7DOE/NSSA/LLNL(36racksBlueGene/P)10Bull274.8FZJJuelich(QC2.93GHzNehalem)来源：在国内，IBM的高性能计算机系统客户遍布生命科学、环境科学、物理学、化学、数学等自然学科领域，以及高等教育、石油勘探、航空航天、汽车制造等各行各业，其中包括目前国内运算能力最强的中国国家气象局UNIX高性能计算机系统（21.7TFlops），以及目前国内排名第二的中科院网络中心百万亿次超级计算机。为了更好地提供高性能计算应用支持，IBM和许多全球领先的高性能计算应用软件提供商进行了紧密合作。在CAE领域，长期以来IBM的行业专家在CAE代码并行化和优化方面有着有丰富的经验。第3章汽车行业CAE应用程序的特点及计算平台的选择汽车行业CAE分析的过程一般说来，CAE分析主要包括前处理、计算分析和后处理这3个过程。前处理主要是建立问题的几何模型、进行网格划分、建立用于计算分析的数值模型、确定模型的边界条件和初始条件等；计算分析是对所建立的数值模型进行求解，经常需要求解大型的线性方程组，这个过程是CAE分析中计算量最大、对硬件性能要求最高的部分；后处理则是以图形化的方式对所得的计算结果进行检查和处理图1给出了采用计算机进行产品开发的流程，包括建模、前处理（模型修改和网格生成）、计算分析、交叉学科综合及后处理几个部分。其中高性能计算主要应用于计算分析部分，统称为计算机辅助工程（CAE）。图1是CAE的分析过程。图1计算机主要在CAE分析过程的后期解算部分发挥作用CAE高性能运算应用程序的特点CAE高性能运算的应用可以分为隐式有限元分析（IFEA）、显式有限元分析（EFEA）和计算流体动力学（CFD）三个子学科。采用隐式算法的软件主要有ABAQUS/Standard、ANSYS、MSC.NASTRAN等，适合求解静力、模态、屈曲等问题；采用显式算法的软件主要有ABAQUS/Explicit、LS-DYNA、PAM-CRASH等，适合求解接触、碰撞、冲击等问题。几乎所有的制造企业的高性能计算都依赖于独立软件开发商（ISV）提供的商业软件，只有流体动力学算题中结构网格计算类型的部分软件是用户自己开发的。因此制造行业用户在购买硬件平台的同时通常会购买相应的科学计算软件产品。而在某种程度上，往往是应用软件的特性决定了硬件平台的选择。从对计算资源的需求来说，隐式解法的基本特点是内存占用多、磁盘IO大、进程通信量大，因此，隐式解法要求系统的内存容量大、访存带宽高、磁盘IO速度快、通信延迟低；相对而言，显式解法对内存、磁盘IO和通信延迟的要求要低一些。从软件的扩展性上来说，隐式算法和显式算法有明显的区别。采用隐式算法的软件，扩展性相对较差，计算性能在8-16CPU以上就很难获得进一步的提升。而采用显式算法的软件，扩展性就要好得多，在64-128CPU以内都能获得较好的并行性能。下表给出了常用的CAE软件，并列出这些软件的特点，包括并行方式和可扩展性。常用分析软件CAE应用软件分类应用软件并行方式扩展性静态隐式有限元分析（IFEAStatics）ABAQUSpthreads低高ANSYSOpenMP,MPIMSC.Nastranpthreads,MPI动态隐式有限元分析（IFEADynamics）ABAQUSpthreadsANSYSOpenMP,MPIMSC.Nastranpthreads,MPI显式有限元分析（EFEA）LS-DYNAOpenMP,MPIPAM-CRASHOpenMP,MPIRADIOSSOpenMP,MPI计算流体动力学（CFD）FLUENTMPISTAR-CCMPIPowerFLOWOpenMP,MPI从上表中我们可以了解到CAE应用软件具有以下特点：（1）IFEA类应用软件（如ABAQUS、ANSYS和MSCNastran）硬件平台支持的可扩展性不是很好。Nastran对内存，I/O性能要求高；（2）IFEA类应用软件通常使用共享内存方式（pthreads或OpenMP），进行并行处理，其中ABAQUS不支持消息传递方式（MPI）的并行；（3）EFEA类应用软件（如RADIOSS、LS-DYNA和PAM-CRASH）和计算流体动力学软件（如FLUENT、STAR-CD和PowerFlow）的硬件平台支持的扩展性相对较好。RADIOSSS/LSDYNA对CPU，I/O性能要求高；（4）EFEA类应用软件和CFD软件以采用消息传递并行方式（MPI）为主。高性能计算（HPC）服务器体系结构分类及特点目前市场上常用的高性能计算服务器大致可以分为以下3种体系结构，即：1．并行向量处理机（PVP）PVP系统含有为数不多、功能强大的定制向量处理器（VP），以及定制的高带宽纵横交叉开关和高速数据访问。由于这类系统对程序编制的要求较高，价格很昂贵且难于管理，因此，这种类型计算机主要集中在一些大型国家关键部门，在这里不再赘述。2．对称多处理机（SMP）SMP系统采用商品化的处理器，这些处理器通过总线或交叉开关连接到共享存储器。今天市场上常见的机型有IBMp系列服务器、HPQ的SuperDome、Alpha的ES、GS系列及SGI公司的Altix系列。SMP系统通常具有以下特点：（1）系统内的CPU共享并可以直接访问所有的内存；（2）由一个操作系统管理整个系统；（3）支持共享内存方式的并行模式，如OpenMP、pthreads等；（4）支持消息传递方式的并行模式，如MPI、PVM等（5）系统的价格相对较高；（6）为提高系统的使用效率，需要有功能强大的资源管理软件和作业调度软件配合进行系统管理。如LSF、PBS及IBM的WLM和TivoliWor