并行计算机与并行计算

CenterofComputationalChemistry并行计算机与并行计算张鑫理论与计算化学国际合作研究中心分子反应动力学国家重点实验室CenterofComputationalChemistry情况介绍分子反应动力学国家重点实验室交叉分子束动力学课题组理论与计算化学国际合作中心研究员2人，其中一位为中国科学院院士，高级访问学者1人，博士后研究人员6人，博士研究生18人，硕士研究生4人与多个国际学术团队有很好的合作，与纽约大学化学系张增辉教授合作建立理论与计算化学国际合作研究中心CenterofComputationalChemistry主要研究工作实验方面：交叉分子束对光解，碰撞反应，立体化学动力学的研究激光诱导荧光方法对光解，立体化学动力学的研究飞秒激光对超快动力学过程的研究理论方面：准经典轨线方法对反应动态学的研究量子力学方法对反应动态学的研究复杂体系势能面的构造，拟和量子化学及其他方法对分子结构，物质特性，化学反应过程的研究1997-2001年，发表文章84篇，其中英文66篇CenterofComputationalChemistryHPCServerCenterofComputationalChemistry并行计算机与并行计算1为什么要建造并行计算机2并行计算机的类型3什么是并行计算，并行进程的特性及并行模型的分类4工作站集群(COW)的基本结构5中国科学院十五计划中关于并行计算部分CenterofComputationalChemistry为什么要建造并行计算机CenterofComputationalChemistry什么是超级计算环境超级计算（Supercomputing），从技术的意义上说，是为了在问题的求解上具有更快的速度、更高的精度、更大的规模、更好的性能价格比而采用的非主流计算的设施和方式。CenterofComputationalChemistry计算速度的要求问题:科学和工程问题的数值模拟与仿真–计算密集–数据密集–网络密集–三种混合要求:在合理的时限内完成计算任务–秒级制造业–分钟级短时天气预报(当天)–小时级中期天气预报(3~10日)–尽可能快长期天气预报(气候)–可计算湍流模拟CenterofComputationalChemistry问题的规模全球气候变化图1-1系统速度天气预报72小时油藏建模机翼设计物体特性分析年后19951991198019881993存储器容量48结构生物学药物设计化学动力学1000GB100GB10GB1GB100MB10MB小时天气预报100Mflops1Gflops10Gflops100Gflops1Tflops人类基因湍流飞行动力学海洋环流粘滞流体动力学超导建模半导体建模视觉量子染色动力学3维等离子体建模CenterofComputationalChemistry计算机的规模:TOP10(2001年7月)排名制造商计算机Rmax使用单位,地点国家制造年份应用领域处理器数1IBMASCIWhite,SPPower3375MHz7226LawrenceLivermoreNationalLaboratoryLivermoreUSA2000ResearchEnergy81922IBMSPPower3375MHz16way2526NERSC/LBNLBerkeleyUSA2001Research25283IntelASCIRed2379.6SandiaNationalLabs,AlbuquerqueUSA1999Research96324IBMASCIBlue-PacificSST,IBMSP604e2144LawrenceLivermoreNationalLaboratory,LivermoreUSA1999ResearchEnergy58085SGIASCIBlueMountain1608LosAlamosNationalLaboratory,LosAlamosUSA1998Research61446IBMSPPower3375MHz1417IBM/NavalOceanographicOffice(NAVOCEANO),PoughkeepsieUSA2000VendorAerospace13367HitachiSR8000-F1/1121035LeibnizRechenzentrumMuenchenGermany2000Academic1128HitachiSR8000-F1/100917.2HighEnergyAcceleratorResearchOrganization/KEK,TsukubaJapan2000Research1009CrayInc.T3E1200891.5GovernmentUSA1998Classified108410CrayInc.T3E1200891.5USArmyHPCResearchCenteratNCSMinneapolisUSA2000Research1084CenterofComputationalChemistryIBMBuildsWorld'sFastestSupercomputertoSimulateNuclearTestingforU.S.EnergyDepartmentCenterofComputationalChemistry以动物的食物链为例CenterofComputationalChemistryCenterofComputationalChemistry打破高性能计算的壁垒210021002100210021002100210021002100单处理器共享存储局域并行机群广域并行机群GFLOPSCenterofComputationalChemistry并行计算机分类CenterofComputationalChemistryFlynn分类法•SISD（单指令流单数据流）系统•SIMD（单指令流多数据流）系统•MISD（多指令流单数据流）系统•MIMD（多指令流多数据流）系统五种物理机模型:实际的机器体系结构—PVP(ParallelVectorProcessor,并行向量机)—SMP(SymmetricMultiprocessor,对称多处理机)—MPP(MassivelyParallelProcessor,大规模并行处理机)—COW(ClusterofWorkstation,工作站机群)—DSM(DistributedSharedMemory,分布共享存储多处理机)CenterofComputationalChemistry几种我们常见的并行计算机CPUCPUCPU…总线或交叉开关SM(a)SMP,物理上单一地址空间CPUCPUCPU…定制网络LMLMLM虚拟分布共享存储(DSM)(b)DSM,逻辑上单一地址空间P/CP/CP/C…定制/标准网络LMLMLM(c)Cluster/COW,物理/逻辑上多地址空间SMPMPPMPP…WANLMDSMSM(d)Grid(ClusterofClusters)CenterofComputationalChemistry什么是并行计算，并行进程的表述及并行模型的分类CenterofComputationalChemistry什么是并行计算进程1发送信息进程2接收信息传统的串行计算，分为“指令”和“数据”两个部分，并在程序执行时“独立地申请和占有”内存空间，且所有计算均局限于该内存空间。并行计算将进程相对独立的分配于不同的节点上，由各自独立的操作系统调度，享有独立的CPU和内存资源（内存可以共享）；进程间相互信息交换通过消息传递；进程1进程2CenterofComputationalChemistry并行算法的表述在并行算法的表述中，所有描述串行算法的语句及进程均可调用，而只是为了表达并行性而引入几条所谓的并行语句当几个算法步要并行执行时，我们可以写作Dostepitojinparallelstepistepi+1…stepj或者是：当几个处理器同时执行相同的操作时，我们可以写作foralliparalleldo...endforCenterofComputationalChemistry例如n=2**k个数的求和输入：n=2**k个数存入数组A中输出：S=sigma(A(i))begin(1)fori=1to4paralleldoB(i)A(i)endfor(2)forh=1tologn=2dofori=1ton/2**h=1paralleldoB(i)B(2i-1)+B(2i)endforendfor(3)SB(i)end把每一个A(i)赋给B(i)n=4,k=2,就是4个数的加和h=1to2h=1I=1to2(4/2**1)B(1)B(1)+B(2)B(2)B(3)+B(4)h=2I=1to1(4/2**2)B(1)B(1)+B(2)SB(1)若有2**2=4个处理器，则在1(h)级可能的并行运算数目为4/2**1=2.则运算任务分摊给前两个处理器CenterofComputationalChemistry硬件结构抽象模型(自然模型)共享存储的模型和语言(适于PVP,SMP,DSM)X3H5,PthreadOpenMP消息传递的模型和语言(适于MPP,Cluster,COW)MPI(Fortran,C,Gamess,Vasp)PVM(Fortran,C)数据并行的模型和语言(适于在MPP/Cluster上实现SPMD应用)Fortran90HPF(HighPerformanceFortran)并行模型的分类CenterofComputationalChemistry基于程序构造的模型CSPLinda（Fortran,C,Gaussian）Global(Molpro，Columbus)基于问题描述的模型GAMMAUNITY基于并行计算理论的模型PRAMBSPLogPCenterofComputationalChemistryYale大学NicholasCarriero和DavidGelernter于1986年基于分散数据结构和共享存储系统的并行计算模型.Linda模型定义了一个功能强大的逻辑存储器(TS)和在其上的一组核心操作(in,out,read,eval),它们能够方便地嵌入到不同的语言(如,C,Fortran)中而构成相应的并行语言(C-Linda和Fortran-Linda等)该模型同时还支持动态程序设计和两种不同的编程风格(Master/Slaver和Divide-and-Conquer),为用户开发不同类型的应用程序提供了灵活的手段.Linda模型CenterofComputationalChemistry（进程从TS中提取任务或数据进行计算,并将结果或生成的新任务放入TS中.并行执行的进程之间通过TS进行间接的通信和同步.TS是一个可被多个进程共享的、能同时存放数据和任务的数据箱）TS共享数据箱进程2进程4进程3进程1CenterofComputationalChemistryLinda模型的应用－LindainGaussianHF:SPOptFreqMP2:SpOptFreqDFT:SPOptFreq－可以将串行代码改编为并行代码支持C和Fortran语言CenterofComputationalChemistryMPI已经成为一种标准，应用越来越广泛。而最流行的MPI工具集当属mpich〔〕，是目前高效率的超大规模并行计算（1000个处理器）最可信赖的平台。在当前所有的消息传递软件中,最重要最流行的是MPI,它能运行在所有的并行平台上,包括SMP和PVP.二者已经在WindowsNT和Windows95这样的非Unix平台上实现.程序设计语言支持C,Fortran和Java.在国产的三大并行机系列神威、银河和曙光上都实现了对MPI和支持.MPI(MessagePassingInterface)MPI模型目标: