国家973项目高性能计算环境支持讲座

1国家973项目高性能计算环境支持讲座MPI与PETSc莫则尧（北京应用物理与计算数学研究所）日期内容8．15上午进程与消息传递、MPI应用现状、MPI并行程序设计入门、初步的MPI消息传递函数下午作业一、讨论8．16上午作业一讲评、先进的MPI函数、并行程序示例2、MPI的发展下午作业二、讨论8．17上午作业二讲评、并行可扩展科学计算工具箱PETSc介绍下午PETSc程序示例2个人介绍莫则尧，男，汉族，1971年7月生，副研究员：1992年国防科技大学应用数学专业本科毕业；1997年国防科技大学计算机应用专业并行算法方向博士毕业；1999年北京应用物理与计算数学数学博士后流动站出站，并留所工作；主要从事大规模科学与工程并行计算研究。3消息传递并行编程环境MPI一、进程与消息传递二、MPI环境的应用现状三、MPI并行程序设计入门（程序例1）四、初步的MPI消息传递函数五、作业一六、先进的MPI函数七、MPI并行程序示例2（求解-u=f）；八、MPI环境的发展九、作业二4一、进程与消息传递1．单个进程（process）进程是一个程序，同时包含它的执行环境（内存、寄存器、程序计数器等），是操作系统中独立存在的可执行的基本程序单位；通俗理解：串行应用程序编译形成的可执行代码，分为“指令”和“数据”两个部分，并在程序执行时“独立地申请和占有”内存空间，且所有计算均局限于该内存空间。2．单机内多个进程：多个进程可以同时存在于单机内同一操作系统：由操作系统负责调度分时共享处理机资源（CPU、内存、存储、外设等）；进程间相互独立（内存空间不相交）：在操作系统调度下各自独立地运行，例如多个串行应用程序在同一台计算机中运行；进程间可以相互交换信息：例如数据交换、同步等待，消息是这些交换信息的基本单位，消息传递是指这进程1进程2内存5些信息在进程间的相互交换，是实现进程间通信的唯一方式；最基本的消息传递操作：发送消息（send）、接受消息（receive）、进程同步（barrier）、规约（reduction）；消息传递的实现：共享内存或信号量，用户不必关心；进程1进程2发送数据接收数据（消息传递）内存空间3．包含于通过网络联接的不同计算机的多个进程：进程独立存在：进程位于不同的计算机，由各自独立的操作系统调度，享有独立的CPU和内存资源；进程间相互信息交换：消息传递；消息传递的实现：基于网络socket机制,用户不必关心；4．消息传递库函数:应用程序接口（API）：提供给应用程序（FORTRAN、C、C++语言）的可直接调用的完成进程间消息传递6的某项特定功能的函数；消息传递库：所有定义的消息传递函数编译形成的软件库，调用其内部函数的应用程序，通过与之联接，即可成为可并行执行的程序；目前流行的消息传递函数库：PVM3.3.11、MPICH1.2、LAMMPI6.4等；5．标准消息传递界面（MPI：MessagePassingInterface）：MPI标准：根据应用程序对消息传递功能的需求，全球工业、应用和研究部门联合推出标准的消息传递界面函数，不考虑其具体实现，以保证并行应用程序的可移植性；MPI的具体实现：消息传递库函数，目前有影响的为MPICH和LAMMPI，我们注重MPICH系列；76．基于消息传递的并行程序执行模式：SPMD模式：单程序多数据流可执行代码运行MPMD模式：多程序多数据流，除初始启动多个可执行代码，其余与SPMD模式一致；7．共享存储与分布式存储：属于并行机体系结构的范畴，与消息传递并行程序设计平台无关；并行应用程序代码复制多份并独立执行，形成多个独立的进程进程一（内存）进程二（内存）进程三（内存）消息传递（交换数据、同步、规约）协同8节点分布式存储共享存储消息传递是相对于进程间通信方式而言的，与具体并行机存储模式无关，任何支持进程间通信的并行机，均可支持消息传递并行程序设计；几乎所有共享和分布存储并行计算环境均支持进程间的消息传递通信；CPUCPUCPU互连网络MMMCPUCPUCPU互连网络MMM9二、MPI环境的应用现状MPI（消息传递界面）是全球工业、政府和科研部门联合推出的适合进程间进行标准消息传递的并行程序设计平台，最初版MPI1.0本于1994年6月推出，目前最新的为MPI2.0版，于1998年年低推出；MPI的具体实现：MPICH和LAMMPI，目前均已实现MPI1.2版，适用于任何并行计算平台；部分并行机已实现MPI2.0版；MPI是目前应用最广的并行程序设计平台，几乎被所有并行计算环境（共享和分布式存储并行机、MPP、机群系统等）和流行的多进程操作系统（UNIX、WindowsNT）所支持，基于它开发的应用程序具有最佳的可移植性;目前高效率的超大规模并行计算（1000个处理器）最可信赖的平台；工业、科学与工程计算部门的大量科研和工程软件（气象、石油、地震、空气动力学、核等）目前已经移植到MPI平台，发挥了重要作用；目前，MPI相对于PVM：优点：功能强大，性能高，适应面广，使用方便，可扩展性好；10缺点：进程数不能动态改变；11三、MPI并行程序设计入门1．MPI并行程序设计平台由标准消息传递函数及相关辅助函数构成，多个进程通过调用这些函数（类似调用子程序），进行通信；2．MPI程序：SPMD执行模式：一个程序同时启动多份，形成多个独立的进程，在不同的处理机上运行，拥有独立的内存空间，进程间通信通过调用MPI函数来实现；每个进程开始执行时，将获得一个唯一的序号（rank）。例如启动P个进程，序号依次为0，1，…，P-1；MPI程序例1：进程0发送一个整数给进程1；进程1将该数加1，传递给进程2；进程2再将该数加1，再传递给进程3；依次类推，最后，进程P-1将该数传递给进程0，由进程0负责广播该数给所有进程，并打印输出。12programexample1include“mpif.h”!!MPI系统头文件integerstatus(MPI_STATUS_SIZE),my_rank,p,source,dest,tag,ierr,datacc-------进入MPI系统callMPI_Init(ierr)callMPI_Comm_rank(MPI_COMM_WORLD,my_rank,ierr)callMPI_Comm_size(MPI_COMM_WORLD,p,ierr)cc-------数据交换data=0tag=5source=my_rank-1if(source.eq.-1)source=p-1dest=my_rank+1if(dest.eq.p)dest=0if(my_rank.eq.0)thencallMPI_Send(data,1,MPI_INTEGER,dest,tag,MPI_COMM_WORLD,ierr)callMPI_Recv(data,1,MPI_INTEGER,source,tag,MPI_COMM_WORLD,status,ierr)elsecallMPI_Recv(data,1,MPI_INTEGER,source,tag,MPI_COMM_WORLD,status,ierr)data=data+1callMPI_Send(data,1,MPI_INTEGER,dest,tag,MPI_COMM_WORLD,ierr)endifcc-------广播数据callMPI_Bcast(data,1,MPI_INTEGER,0,MPI_COMM_WORLD,ierr)cc------打印输出if(my_rank.eq.0)thenif(data.eq.p-1)thenprint*,”Successful,data=”,dataelseprint*,”Failure,data=”,dataendifendifccallMPI_Finalize(ierr)end13编译命令:mpif77-oexam.eexample.f运行命令:mpirun–np4exam.e运行效果：MPI系统选择相同或不同的4个处理机，在每个处理机上运行程序代码exam.e。MPI函数进程0进程1进程2进程3Init()Comm_rank()my_rank=0myrank=1myrank=2my_rank=3Comm_size()p=4p=4p=4p=4tag=5,data=0tag=5,data=0tag=5,data=0tag=5,data=0source=3source=0source=1source=2dest=1dest=2dest=3dest=0数据交换send()recv()recv()recv()recv()data=data+1空send()闲data=data+1等send()待data=data+1消息传递send()Broadcast()send()recv()recv()recv()output“data”Finalize()进入MPI系统退出MPI系统143．MPI重要概念进程序号（rank）；各进程通过函数MPI_Comm_rank()获取各自的序号;消息号：消息的标号；通信器(Communicator)：1)理解为一类进程的集合，且在该集合内，进程间可以相互通信；类比：邮局、电话局、国际网；2)任何MPI通信函数均必须在某个通信器内发生；3)MPI系统提供省缺的通信器MPI_COMM_WORLD，所有启动的MPI进程通过调用函数MPI_Init()包含在该通信器内；4)各进程通过函数MPI_Comm_size()获取通信器包含的(初始启动)的MPI进程个数;消息：分为数据（data）和包装（envelope）两个部分，其中，包装由接收进程序号、发送进程序号、消息标号和通信器四部分组成，数据包含用户将要传递的内容；进程组：一类进程的集合，在它的基础上，可以定义新的通信器；基本数据类型：对应于FORTRAN和C语言的内部数据类型（INTEGER，REAL，DOUBLEPRECISION，COMPLEX，LOGICAL，CHARACTER），MPI系统提供已定义好的对应数据类型（MPI_INTEGER，MPI_REAL，MPI_DOUBLE_PRECISION，MPI_COMPLEX，MPI_LOGICAL，MPI_CHARACTER）;15自定义数据类型：基于基本数据类型，用户自己定义的数据类型（后面介绍）；MPI对象:MPI系统内部定义的数据结构，包括数据类型、进程组、通信器等，它们对用户不透明，在FORTRAN语言中，所有MPI对象均必须说明为“整型变量INTEGER”；MPI联接器（handle）：联接MPI对象和用户的桥梁，用户可以通过它访问和参与相应MPI对象的具体操作；例如，MPI系统内部提供的通信器MPI_COMM_WORLD；在FORTRAN语言中，所有MPI联接器均必须说明为“整型变量INTEGER”；进程拓扑结构：进程组内部进程之间的一种相互连接结构，如33网格，将在后面介绍。33网格拓扑结构静态进程个数：进程数由命令“mpirun–npxxx”初始确定为xxx个，程序执行过程中不能动态改变进程的个数;消息缓存区：应用程序产生的消息包含的数据所处的内16存空间；标准输入：所有进程的标准输入read(*,*)均省缺为当前终端屏幕，且只能由0号进程执行该操作，其他进程需要这些输入参数，只能由0号进程执行数据广播操作；标准输出：所有进程可以独立执行标准输出write（*，*），但其省缺为当前终端屏幕；4．MPI函数格式：FORTAN语言中，最后一个参数为该函数调用是否成功的标志：0表示成功，其它表示各种可能的错误；C语言中，该标志又函数参数返回；C：ierr=MPI_Comm_rank(myrank)F:MPI_Comm_rank(myrank,ierr)5.MPI函数的使用查询:由函数名查询：man函数名（MPI_Xxxx）,注意大小写,例