基于MPI的并行程序设计(精)

2021/1/51基于MPI的并行程序设计王振海西北工业大学理学院西北工业大学高性能计算研究与发展中心2021/1/52MPI并行编程环境进程与消息传递MPI并行程序设计入门初步的MPI消息传递函数先进的MPI函数MPI并行程序示例面向性能的程序设计主要内容2021/1/53目前，高性能并行机主要可以分为对称多处理共享存储并行机（SMP,SymmetricMultiProcessor）、分布式共享存储多处理机（DSM,DistributiedSharedMemory）、大规模并行处理机（MPP,MassivelyParallelProcessor）和微机机群（Cluster）等四类。在这些并行机上，并行程序设计平台主要可分为消息传递、共享存储和数据并行三类，其中消息传递具有很好的可移植性，它能被所有这些类型的并行机所支持，而共享存储只能在在SMP和DSM并行机中使用，数据并行只能在SMP，DSM和MPP并行机上使用。并行编程环境简介2021/1/54消息传递并行编程环境（MPI：MessagePassingInterface）是目前国际上最流行、可移植性和可扩展性很好的并行程序设计平台，并被当前流行的所有高性能并行机所支持。它是在标准串行程序设计语言（C，Fortran，C++）的基础上，再加入实现进程间通信的MPI消息传递库函数，就构成了MPI并行程序设计所依赖的并行编程环境。MPI已经在Windows系列的非Unix、Linux平台上实现，其程序设计语言支持C,Fortran和Java。在国产的三大并行机系列神威、银河和曙光上也都实现了对MPI和支持。MPI并行编程环境2021/1/55MPI并行环境的应用现状MPI是全球工业、政府和科研部门联合推出的适合进程间进行标准消息传递的并行程序设计平台，最初版MPI1.0本于1994年6月推出，目前最新的为MPI2.0版，于1998年10月推出。MPI的具体实现：MPICH和LAMMPI，目前均已实现MPI1.2版，适用于任何并行计算平台；部分并行机已实现MPI2.0版。MPI是目前应用最广的并行程序设计平台，几乎被所有并行计算环境（共享和分布式存储并行机、MPP、机群系统等）和流行的多进程操作系统（UNIX、WindowsNT）所支持，基于它开发的应用程序具有最佳的可移植性。2021/1/56MPI并行环境的应用现状（续）目前高效率的超大规模并行计算（1000个处理器）最可信赖的平台。工业、科学与工程计算部门的大量科研和工程软件（气象、石油、地震、空气动力学、核等）目前已经移植到MPI平台，发挥了重要作用。MPI的优点：（1）具有很好的可移植性，几乎被所有的并行环境支持；（2）具有很好的可扩展性，是目前高效率的大规模并行计算最可信赖的平台；（3）比其它消息传递系统好用；（4）有完备的异步通信功能；（5）有精确的定义，从而为并行软件产业的发展提供了必要的条件。2021/1/57MPI并行环境的应用现状（续）MPI2.0版在1.0版的基础上，增加了如下的消息传递功能：（1）并行I/O：允许多个进程同时读写同一个文件；（2）线程安全：允许MPI进程的多个线程执行，即支持与OpenMP的混合并行编程；（3）动态进程管理：允许并行应用程序在执行过程中，动态地增加和删除进程个数；（4）单边通信：允许某个进程对其它进程的局部内存单元直接执行读写访问，而步需要对方进程的显式干预；（5）并行应用程序之间的动态互操作：允许各个MPI并行应用程序之间动态地建立和删除消息传递通道。目前，各类并行机，特别式微机机群，只实现了MPI2.0的部分功能。本中心机群所支持的为MPI1.2.5版本。2021/1/58MPI并行编程环境进程与消息传递MPI并行程序设计入门初步的MPI消息传递函数先进的MPI函数MPI并行程序示例面向性能的程序设计2021/1/59单个进程（process）进程是一个程序，同时包含它的执行环境（内存、寄存器、程序计数器等），是操作系统中独立存在的可执行的基本程序单位。通俗理解：串行应用程序编译形成的可执行代码，分为“指令”和“数据”两个部分，并在程序执行时“独立地申请和占有”内存空间，且所有计算均局限于该内存空间。进程1内存进程22021/1/510单机内多个进程多个进程可以同时存在于单机内同一操作系统：由操作系统负责调度分时共享处理机资源（CPU、内存、存储、外设等）。进程间相互独立（内存空间不相交）：在操作系统调度下各自独立地运行，例如多个串行应用程序在同一台计算机中运行。进程间可以相互交换信息：例如数据交换、同步等待，消息是这些交换信息的基本单位，消息传递是指这些信息在进程间的相互交换，是实现进程间通信的唯一方式。2021/1/511最基本的消息传递操作：发送消息（send）、接受消息（receive）、进程同步（barrier）、规约（reduction）。消息传递的实现：共享内存或信号量，用户不必关心。单机内多个进程（续）2021/1/512包含于通过网络联接的不同计算机的多个进程进程独立存在：进程位于不同的计算机，由各自独立的操作系统调度，享有独立的CPU和内存资源。进程间相互信息交换：消息传递。消息传递的实现：基于网络socket机制,用户不必关心。2021/1/513消息传递库函数应用程序接口（API）：提供给应用程序（FORTRAN、C、C++语言）的可直接调用的完成进程间消息传递的某项特定功能的函数。消息传递库：所有定义的消息传递函数编译形成的软件库，调用其内部函数的应用程序，通过与之联接，即可成为可并行执行的程序。目前流行的消息传递函数库：PVM3.3.11、MPICH1.2、LAMMPI6.4等。2021/1/514标准消息传递界面MPIMPI标准：根据应用程序对消息传递功能的需求，全球工业、应用和研究部门联合推出标准的消息传递界面函数，不考虑其具体实现，以保证并行应用程序的可移植性。MPI的具体实现：消息传递库函数，目前有影响的为MPICH和LAMMPI，我们注重MPICH系列。2021/1/515基于消息传递的并行程序执行模式SPMD模式：单程序多数据流2021/1/516基于消息传递的并行程序执行模式（续）MPM模式：多程序多数据流，除初始启动多个可执行代码，其余与SPMD模式一致。2021/1/517共享存储与分布式存储属于并行机体系结构的范畴，与消息传递并行程序设计平台无关。2021/1/518消息传递是相对于进程间通信方式而言的，与具体并行机存储模式无关，任何支持进程间通信的并行机，均可支持消息传递并行程序设计。几乎所有共享和分布存储并行计算环境均支持进程间的消息传递通信。共享存储与分布式存储（续）2021/1/519MPI并行编程环境进程与消息传递MPI并行程序设计入门初步的MPI消息传递函数先进的MPI函数MPI并行程序示例面向性能的程序设计2021/1/520MPI并行程序设计平台由标准消息传递函数及相关辅助函数构成，多个进程通过调用这些函数（类似调用子程序），进行通信。SPMD执行模式：一个程序同时启动多份，形成多个独立的进程，在不同的处理机上运行，拥有独立的内存空间，进程间通信通过调用MPI函数来实现。每个进程开始执行时，将获得一个唯一的序号（rank）。例如启动P个进程，序号依次为0，1，…，P-1。MPI并行程序2021/1/521MPI并行程序例1进程0发送一个整数给进程1；进程1将该数加1，传递给进程2；进程2再将该数加1，再传递给进程3；依次类推，最后，进程P-1将该数传递给进程0，由进程0负责广播该数给所有进程，并打印输出。programexample1include“mpif.h”!!MPI系统头文件integerstatus(MPI_STATUS_SIZE),my_rank,pintegersource,dest,tag,ierr,datac2021/1/522MPI并行程序例1（续）c-------进入MPI系统callMPI_Init(ierr)callMPI_Comm_rank(MPI_COMM_WORLD,my_rank,ierr)callMPI_Comm_size(MPI_COMM_WORLD,p,ierr)c-------数据交换data=0tag=5source=my_rank-1if(source.eq.-1)source=p-1dest=my_rank+1if(dest.eq.p)dest=02021/1/523if(my_rank.eq.0)thencallMPI_Send(data,1,MPI_INTEGER,dest,tag,MPI_COMM_WORLD,ierr)callMPI_Recv(data,1,MPI_INTEGER,source,tag,MPI_COMM_WORLD,status,ierr)elsecallMPI_Recv(data,1,MPI_INTEGER,source,tag,MPI_COMM_WORLD,status,ierr)data=data+1callMPI_Send(data,1,MPI_INTEGER,dest,tag,MPI_COMM_WORLD,ierr)endifcMPI并行程序例1（续）2021/1/524c-------广播数据callMPI_Bcast(data,1,MPI_INTEGER,0,MPI_COMM_WORLD,ierr)c------打印输出if(my_rank.eq.0)thenif(data.eq.p-1)thenprint*,”Successful,data=”,dataelseprint*,”Failure,data=”,dataendifendifccallMPI_Finalize(ierr)endMPI并行程序例1（续）2021/1/525MPI并行程序的运行MPI编译命令:mpif77-oexam.eexample.f运行命令:mpirun–np4exam.e运行效果：MPI系统选择相同或不同的4个处理机，在每个处理机上运行程序代码exam.e。运行结果：Successful,data=32021/1/526运行分析2021/1/527MPI重要概念进程序号（rank）：各进程通过函数MPI_Comm_rank()获取各自的序号。消息号：消息的标号。通信器(Communicator)：1)理解为一类进程的集合，且在该集合内，进程间可以相互通信；类比：邮局、电话局、国际网；2)任何MPI通信函数均必须在某个通信器内发生；3)MPI系统提供省缺的通信器MPI_COMM_WORLD，所有启动的MPI进程通过调用函数MPI_Init()包含在该通信器内；4)各进程通过函数MPI_Comm_size()获取通信器包含的(初始启动)的MPI进程个数。2021/1/528消息：分为数据（data）和包装（envelope）两个部分，其中，包装由接收进程序号、发送进程序号、消息标号和通信器四部分组成，数据包含用户将要传递的内容。进程组：一类进程的集合，在它的基础上，可以定义新的通信器。基本数据类型：对应于FORTRAN和C语言的内部数据类型（INTEGER，REAL，DOUBLEPRECISION，COMPLEX，LOGICAL，CHARACTER），MPI系统提供已定义好的对应数据类型（MPI_INTEGER，MPI_REAL，MPI_DOUBLE_PRECISION，MPI_COMPLEX，MPI_LOGICAL，MPI_CHARACTER）。MPI重要概念（续）2021/1/529MPI重要概念（续）自定义数据类型：基于基本数据类型，用户自己定义的数据类型（后面介绍）。MPI对象：MPI系统内部定义的数据结构，包括数据类型、进程组、通信器等，它们对用户不透明，在FORTRAN语言中，所有MPI对象均必须说明为“整型变量INTEGER”。MPI联