并行计算技术(总结与扩充)

网络并行计算我们为什么要研究并行计算技术•单机计算机速度的发展无法赶上人们对技术能力需求的发展•并行计算是实现高性能计算最朴素的实现方法•并行机的计算能力是衡量一个国家科技水平的重要指标•并行计算技术是未来计算机技术的一个重要发展方向快速发展的高性能计算什么是并行计算•利用多台计算机计算能力的迭加达到提高系统计算能力的目的。（人多力量大）•并行计算是实现高性能计算的重要途径。•并行计算技术是现代计算机技术研究的一个重要方向。并行计算技术的应用领域•气象•生物•石油•游戏•科研•。。。。。。行业分布2007我国Top10的用户气象领域•气象数值预报数值天气预报提高准确度的两种方式：1.提高分辨率2.采用更逼近真实大气复杂物理过程的模式两种方式都将带来计算量的猛增高精度天气预报并行计算机的发展Beowulf系统世界上目前最快的计算•IBM的最新军用超级计算机“Roadrunner”已经完成，每秒计算能力终于超过了一千万亿次，达到了1.026PetaFlops，是目前最强的IBMBlueGene/L的两倍还多，Roadrunner一共拥有116640颗计算核心，由三种不同的处理器组成，包括12960颗改进版的IBMCell，以及少量的AMDOpteron，Roadrunner超级计算机的布线总长达到了57公里，功率为3.9兆瓦，占地约6000平方英尺，总重超过500000磅。服务器分类（塔式，机架式，刀片式）SystemNameRoadrunnerSiteDOE/NNSA/LANLSystemFamilyIBMClusterSystemModelBladeCenterQS22ClusterComputerBladeCenterQS22/LS21Cluster,PowerXCell8i3.2Ghz/OpteronDC1.8GHz,VoltaireInfinibandVendorIBMApplicationareaNotSpecifiedInstallationYear2008OperatingSystemLinuxInterconnectInfinibandProcessorPowerXCell8i3200MHz(12.8GFlops)学习并行计算所需要的知识准备初级:•C或C++基本的编程能力•初步Linux操作系统应用知识中级：数值计算知识高级：领域应用知识进行并行程序开发所需要的软件条件必备条件：Linux操作系统MPICHGCC（GNUCompilerCollection）工具：puttyMKL(数学核心库)SSHSecure机群监控系统加速比•在给定的并行计算系统上给定的应用，并行算法（并行程序）的执行速度相对于串行算法（串行程序）加快的倍数，就是该并行算法（并行程序）的加速比。如何衡量一台并行机的性能•Linpack测试由JackDongarra教授编写的Linpack是在高性能计算领域最出名和使用最广泛的基准测试。Linpack使用线性代数方程组，利用选主元高斯消去法在分布式内存计算机上按双精度(64bits)算法，测量解线性方程的稠密系统所需的时间。Linpack的结果按每秒浮点运算次数（flops）表示。第一个Linpack测试报告出现在1979年的Linpack用户手册上。很多人把用Linpack基准测试出的最高性能指标作为衡量机器性能的标准之一。并行机的网络通讯技术一个并行程序示例•#includempi.h•#includestdio.h•voidmain(argc,argv)•intargc;•char*argv[];•{•intmyid,numprocs;/*变量是分布存储的*/•intnamelen;/*变量是分布存储的*/•charprocessor_name[MPI_MAX_PROCESSOR_NAME];/*变量是分布存储的*/•MPI_Init(&argc,&argv);•MPI_Comm_rank(MPI_COMM_WORLD,&myid);•MPI_Comm_size(MPI_COMM_WORLD,&numprocs);•MPI_Get_processor_name(processor_name,&namelen);•fprintf(stderr,HelloWorld!Process%dof%don%s\n,myid,numprocs,processor_name);•MPI_Finalize();•}MPI（Message-PassingInterface）•MPI本身不是一个具体的函数实现，它是根据应用程序对消息传递功能的需求，全球工业、应用和研究部门联合推出标准的消息传递界面函数标准，从而保证并行应用程序的可移植性。MPI标准的制定需要在较高的通信性能，较好的程序可移植性，强大的功能之间得到平衡。基于消息传递的并行计算基本函数•MPI_Init();•MPI_Comm_size();•MPI_Comm_rank();•MPI_Send();•MPI_Recv();•MPI_Finalize();串行程序的并行化问题通常的编程实践中循环程序是程序中出现最多，计算时间消耗最大的部分，往往程序运行时大部分时间是花在执行循环程序上了。（1）数据流相关•如某计算问题有以下两个基本语句：•B=A+C•D=B*E（2）数据反相关•如某计算问题有以下两个基本语句：•D=B*E•B=A+C（3）输出相关•如某计算问题有以下两个基本语句：•B=A+B•B=A*E串行程序的并行化问题（1）数据不存在相关关系的计算可并行执行，也可串行执行。如下面的语句和，他们的数据这间无任何相关性，我们可以同时执行这两条计算语句。A=C+BE=D*F（2）存在流相关或输出相关的计算不可并行执行。（3）存在反相关的计算，只要保证D=B*E中的B值先读和B=A+C中计算所得到的B值后写，则允许其并行执行。并行计算的生产研发中心•IBM•HP•SGI•联想公司•曙光公司•中国科学院网络中心•上海超算中心•清华大学•中国科技大学•江南计算机研究所联想6800曙光5000（中国目前最快的计算机）我国著名的并行计算研究学者陈国良（龙芯2F）我国著名的并行计算研究学者李三立院士并行技术近期发展---网格技术•网格作为一个集成的计算与资源环境，能够吸收各种计算资源，将它们转化成一种随处可得的、可靠的、标准的且相对经济的计算能力，其吸收的计算资源包括各种类型的计算机、网络通信能力、数据资料、仪器设备甚至有操作能力的人等各种相关资源。并行技术近期发展---云计算，SAAS•云计算的基本原理是，通过使计算分布在大量的分布式计算机上，而非本地计算机或远程服务器中，企业数据中心的运行将更与互联网相似。这使得企业能够将资源切换到需要的应用上，根据需求访问计算机和存储系统。•包括Google、微软、IBM、Amazon、EMC和惠普在内的许多IT业巨头都宣布要在云计算上进行重点研究。云计算的演进本方向的就业情况英特尔中国研究中心招聘并行计算和体系结构相关研究员招聘并行计算研究员北京联想利泰软件有限公司北京招聘并行计算算法研究员及C++高级程序员维展科技高薪诚聘并行计算软件高级工程师（并行计算）软件工程师|上海超级计算中心杭州奥利金并行计算技术有限公司招聘信息海归招聘信息：并行计算系统高级研发人员并行计算项目工程师|无锡超级计算技术服务有限公司哈工大高性能计算中心招聘北京中电华大电子设计有限责任公司招聘软件开发工程师-并行计算开发澳汰尔工程软件（上海）有限公司招聘高性能计算工程师中国科学院数学院高性能计算研究中心招聘IBMCDL高性能计算(HPC)组招聘实习生_校园招聘网曙光招聘职位：高性能计算领域（石油、生物、气象、计算物理和化学、CAE...上海北极巍高性能计算机发展有限公司招聘信息国家高性能计算机工程技术研究中心招聘信息上海大学高性能计算中心招聘启事