课程1高性能计算发展概述

高性能计算及应用任课教师王云岚EMAIL：[e-mail]赵天海EMAIL：[e-mail]高性能计算研究与发展中心办公室:勇字楼3楼电话：88493434（O）2课程目标•掌握高性能计算编程工具，解决相关问题•课程主要内容：–介绍高性能计算系统体系结构、高性能并行程序程序设计方法及高性能计算技术最新方向。–主要包括：高性能处理机、多处理机系统；集群计算系统、Linux集群系统配置方法，集群资源管理与作业调度，多线程编程及性能优化等；–并行编程程序工具：OpenMP、MPI、CUDA、MapReduce等。•交流平台–2013年高性能计算课程qq群：158463721参考书目：•JohnL.Hennessy,DavidA.Patterson,贾洪峰(译者)，《计算机体系结构:量化研究方法(第5版)》•李静梅(编者),吴艳霞(编者)，《新一代计算机体系结构》•杨晓东，陆松，牟胜梅著，《并行计算机体系结构技术与分析》，科学出版社，2009年1月•刘鹏，《云计算(第二版)》，电子工业出版社，2011年5月•曾宇等著，《高效能计算机系统-若干关键技术分析》，高等教育出版社，2010年1月•张武生,薛巍,李建江,郑纬民编著，《MPI并行程序设计实例教程》，清华大学出版社,2009•MichaelJ.Quinn著陈文光,武永卫等译，《MPI与OpenMP并行程序设计:C语言版》，清华大学出版社,2004.10•作业•高性能计算相关研究热点的技术报告–云计算–CPU/GPU技术–虚拟化–…•实验报告–集群环境构建–并行应用编程：MPI，openMP，Cuda…高性能计算及应用课程1：高性能计算发展概述课程内容提纲•应用需求•计算机体系结构的发展•高性能计算的核心技术：并行计算•并行编程的重要性应用需求Highperformancecomputing高性能计算与科研，产业…——需求与意义•基础科研领域的计算需求–物理–化学–生物–材料•工业领域的需求–银行–辅助设计–医药–石油–气象–在线服务–信息安全传统的科学研究difficult,例如建造大型风洞expensive,例如建造样机slow,例如等待气候的变化，天体的演化dangerous,例如武器开发，药品，大气试验，电力系统分析基于计算科学的科学研究物理原理和数值方法理论分析设计试验富有挑战性的计算问题遍及科学与工程的各个领域•Science–Globalclimatemodeling–Astrophysicalmodeling–Biology:genomics;proteinfolding;drugdesign–ComputationalChemistry–ComputationalMaterialSciencesandNanosciences•Engineering–Crashsimulation–Semiconductordesign–Earthquakeandstructuralmodeling–Computationfluiddynamics(airplanedesign)–Combustion(enginedesign)–Oilfieldapplications•Business–Financialandeconomicmodeling–Transactionprocessing,webservicesandsearchengines•Defense–Nuclearweapons--testbysimulations–CryptographyUnitsofHighPerformanceComputing计算能力存储能力全球气候模拟•计算问题:–f(经度,纬度,海拔,时间)温度,气压,适度,风速做法:域的离散化分解,10公里解析度(Discretizethedomain,e.g.,ameasurementpointevery10km)给定时间t设计算法预测t+dt的天气(Deviseanalgorithmtopredictweatherattimet+dtgivent)•应用:-主要事件预测(Predictmajorevents,e.g.,ElNino)-用于确定大气散射标准(Useinsettingairemissionsstandards)来源:•大气环流模拟–需求解Navier-Stokes方程–1分钟时间间隔100个浮点运算/网格点对计算的需求–为确保时效需1分钟执行5x1011flops=8Gflop/s–以天为单位的7天天气预报需要56Gflop/s–以月为单位的50年气候预测需要4.8Tflop/s–以12小时为单位的50年预测288Tflop/s•如果提高网格解析度则计算复杂性将呈8x,16x增加•更高的精确预测模型则需要综合考虑大气,海洋,冰川,陆地,加上地球化学等因素•千年气候模型分析目前无法对此进行有效计算全球气候模拟高性能计算已经成为复杂系统工程的必备手段航空高性能计算领域•高端需求主要集中在CAE领域–气动力计算–结构计算–气动弹性分析–多学科设计优化–飞行载荷计算–隐身设计计算–稳定性和操纵计算需求–飞行仿真•其他高性能计算需求–数字化装配–数字样机•主要特点–计算能力vs计算规模–先导性研究vs工程应用超音速巡航大攻角机动武器系统内埋式发射CFD终极目标：虚拟飞行试验虚拟风洞(CFD)设计经验风洞试验虚拟飞行试验计算设备/用户/内容Today2015Source：IDF2012大数据现象•“Dataarebecomingthenewrawmaterialofbusiness:aneconomicinputalmostonaparwithcapitalandlabor”—TheEconomist,2010•“Informationwillbethe‘oilofthe21stcentury”—Gartner，2010Source：IDF20122015CloudVision•CoexistenceofOpportunitiesandChallengesSource：IDF2012TrendstoExascalePerformance•Roughly10xperformanceevery4years,predictsthatwe’llhitExascaleperformancein2018-19Source：IDF2012计算机体系结构的发展计算机体系结构的发展趋势•体系结构的改进将技术创新转变为计算机的处理性能•计算机体系结构历史：–电子管、晶体管、集成电路、大规模集成电路•超大规模集成电路(VeryLargeScaleIntegration)的发展阶段可以看做为并行处理的探索过程并行处理是提高计算机处理性能的核心技术体系结构的发展:并行方法的探索GreatesttrendinVLSIgenerationisincreaseinparallelism•1970-1985:位级并行（bitlevelparallelism）–4-bit-8bit-16-bit–slowsafter32bit–adoptionof64-bitnowunderway,128-bitfar(notperformanceissue)•80年代中期to90年代中期:指令级别并行（instructionlevelparallelism）–pipeliningandsimpleinstructionsets,+compileradvances(RISC)–on-chipcachesandfunctionalunits=superscalarexecution–greatersophistication:outoforderexecution,speculation,prediction–todealwithcontroltransferandlatencyproblems•Now:线程级并行（threadlevelparallelism）VLSI三个阶段Threephases:•Bit-level•Instruction-level•Thread-levelVLSITechnologyTrends•Intelannouncedthattheyhavereach1.7billionwithItaniumprocessor•GigascaleIntegration(GSI)=1billiontransistorsperchip~jeff/ece4420/technology.pdf单处理器的性能增长变化•VAX:25%/year1978to1986•RISC+x86:52%/year1986to2002•RISC+x86:??%/year2002topresent处理器功耗发展的趋势不在提供时钟频率，而转变为每个芯片的CPU数量风冷芯片最大功耗的瓶颈RecentIntelProcessors•“Wearededicatingallofourfutureproductdevelopmenttomulticoredesigns.Webelievethisisakeyinflectionpointfortheindustry.”IntelPresidentPaulOtellini,IDF2005ProcessorsYearFabrication(nm)Clock(GHz)Power(W)Pentium420001801.80-4.0035-115PentiumM200390/1301.00-2.265-27Core2Duo2006652.60-2.9010-65Core2Quad2006652.60-2.9045-105Corei7(Quad)2008452.93-3.6095-130Corei5(Quad)2009453.20-3.6073-95PentiumDual-Core2010452.80-3.3365-130Corei3(Duo)2010322.93-3.3318-732ndGeni3(Duo)2011322.50-3.4035-652ndGeni5(Quad)2011323.10-3.8045-952ndGeni7(Quad/Hexa)2011323.80-3.9065-1303rdGeni3(Duo)201222/322.80-3.4035-553rdGeni5(Quad)201222/323.20-3.8035-773rdGeni7(Quad/Hexa)201222/323.70-3.9045-77XeonE5(8-cores)2013221.80-2.9060-130XeonPhi(60-cores)2013221.10300Intel'sManyCoreandMulti-core•Intel80-coreTeraScaleProcessor(Vangaletal.2008)–亿级处理器–developedasolver(singleprecision)forthischipthatranat1TFLOPwithonly97WattsSource：TimMattson,IntelLabsTrendsareputtingallontoonechip•Thefuturebelongstoheterogeneous,manycoreSOCasthestandardbuildingblockofcomputing•SOC=systemonachipSource：TimMattson,IntelLabs集群系统的发展趋势Large-ScaleComputingSystems大规模集群计算系统Franklin(NERSC-5):CrayXT4•9,532computenodes;38,128cores•Eachnodehasan