第十七讲并行计算

八、并行计算•CIG-ComputationalInfrastructureforGeodynamics••GeoFEMProject••QuakeSimProject••TeraShake–TypicalFramework••GEONGRIDProject:•张怀，2010pFEPG并行有限元程序自动生成系统的组织架构dispuvcoorxyfuncfunafunbfuncshap%1%2gaus%3mass%1load=fufv$c6pe=prmt(1)$c6pv=prmt(2)$c6fu=prmt(3)$c6fv=prmt(4)$c6fact=pe/(1.+pv)/(1.-2.*pv)funcfuna=+[u/x]funb=+[v/y]func=+[u/y]+[v/x]stifdist=+[funa;funa]*fact*(1.-pv)+[funa;funb]*fact*(pv)+[funb;funa]*fact*(pv)+[funb;funb]*fact*(1.-pv)+[func;func]*fact*(0.5-pv)*es,em,ef,Estifn,Estifv,*es(k,k),em(k),ef(k),Estifn(k,k),Estifv(kk),goto(1,2),ityp1callseuq4g2(r,coef,prmt,es,em,ec,ef,ne)goto32callseugl2g2(r,coef,prmt,es,em,ec,ef,ne)goto33continueDOJ=1,NMATEPRMT(J)=EMATE((IMATE-1)*NMATE+J)EnddoPRMT(NMATE+1)=TIMEPRMT(NMATE+2)=DTprmt(nmate+3)=imateprmt(nmate+4)=numOtherelementmatrixcomputingSubsPDEexpressionContainsinformationofthephysicalmodel,suchasvariablesandequationsforgeneratingelementstiffnessmatrix.FortranSegmentscodesthatrealizethephysicalmodelatelementlevel.variablesequationAutomatedCodeGeneratorStep1:FromPDEexpressiontoFortransegmentsSegment1Segment2Segment3Segment4Step2:FromalgorithmexpressiontoFortransegmentsdoi=1,kdoj=1,kestifn(i,j)=0.0enddoenddodoi=1,kestifn(i,i)=estifn(i,i)doj=1,kestifn(i,j)=estifn(i,j)+es(i,j)enddoenddoU(IDGF,NODI)=U(IDGF,NODI)*+ef(i)defistifSmassMloadFtypeemdtylstep0equationmatrix=[S]FORC=[F]SOLUTIONUwrite(s,unod)UendAlgorithmExpressionContainsinformationforformingglobalstiffnessmatrixforthemodel.FortranSegmentscodesthatrealizethephysicalmodelatgloballevel.StiffnessmatrixSegment5Segment6SUBROUTINEETSUB(KNODE,KDGOF,IT,KCOOR,KELEM,K,KK,*NUMEL,ITYP,NCOOR,NUM,TIME,DT,NODVAR,COOR,NODE,#SUBET.sub*U)implicitdoubleprecision(a-h,o-z)DIMENSIONNODVAR(KDGOF,KNODE),COOR(KCOOR,KNODE),*U(KDGOF,KNODE),EMATE(300),#SUBDIM.sub*R(500),PRMT(500),COEF(500),LM(500)#SUBFORT.sub#ELEM.subCWRITE(*,*)'ESEMEF='CWRITE(*,18)(EF(I),I=1,K)#MATRIX.subL=0M=0I=0DO700INOD=1,NNE………U(IDGF,NODI)=U(IDGF,NODI)#LVL.subDO500JNOD=1,NNE………500CONTINUE700CONTINUE………returnendProgramStencilFortranSegmentsgeneratedStep3:PlugFortransegmentsintoastencil,formingfinalFEprogramSegment1Segment2Segment4Segment3Segment5Segment6…………..Fromphysicalmodeltonumericalcomputation:AdifferentapproachPartialDifferenceEquations(PDEs)PDE2FEMserverDataGrid(GEONandothers)High-performancecomputingVianetworktouploadVianetworktouploadNumericalresultsVianetworktodownloadpost-processingAnalyzeandvisualitionAutomatedsourcecodegenerator000zzzyzxzyyzyyxyxxzxyxxfzyxfzyxfzyxAutomaticsourcecodegeneratorfuncfuna=+[u/x]………funf=+[u/y]+[v/x]………dist=+[funa;funa]*d(1,1)+[funa;funb]*d(1,2)+[funa;func]*d(1,3)+[funb;funa]*d(2,1)+[funb;funb]*d(2,2)+[funb;func]*d(2,3)+[func;funa]*d(3,1)+[func;funb]*d(3,2)+[func;func]*d(3,3)+[fund;fund]*d(4,4)+[fune;fune]*d(5,5)+[funf;funf]*d(6,6)load=+[u]*fu+[v]*fv+[w]*fw-[funa]*f(1)-[funb]*f(2)-[func]*f(3)-[fund]*f(4)-[fune]*f(5)-[funf]*f(6)PDEsCompletesourcecodeFEMModelingLanguageDataGrid(GEONandothers)PhysicalmodelModelresultsHPCCData=???SWFSWF•计算地球动力学的学科交叉特色-机遇与挑战并存•并行有限元方法基础理论研究及其自动生成实现–1997-2003：Lagrange乘子法，区域分解算法(DomainDecompositionMethod)，非连续变形分析算法(LagrangeMultiplierDiscontinuousDeformationAnalysis)的算法与并行自动生成实现;–2002-2009：预条件Krylov子空间算法求解器的优化改进(PreconditioneredKrylovSubspaceIterativeSolvers)与并行有限元自动生成技术的理论与算法实现；–多场强耦合系统并行有限元求解算法；–国内空白，国际上目前只有类似的串行系统。国际上有类似有限元方法的自动求解软件包(Femlab,DiffPack,PDE2D等)，但是没有自动生成并行有限元源程序技术；–已经形成商业产品pFEPG(ParallelFiniteElementProgramGenerator)；•计算地球动力学若干模型的并行有限元计算算法研究与实现(2003-)–板块与活动构造（ActiveTectonics）-粘弹性并行有限元模型；–区域性和全球地震波数值模拟-大规模并行显式有限元算法与并行实现;–地幔对流与大陆演化过程-多场强耦合系统求解算法;–基础模型–线弹性模型与对流扩散温度场方程;•计算地球动力学基础架构中的若干辅助系统–跟踪与科研需要(2005-)–海量数据并行可视化设备(ParallelVisualization);–非结构化网格与并行CVT/SCVT网格并行生成算法；Preliminaryresults通过高效的分区算法实现，用户能自由指定分区，并自动完成各个节点的负载均衡；1,200,000quadrilateralstructuredmeshpartition,sub-domainswithdifferentcolors(left)andsub-domainboundaries(right)50,000triangleunstructuredmeshpartition,(partitionedby10)•研究探讨一些地球科学问题中的基础科学问题：1区域性活动构造-Maxwell粘弹性模型;2断层系统的应力演化与地震活动性关系-粘-弹-塑性模型;3区域性板块构造演化历史–强非线性的非牛顿流体热演化问题、大变形（几何非线性）；4地球自转快速变化后的全球应力场变化分析；5区域性应力演化历史与地震活动性分析；•关系到国际民生问题的研究-大的工程应用方面的基础研究工作6二维、三维地震波强地面运动数值模拟；7海啸数值模拟，危险性分析；8港口安全性评估；•基础设置建设•其它94D海量数据体的并行可视化和体绘制的并行显示；•10GPU计算与GPU+CPU层次结构计算的算法研究；10建立计算地球动力学网格计算基础架构（国际合作，跟踪研究）；地球动力学方面的科学研究内容•能不能做一些关系国计民生的问题？地震海啸港口安全滑坡泥石流飓风……•地震灾害预测与救助指导E-Science系统•现有工作基础：–全球地震波传播数值模拟；–区域地震波数值模拟-采用有限元方法，