并行计算、集群与网格技术在虚拟天文台中应用探讨

并行计算、集群与网格技术在虚拟天文台中应用探讨内容大纲并行计算技术集群及相关技术网格计算如何满足不断增长的计算力需求？用速度更快的硬件，也就是减少每一条指令所需时间优化算法（或者优化编译）用多个处理机(器)同时解决一个问题并行计算串行计算与并行计算...处理器可分解的计算任务串行计算并行计算任务队列并行的层次程序级并行子程序级并行语句级并行操作级并行微操作级并行并行粒度粗细共享内存与分布式内存P=处理器M=内存S=网络交换设备PMP…PMPMS…局部共享内存…SPMP…PMP…NodeNode实现并行计算的常见方法1、多线程程序2、基于OpenMP的并行程序3、基于消息传递的并行程序PVMMPIXPVMXPVM并行计算环境简介PVP（ParallelVectorProcessor）使用专用向量处理器银河I，CrayT90，NEC的地球模拟器。。。SMP（SymmetricMultiprocessor）同一主板上多个处理器可以等同访问共享存储器、I/O设备和操作系统服务IBMRS6000。。。Cluster由很多连接在一起的独立计算机组成，像一个单独的集成的计算机一样协同工作集群的节点可以是SMP（或者PVP）Cluster1350，蓝色基因。。。在虚拟天文台中的应用情形处理实时性要求很高的大量观测数据观测数据的并行可视化处理并行数据挖掘并行数据服务提供。。。。。。集群技术集群概念最早由IBM于20世纪60年代提出集群一般由高速网络连接起来的高性能工作站或PC机组成。集群在工作中像一个统一的整合资源，所有节点使用单一界面。集群NotaClusterCluster集群计算系统体系结构集群相关技术网络层网络互联结构、通信协议、信号技术等。节点机及操作系统层高性能PC或工作站、分层或基于微内核的操作系统等。集群系统管理层资源管理、资源调度、负载平衡、并行I/O、安全等。应用层并行程序开发环境、串行应用、并行应用等。Cluster1350Cluster1350是IBM公司目标定位于高性能计算市场的Linux集群，包括一套完整的解决方案，集成了众多IBM与非IBM的先进的软硬件技术，有其特有的技术优势与强大的服务支持。(ClusterMiddelware)(CSM-Clustersystemmanagement,GPFS-GeneralParallelFileSystem,……)ComputeNodexSeries335LinuxComputeNodexSeries335Linux……ApplicationLayer(e-Business,HPC,……)RSA②②②③①Switch/VLAN①①①①Note:　①ManagementNetwork　　②ClusterNetwork　　③HighSpeedNetworkTerminalServer①①①③②③③Cluster1350节点硬件、网络和操作系统(天津大学IBM中心）管理节点IBMeServerxSeries345(1)计算节点IBMeServerxSeries335(16)网络千兆以太网操作系统RedHatLinux7.3CSM（ClusterSystemManagement）CSM是IBM公司开发，专门用于集群系统管理的中间件，在Cluster1350解决方案集成。CSM的设计思想与体系结构来自PSSP(IBMParallelSystemSupportProgramsforAIX)与其它一些开源的集群管理软件。还有一些中间件及技术，虽然不直接为用户服务，但构成了CSM的不可或缺的基础，包括RMC、SRC、RSCT等。CSMCluster1350系统管理整个集群由单一结点控制所有结点的开机、关机、状态查询显示远程控制台安装操作系统升级(安装)各结点系统及应用软件。。。一个完整的集群只需一套外置输入/输出设备(键盘、鼠标、显示器)Linux集群上可用的任务调度系统Mosix（MulticomputerOperatingSystemforUnIX）可以自动完成节点间进程迁移需要重新编译Linux内核对用户来说是透明的PBS（PortableBatchSystem）由NASA的Ames研究中心开发为了达到集群系统整体上的负载平衡，对各个节点上的任务进行调度，但不进行节点间任务迁移不需要重新编译内核集群上的应用程序（计算）开发适于开发基于消息传递的并行应用程序可以使用PVM/MPI步骤：配置并行计算的编译与运行环境主要是rsh/ssh设计、编写、编译程序使用PVM/MPI提供的程序库及编译环境部署应用程序ftp、rcp、scp、CSM、NFS、GPFS等方式运行程序配置高可用集群最大程度地减少服务中断，而不是容错。HearbeatLVS（LinuxVirtualSever）IBM的Tivoli和WebSphere系列软件……Heartbeat集群LVS集群集群在虚拟天文台中的角色高性能计算构成虚拟天文台网格环境中强有力的计算资源高可用服务在网格环境中提供稳定、可靠的数据、计算、调度等服务网格计算“Resourcesharing&coordinatedproblemsolvingindynamic,multi-institutionalvirtualorganizations”OnDemand理想的网格理想的网格InternetStorageElementComputingElementWorkerNodeUserInterfaceReplicaCatalog+ReplicaManagerResourceBroker+InformationIndexCertificationAuthorityUserInterfaceTESTBEDSITE1TESTBEDSITE2JobStatus:FrontEndCertificateServerTESTBEDSITE3GraphicsbyAldoStentellaThepictureabovedescribesaDataGridtestbedwiththreesitesandaCertificationAuthority.Forspacereasonswedonotshowallthemachinesofeachsite.TheuserrequestsacertificatetotheCertificateAuthoritywebfront-end.ThecertificateisproducedandsignedbytheCertificateServer.Theusergetsthecertificate.Nowthattheuserhashis/hercertificateinstalledonhis/herUserInterface,he/shecansubmithis/herjobrequests.InternetStorageElementComputingElementWorkerNodeUserInterfaceReplicaCatalog+ReplicaManagerResourceBroker+InformationIndexCertificationAuthorityUserInterfaceTESTBEDSITE1TESTBEDSITE2JobStatus:FrontEndCertificateServerTESTBEDSITE3GraphicsbyAldoStentellaAftercreatingaproxyprocesswithtemporarycredentials(“grid-proxy-init”command),theusersubmitshis/herjobrequesttotheResourceBroker.SubmittedTheResourceBrokerqueriestheReplicaCatalogandInformationIndextofindsuitableresources(storagespace,dataandcomputingpower).WaitingInternetStorageElementComputingElementWorkerNodeUserInterfaceReplicaCatalog+ReplicaManagerResourceBroker+InformationIndexCertificationAuthorityUserInterfaceTESTBEDSITE1TESTBEDSITE2JobStatus:FrontEndCertificateServerTESTBEDSITE3GraphicsbyAldoStentellaTheResourceBrokerselectstheresources.ReadyTheResourceBrokersubmitsthejobtotheselectedComputingElement(s).ScheduledTheComputingElementdeliversthejobtoitsWorkerNode(s),whichwilldotherealwork.DoneInternetStorageElementComputingElementWorkerNodeUserInterfaceReplicaCatalog+ReplicaManagerResourceBroker+InformationIndexCertificationAuthorityUserInterfaceTESTBEDSITE1TESTBEDSITE2JobStatus:FrontEndCertificateServerTESTBEDSITE3GraphicsbyAldoStentellaOutputReadyTheoutputismovedtotheResourceBrokerInternetStorageElementComputingElementWorkerNodeUserInterfaceReplicaCatalog+ReplicaManagerResourceBroker+InformationIndexCertificationAuthorityUserInterfaceTESTBEDSITE1TESTBEDSITE2JobStatus:FrontEndCertificateServerTESTBEDSITE3GraphicsbyAldoStentellaTheusergetshis/heroutputCleared网格计算环境示例GridWANClusterGridSMPGridSMPGridClusterUI/APIGridLANGridSMPGridSMPGridSMPGridClusterClusterClusterSMPGridClusterGridGridGridLANSiteASiteBSiteCUI/APIGridUI/APIGridLAN结束语虚拟天文台将构筑于网格环境之上集群将构成网格环境中强有力的计算与服务支撑平台并行计算将为具体事务处理提供技术与手段上支持