网格计算技术1-3-

1网格计算技术GridComputing桂小林西安交通大学计算机科学与技术系2006.5.8新一代互联网络应用技术2引子•网格（Grid）技术是近年来兴起的一门信息新技术，它代表了继Internet技术和Web技术之后的第三次技术浪潮。•本课程书结合国内外在网格计算技术、网格信息服务技术方面的最新发展状况，系统介绍网格技术的基本概念、基本方法和基本技术。•具体包括：网格技术的产生背景和目标，网格的基本概念和特征，网格的发展历程，网格的体系结构（包括OGSA和OGSI），网格家族的主要成员（包括P2P、语义Web、知识本体论、智能代理和内容分发网络等）的基本工作原理，网格计算技术（包括网格并行计算与科学计算），网格通信技术，网格应用调度技术，网格安全技术和网格信息服务技术。3频度4热度020406080100199219941996199820002002200420062008美国中国51988199319951998200020022005同构计算异构计算元计算网格计算普适计算计算规模计算模式的演变6参考书目•桂小林，网格技术导论，北京邮电大学出版社，2005•CeramiE.Web服务精髓.陈逸，译.北京：中国电力出版社,2003•MarcusR.GreatGlobalGrid:EmergingTechnologyStrategies.NewYork:WileyPress,20027第一章：网格的基本概念•网格的用途•网格的概念•网格的本质•网格的目标•网格需要解决的问题•网格的机遇与挑战•网格的理想8计算资源－存在极大浪费•据估计，全球大型超级计算机系统在大量时间内（约60%）处于闲置状态，UNIX家族服务器也只有30%左右的时间在处理用户应用，而个人桌面计算机则每天有一半以上的时间处于关机状态。另据一些专业媒体披露：网络上的大量工作站和服务器的利用率也仅仅使用了其20％左右的能力；就像科研院所这样使用计算机频率高的单位，其计算机及其资源的利用率也仅为25％左右。•如果这样的情况出现在一个企业内部的其它事务上，那肯定是不难以容忍的。例如，如果一家电视机制造工厂的生产流水线有50％以上的空闲，一家航空公司有60%的飞机在地面待机，一家汽车制造商50%的组装厂被闲置，或者一家旅游连锁店有85%的房间是空置的，那么企业的利润将会受到严重影响，而且这种情况在一个正常的企业内也是不允许的。9网络上很多资源无法发现和共享•目前，在Internet上通过FTP提供了大量的文件共享，通过网页提供大量的文本共享。互联网上，这两方面的共享资源每天都在飞速增长，不可能有哪个单一的服务器或者搜索引擎能够掌握所有资源。•根据专家估计，现在每年互联网都会增加1018字节以上的内容，但大概只有1012字节能为公众所用，只相当于总量的百万分之一，即便是某些功能强大的搜索引擎也只能查找其中约108字节的内容。10网格的用途1.网格聚合广域计算资源2.网格共享广域信息资源•总的来讲,是应用需求推动着网格技术的产生和发展。•最初，网格被认为是支持广域高性能计算的，通过高速网络互连的跨管理域的、异构的软硬件资源协作体。•现在，网格与Web服务结合，可以提供信息资源共享、发现与检索服务。11网格聚合广域计算资源•随着计算机网络的迅速发展，带宽的日益增长，聚集网络上各种机器提供统一资源服务现已成为一种趋势。使用单一的机器构成完整而独立的计算机存在明显不足：当一个机器为很多作业提供运行服务时，其它机器却处于空闲状态。这会导致资源的巨大浪费。•PC集群（ClusterofPC，PCs）、工作站机群（NetworkofWorkstations，NOWs）是共享网络机器资源的典型例子。然而，PCs和NOWs共享的机器通常具有相同的体系结构，即包括相同的CPU、相同的操作系统配置，而网络中大部分其它体系结构的机器却无法实现共享。•想象一下，如果一个组织内能够在晚上使用其所有的空闲计算机、服务器、工作站来运行通信密集型、计算密集型任务，将会怎么样呢？它们会完成得更好更快，企业可能因此更快地将产品推向市场，同时削减其用于信息环境建设上的大量开支，企业也因此从中获取更多利润，竞争力自然增强。12网格共享广域信息资源•网格最早从高性能计算发展而来，后经历元计算到网格计算，再到现在的网格信息服务。•网格不仅支持旨在聚合计算资源的高性能科学计算，而且支持分布式资源的协作与共享；不仅综合了对科学计算、并行计算以及工程计算等各种业务的支持，即解决计算密集型的重大挑战性的问题，同时还构成事务处理、信息交流、电子商务、远程教育、远程医疗、数字图书馆等新型应用的基础。1314网格的概念•网格（Grid)是一种新技术，也是一种新思想,不同的组织和个人有不同的定义。•它具有新技术的两个主要特征：–其一，不同群体使用不同的名词来称谓它；–其二，网格的精确含义和内容还没有固定，而是在不断变化。•网格（Grid）技术起源于20世纪90年代初由美国政府资助的分布式超级计算（DistributedSupercomputing）项目I-WAY。•从1993年开始，高性能计算技术和互联网技术进一步融合，酝酿产生了继因特网、Web之后的第三大技术浪潮。•“网格”这一术语的思想则源于日常生活中公共设施的应用，IanFoster出版的著作中最早将它称之为“网格”。15网格的概念•2002年7月，IanFoster在《WhatistheGrid?AThreePointChecklist》中，认为网格必须同时满足三个条件：(1)在非集中控制的环境中协同使用资源；(2)使用标准的、开放的和通用的协议和接口（也就是指Globus）；(3)提供非平凡的服务。•可见，这三个条件要求非常严格，这样像P2P(PeertoPeer)、SUNGridEngine、Condor、Entropia、MultiCluster等都被排除在网格之外。•而另一些人则赞同广义的“网格观”，并把它称作巨大全球网格（GreatGlobalGrid，GGG），它不仅包括计算网格、数据网格、信息网格、知识网格、商业网格，还包括一些已有的网络计算模式，例如对等计算P2P、进化计算等。16网格的概念•IanFoster的定义：“网格计算是动态多机构虚拟组织中的一个协调的共享资源和解决问题的过程”。•IBM认为：网格就是“服务”、“业务”（Services）•我们认为：网格是分布式异构资源的协作体。•显然，网格这一概念也是“与时俱进”的。17网格的本质•作为新一代网络计算与应用技术，网格的本质不是它的规模，而是充分利用互联网络中的现有软硬件资源，支持广域环境上的计算、数据、存储、信息和知识资源的共享、互通与互用，消除资源孤岛，以较低成本获得高性能。•网格要解决的问题可以概括为：如何在动态、异构虚拟组织间利用网格资源来协同的解决某一问题，如复杂计算问题和信息服务问题。18网格的目标•网格的目标是将地理上分布的、系统上异构的多种计算资源通过高速网络连接起来，协同解决大型应用问题，进行广域信息资源的分布共享，最终把整个因特网整合成一台超级虚拟计算机。•网格需要为用户提供统一的编程与应用接口，屏蔽硬件边界、进程通信和同步的复杂性，为用户提供单一的虚拟机器。19网格的目标（2）（1）降低应用成本低–利用因特网中的各种已有软、硬件资源支持各种应用，不仅可以节省应用成本，而且可以带动各学科研究水平的快速提高。（2）屏蔽资源的分布性–网格资源通常是跨管理域的资源，这些资源属于不同的组织，信任关系不容易事先确定。20网格的目标（3）（3）屏蔽资源的异构性–每个系统可能具有不同的数据表示–每个系统可能安装不同体系结构的处理器–每个处理器可能有不同的处理器速度–每个系统的内部消息可能有不同的通信速度–每个系统可能采用不同的通信协议–任何两个系统间的消息通信带宽可能不同（4）保证资源自治性、动态性和扩展性PCX86SunSparcIBMRS6K21网格的目标（4）（4）保证资源自治性、动态性和扩展性–网格首先要保证网格结点的自治性。自治性是指网格系统不因影响节点的原有功能，节点有自愿加入和退出网格的权力。–网格资源的动态性需要网格具有自适应性。对于临时性加入的网格资源，通过信息传感器来发现其可用性。–网格的扩展性要解决网络节点增多、资源规模扩大、应用增加等情况下，不降低网格性能的问题。221.4网格需要解决的问题•网格要解决的问题可以概括为：如何在动态、异构虚拟组织间利用网格资源来协同的解决某一问题，如复杂计算问题和信息服务问题1.虚拟组织的协作2.资源共享的无缝性3.资源协同的应用求解4.异构性的自适应23网格的机遇与挑战表1.1互联网三次浪潮形成的技术标准和原型类型第1个标准制订机构与标准情况中国参与标准Internet1969：IMP1974：TCP/IPRFC：3180个1996：1个Web1994：URL1996：HTTPRFC：46个RFC：11个0个Grid2002：OGSAGGF：OGSAGGF：OGSI积极参与没有标准，就难以竞争。我国在技术标准文档的制定方面，远远落后于西方国家。在因特网发展的30多年历史中，出现了3180个技术标准文档（RFC）。我国科技界仅参与了一个技术标准文档的制定，那就是1996年3月（因特网第一个标准制定27年后，TCP/IP协议制定22年后）牵头制定的中文字符编码标准（RFC1922）。万维网（Web）发展至今也近10多年了，出现了46个技术标准，我国参与制定的技术标准还一个也没有.24网格的理想•正如元计算专家L.Smarr和C.E.Catlett所认为的那样：“最终，除了一台摆在桌面上的计算机外，用户将觉察不到对其它计算机资源的使用，因为系统拥有了通过网络延伸并获得任何所需计算资源的能力”。网格软件PC机工作站/机群Web服务器超级计算机数据库网格用户信息插座信息插座信息插座用户用户25小结•网格带来的挑战的核心问题是如何为网格提供一致操作环境，进行分布式协同计算、广域资源的获取，以支持用户无处不在地操作网格，实现资源共享、协同计算与应用服务。•在网格的面对的挑战中，需要关心网格协议的制定、协同计算模型的建立、网格开放体系结构、并发通信模型、资源动态管理与监测、任务调度算法和多编程环境协同等技术。•通过这些技术的研究，可以提高网格的用户可操作性，降低使用门槛，吸引更多用户加入到网格中来，从而壮大网格的规模，提高资源聚集度，以支持广域资源的融合与共享、分布式协同计算与应用服务。26第二章：网格的历史桂小林西安交通大学计算机科学与技术系27引子•网格是应用需求的产物。网格起源于分布式高性能计算，后来经历了异构计算、元计算到网格计算三个阶段。•由于人类对计算机性能的需求永无止境，在诸如预测模型的构造和模拟，工程设计和自动化，能源勘探，医学，军事等领域内对计算能力提出了极高的、具有挑战性的要求。•而传统的计算模式已经难以适应日益增长的应用需求，计算模式发生改变成为必然。•计算模式从基于同构系统的并行计算演变到基于异构环境的分布式计算，再从分布式计算演变到元计算和网格计算。28元器件的发展•元器件的发展，无疑是过去几十年来推动计算机技术发展的重要动力，也是最活跃、最具影响的因素。•尽管元器件制造技术在不断改进，集成电路的设计方法不断更新，但在未来十年内，元器件的速度不可能继续以以往的速度继续提高(在过去10年里，CPU的主频每18个月就提高一倍)。•据SIA(SemiconductorIndustryAssociation)预测，目前集成电路制造的主导技术--CMOS技术，在2010年左右可能达到极限。•如果没有理论与技术上的重大突破，那么提高元器件的速度最终将受到光速和氢原子直径的限制。•而另一方面，人类对计算机系统性能的需求永无止境，应用领域需要计算机解决的问题越来越复杂，规模越来越大。29体系结构的发展•过去40年来，科学家提出了很多并行处理技术，如流水线、向量化和陈列等；设计了各种计算机系统，如对称多处理机(Symmetr