您好,欢迎访问三七文档
云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上,使各种应用系统能够根据需要获取计算力、存储空间和信息服务。特点:超大规模虚拟化,高可靠性–数据冗余,计算节点同构,通用性–不针对特定应用,高可伸缩性,按需服务,极其廉价服务类型:云构架的服务层次:•基础设施即服务•提供虚拟化的计算资源、存储资源、网络资源•AmazonEC2•平台即服务•使软件开发人员充分利用开放的资源来开发定制化的应用•GoogleAppEngine•软件即服务•软件或应用通过租用的形式提供给用户使用•Salesforce.com•GoogleGmail、DocsAmazon:研发了弹性计算云EC2(ElasticComputingCloud)和简单存储服务S3(SimpleStorageService)为企业提供计算和存储服务收费的服务项目包括存储空间、带宽、CPU资源以及月租费诞生不到两年的时间内,Amazon的注册用户就多达44万人,其中包括为数众多的企业级用户Google:Google搜索引擎建立在分布在30多个站点、超过200万台服务器构成的云计算设施的支撑之上,这些设施的数量正在迅猛增长Google的一系列成功应用,包括Google地球、地图、Gmail、Docs等也同样使用了这些基础设施目前,Google已经允许第三方在Google的云计算中通过GoogleAppEngine运行大型并行应用程序Hadoop模仿了Google的实现机制IBM:IBM在2007年11月推出了“改变游戏规则”的“蓝云”计算平台,为客户带来即买即用的云计算平台。◎IBM正在与17个欧洲组织合作开展名为RESERVOIR云计算项目,以“无障碍的资源和服务虚拟化”为口号。欧盟提供了1.7亿欧元作为部分资金。◎IBM已在全球范围内建立了13个云计算中心,并且已帮助数个客户成功部署了云将软件作为服务SaaS(SoftwareasaService)如:SalesforceonlineCRM专用通用将平台作为服务PaaS(PlatformasaService)将基础设施作为服务IaaS(InfrastructureasaService)如:GoogleAppEngineMicrosoftWindowsAzure如:AmazonEC2/S3计算中心Microssoft:微软于2008年10月推出了WindowsAzure操作系统。Azure(译为“蓝天”)是继Windows取代DOS之后,微软的又一次颠覆性转型。微软在2010年10月的PDC大会上,公布了WindowsAzure云计算平台的未来蓝图,跳出单纯的基础架构作服务的框架,将WindowsAzure定位为平台作服务云技术的体系构架:信息网格:一体化智能信息处理平台,集成各种信息系统和信息资源,消除信息孤岛,使用户能按需获取集成后精确信息计算网格:提供集成各种计算资源的、虚拟化的计算基础设施知识网格:研究一体化的智能知识处理和理解平台,使得用户能方便地发布、处理和获取知识网格计算云计算目标共享高性能计算力和数据资源,实现资源共享和协同工作提供通用的计算平台和存储空间,提供各种软件服务管理中间件资源管理任务管理用户管理负载均衡故障检测映像部署和管理使用计费用户环境配置用户交互管理故障恢复监视统计帐号管理安全管理访问授权综合防护安全审计服务接口服务注册服务查找服务访问服务工作流SOA构建层计算资源池资源池计算机存储器数据库物理资源存储资源池网络资源池数据资源池软件资源池软件网络设施身份认证任务执行任务调度生命期管理资源来源不同机构同一机构资源类型异构资源同构资源资源节点高性能计算机服务器/PC虚拟化视图虚拟组织虚拟机计算类型紧耦合问题为主松耦合问题应用类型科学计算为主数据处理为主用户类型科学界商业社会付费方式免费(政府出资)按量计费标准化有统一的国际标准OGSA/WSRF尚无标准,但已经有了开放云计算联盟OCC云计算是网格计算的一种简化形态,网格不仅要集成异构资源,还要解决许多非技术的协调问题,也不像云计算有成功的商业模式推动,所以实现起来要比云计算难度大很多。但对于许多高端科学或军事应用而言,云计算是无法满足需求的,必须依靠网格来解决。物联网与云计算是交互辉映的关系从量上看,物联网采集惊人的数据需要通过无线传感网、宽带互联网向某些存储和处理设施汇聚,而使用云计算来承载这些具有非常显著的性价比优势;从质上看,使用云计算设施对这些数据进行处理、分析、挖掘,可以更加迅速、准确、智能地对物理世界进行管理和控制物联网将成为云计算最大的用户,将为云计算取得更大商业成功奠定基石通过云计算技术,软硬件获得空前的集约化应用移动互联网时代来临,对用户来讲,最好的体验是淡化有线和无线的概念。云计算有望突破各种终端,显示的内容、应用都能保持一致性和同步性云计算对于云和端两侧都具有传统模式不可比拟的优势Google云计算原理与应用-GFS&MapreduceGoogle云计算平台技术架构文件存储,GoogleDistributedFileSystem,GFS并行数据处理MapReduce分布式锁Chubby分布式结构化数据表BigTable分布式存储系统Megastore分布式监控系统DapperGFS将容错的任务交给文件系统完成,利用软件的方法解决系统可靠性问题,使存储的成本成倍下降。GFS将服务器故障视为正常现象,并采用多种方法,从多个角度,使用不同的容错措施,确保数据存储的安全、保证提供不间断的数据存储服务Client(客户端):应用程序的访问接口Master(主服务器):管理节点,在逻辑上只有一个,保存系统的元数据(命名空间,file-chunk的映射,chunk的位置),负责整个文件系统的管理ChunkServer(数据块服务器):负责具体的存储工作。数据以文件的形式存储在ChunkServer上,GFS将文件以固定大小分块,每一块(chunk)默认64M,每一个chunk都有一个索引号客户端首先访问Master节点,获取交互的ChunkServer信息,然后访问这些ChunkServer,完成数据存取工作。这种设计方法实现了控制流和数据流的分离。Client与Master之间只有控制流,而无数据流,极大地降低了Master的负载。Client与ChunkServer之间直接传输数据流,同时由于文件被分成多个Chunk进行分布式存储,Client可以同时访问多个ChunkServer,从而使得整个系统的I/O高度并行,系统整体性能得到提高。GFS特点有哪些:采用中心服务器模式可以方便地增加ChunkServerMaster掌握系统内所有ChunkServer的情况,方便进行负载均衡不存在元数据的一致性问题(元数据只有一份存放在Master)不缓存数据文件操作大部分是流式读写,不存在大量重复读写,使用Cache对性能提高不大ChunkServer上数据存取使用本地文件系统,若读取频繁,系统具有Cache从可行性看,Cache与实际数据的一致性维护也极其复杂在用户态下实现利用OSPOSIX编程接口存取数据降低了实现难度,提高通用性POSIX接口提供功能更丰富用户态下有多种调试工具Master和ChunkServer都以进程方式运行,单个进程不影响整个操作系统GFS和操作系统运行在不同的空间,两者耦合性降低,可单独升级只提供专用接口降低实现的难度对应用提供一些特殊支持降低复杂度GFS的容错技术:单个Master,对于前两种元数据,GFS通过操作日志来提供容错功能第三种元数据信息保存在各个ChunkServer上,Master故障时,磁盘恢复GFS还提供了Master远程的实时备份,防止Master彻底死机的情况采用副本方式实现ChunkServer容错每一个Chunk有多个存储副本(默认为三个),分布存储在不同的ChunkServer上用户态的GFS不会影响ChunkServer的稳定性副本的分布策略需要考虑多种因素,如网络的拓扑、机架的分布、磁盘的利用率等对于每一个Chunk,必须将所有的副本全部写入成功,才视为成功写入缺点:尽管一份数据需要存储三份,好像磁盘空间的利用率不高,但综合比较多种因素,加之磁盘的成本不断下降,采用副本无疑是最简单、最可靠、最有效,而且实现的难度也最小的一种方法。系统管理技术:大规模集群安装:GFS集群中通常有非常多的节点,需要相应的技术支撑故障检测技术:GFS构建在不可靠廉价计算机之上的文件系统,由于节点数目众多,故障发生十分频繁。节点动态加入:新的ChunkServer加入时,只需裸机加入,大大减少GFS维护工作量节能技术:Google采用了多种机制降低服务器能耗,如采用蓄电池代替昂贵的UPS分布式数据处理MapReduceJefferyDean设计一个新的抽象模型,封装并行处理、容错处理、本地化计算、负载均衡的细节,还提供了一个简单而强大的接口这就是MapReduceMapReduce把对数据集的大规模操作,分发给一个主节点管理下的各分节点共同完成,通过这种方式实现任务的可靠执行与容错机制。在每个时间周期,主节点会对分节点的工作状态进行标记,一旦分节点状态标记为死亡,则将任务分配给其他分节点重新执行。MapReduce操作流程:(1)输入文件分成M块,每块大概16M~64MB(可以通过参数决定),接着在集群的机器上执行分派处理程序(2)M个Map任务和R个Reduce任务需要分派,Master选择空闲Worker来分配这些Map或Reduce任务(3)Worker读取并处理相关输入块,Map函数产生的中间结果key,value对暂时缓冲到内存(4)中间结果定时写到本地硬盘,分区函数将其分成R个区。中间结果在本地硬盘的位置信息将被发送回Master,然后Master负责把这些位置信息传送给ReduceWorker(5)当Master通知执行Reduce的Worker关于中间key,value对的位置时,它调用远程过程,从MapWorker的本地硬盘上读取缓冲的中间数据。当ReduceWorker读到所有的中间数据,它就使用中间key进行排序,这样可使相同key的值都在一起(6)ReduceWorker根据每一个唯一中间key来遍历所有的排序后的中间数据,并且把key和相关的中间结果值集合传递给用户定义的Reduce函数。Reduce函数的结果写到一个最终的输出文件(7)当所有的Map任务和Reduce任务都完成的时候,Master激活用户程序。此时MapReduce返回用户程序的调用点分布式锁服务ChubbyGoogle设计的提供粗粒度锁服务的一个文件系统,它基于松耦合分布式系统,解决了分布的一致性问题GFS使用Chubby选取一个GFS主服务器Bigtable使用Chubby指定一个主服务器并发现、控制与其相关的子表服务器Chubby还可以作为一个稳定的存储系统存储包括元数据在内的小数据Google内部还使用Chubby进行名字服务(NameServer)Paxos算法LeslieLamport最先提出的一种基于消息传递(MessagesPassing)的一致性算法,用于解决分布式系统中的一致性问题distributedconsensusproblem(分布的一致性问题):在一个分布式系统中,有一组的Process,它们需要确定一个Value。于是每个Process都提出了一个Value,consensus就是指只有其中的一个Value能够被选中作为最后确定的值,并且当这个值被选出来以后,所有的Process都需要被通知到Chubby系统设计:高可用性和高可靠性;首要目标在保证这一目标的基础上再考虑系统的吞吐量和存储能力。高扩展性;将数据存储在价格较为低廉的RAM,支持大规模用户访问文件支持粗粒度的建议性锁服务;提供这种服务的根本目的是提高系统的性能服务信息的直接存储;可直接存储包括元数据、系统参数在内的有关服务
本文标题:云计算期末复习整理
链接地址:https://www.777doc.com/doc-6182083 .html