您好,欢迎访问三七文档
当前位置:首页 > 行业资料 > 其它行业文档 > 云计算概述与最新进展(二)
电子商务与智能服务研究中心电子商务前沿与进展第二讲云计算概述与最新进展汇报人:吕秋云指导教师:陈冬林电子商务与智能服务研究中心2012年5月11日电子商务与智能服务研究中心主要议题•云计算•云计算技术及原理•Google云计算•Windows云计算•Amazon云计算•云计算前沿理论•云计算中SLA研究•云计算资源调度及模拟软件•云计算定价•云计算组合购买决策电子商务与智能服务研究中心主要议题•云计算•云计算技术及原理•Google云计算•Windows云计算•Amazon云计算•云计算前沿理论•云计算中SLA研究•云计算资源调度及模拟软件•云计算定价•云计算组合购买决策电子商务与智能服务研究中心Whycloudcomputing?电子商务与智能服务研究中心时间IT容量实际负荷实际IT资源支持能力IT资源过剩造成浪费IT资源不足造成客户流失预期负荷“你用,或者不用,服务器就在那里,成本一分不少”电子商务与智能服务研究中心实际资源需求量资源按需购买较小的间隙开始阶段较少的资源访问量激增资源快速增加访问量下降快速减少资源时间IT容量预计资源需求量电子商务与智能服务研究中心Whatiscloud?一种新兴的商业计算模型。它将计算仸务分布在大量计算机构成的资源池上,使各种应用系统能够根据需要获取计算力、存储空间和各种软件服务。电子商务与智能服务研究中心云计算可以提供什么?•“资源”:包括计算、存储及网络资源•动态的数据服务•云计算平台:包括软件开发API、环境和工具云计算=(数据+软件+基础设施)*服务电子商务与智能服务研究中心云计算的特点•超大规模•虚拟化•高可靠性•通用性•高可扩展性•按需服务•极其廉价电子商务与智能服务研究中心国外云计算发展与应用情况GoogleApps蓝云Google地球、地图、Gmail、Docs等云应用聚焦企业私有云解决方案“软件+服务”、“端+云”Synaptic利用数据中心以及宽带优势,开展云计算基础设施服务(SynapticHosting/Storage)OfficeLive厂商主要服务商用情况发展思路商用09年底商用商用商用商用SaaSCRM软件商用成为SaaS领域的领先者构建先进的应用程序开发和交付平台PaaSIaaSAppEngine充分挖掘电子商务数据中心闲置资源价值AWS(EC2、S3、SQS、SDS)商用Azure09年底商用商用Force.com平台构建先进的应用程序开发和交付平台运行在微软数据中心的服务器和网络基础设施上的,通过公共互联网对外提供服务成熟且开放的集成云服务平台,其中每个应用程序都内置有社交和移动功能电子商务与智能服务研究中心PackagedSoftwareStorageServersNetworkingO/SMiddlewareVirtualizationDataApplicationsRuntimeYoumanageInfrastructure(asaService)StorageServersNetworkingO/SMiddlewareVirtualizationDataApplicationsRuntimeManagedbyvendorYoumanagePlatform(asaService)ManagedbyvendorYoumanageStorageServersNetworkingO/SMiddlewareVirtualizationApplicationsRuntimeDataSoftware(asaService)ManagedbyvendorStorageServersNetworkingO/SMiddlewareVirtualizationApplicationsRuntimeData云计算—按服务模式分IaaSPaaSSaaS电子商务与智能服务研究中心云计算—按部署方式分•数据和相关服务由提供商管理•安全性存在风险•可用性不受用户控制公共云•部署在企业内部•安全性、可用性由用户自己控制•投资较大私有云混合云电子商务与智能服务研究中心主要议题•云计算•云计算技术及原理•Google云计算•Windows云计算•Amazon云计算•云计算前沿理论•云计算中SLA研究•云计算资源调度及模拟软件•云计算定价•云计算组合购买决策电子商务与智能服务研究中心•Google云计算平台技术架构–文件存储,GoogleDistributedFileSystem,GFS–并行数据处理MapReduce–分布式锁Chubby–结构化数据表BigTableGoogle云计算应用MapReduceBigTableGFSChubby电子商务与智能服务研究中心分布式文件系统GFS并行数据处理模型MapReduce分布式锁服务Chubby分布式数据库BigTableGoogle云计算应用MapReduceBigTableGFSChubby电子商务与智能服务研究中心应用程序GFS客户端GFS数据块服务器Linux文件系统GFS主服务器文件命名空间Chunk2EEE/foo/barGFS数据块服务器Linux文件系统…………标注:数据信息控制信息文件名,chunk索引向数据块服务器发指令返回数据块服务器状态Chunk句柄和位置Chunk句柄,查找数据返回数据信息GFS的系统架构Client,Master,ChunkServer电子商务与智能服务研究中心GFS设计原则机器失效不能视为异常现象能应付对大型/超大型文件处理支持大量用户同时访问GFS组成一个的Master和多个ChunkServer(块服务器)组成,并可以多客户端Client访问GFS设计要点每个文件拆成若干个64M文件块Chunk组成每个Chunk都由Master根据其创建时间指定ChunkHandle(64)文件块被保存在ChunkServer本地磁盘中缺省情况下3处热备份Chunk块文件Client职责包含文件系统的API负责和ChunkServer和Master通信代表应用程序进行读写操作Client和Master进行元数据操作Client和ChunkServer进行文件数据操作Master职责负责管理所有文件系统的元数据元数据包括:命名空间,访问控制信息,文件到Chunk的映射信息等ChunkServer职责负责存储chunk文件块Linux文件系统电子商务与智能服务研究中心分布式文件系统GFS并行数据处理模型MapReduce分布式锁服务Chubby分布式数据库BigTableGoogle云计算应用MapReduceBigTableGFSChubby电子商务与智能服务研究中心Google为什么需要MapReduce?Google拥有海量数据,并且需要快速处理什么是MapReduce?19GoogleMapReduce架构设计师JeffreyDeanJefferyDean设计一个新的抽象模型,使我们只要执行的简单计算,而将并行化、容错、数据分布、负载均衡的等杂乱细节放在一个库里,使并行编程时不必关心它们这就是MapReduce电子商务与智能服务研究中心20Google并行运算编程模型MapMapMap……原始数据1原始数据2原始数据MReduceReduce结果1结果R……1、在编程的时候,开发者需要编写两个函数:Map:(in_key,in_value)Reduce:(key,[value1,value2…])2、Map操作产生结果是key,value对3、在Map,Reduce之间系统把同一Key归类到Reduce3、Reduce操作对相同的Key进行归类处理电子商务与智能服务研究中心MapReduce实现机制用户程序(1)分割(1)分割(1)分割Master工作机M工作机M工作机M工作机R工作机R(2)指派Map(2)指派Reduce片段1片段4片段3片段2输入文件(3)Read(4)本地存储输出文件0输出文件1Map状态本地存储Reduce状态输出文件(5)远程读取(6)写入文件电子商务与智能服务研究中心单词计数体现M/R算法HelloWorldByeWorldHelloChinaByeChinaHelloSi-techByeSi-tech输入数据:MapReduceHello:3Bye:3China:2World:2Si-tech:2Map(Key,Value){for(eachworld‘world’invalue)collect(‘world’,1);}Reduce(Key,Value[]){intcount=0;for(eachwinvalue)count++;collect(Key,count);}1)电子商务与智能服务研究中心23HelloWorldByeWorldHelloChinaByeChinaHelloSi-techByeSi-tech2)根据文件所包含的信息分割(split)文件,在返里将文件分为三组(系统自动完成)。分割分割分割HelloWorldByeWorldHelloChinaByeChinaHelloSi-techByeSi-techKEYVALUEKEYVALUEKEYVALUE3)对分割之后的每一对(key,value)利用用户定义的Map迕行处理,再生成新的(key,value)对HelloWorldByeWorldHelloChinaByeChinaHelloSi-techByeSi-techMAPMAPMAPHello1World1Bye1World1Hello1China1Bye1China1Hello1Si-tech1Bye1Si-tech1电子商务与智能服务研究中心24Hello1World1Bye1World1Hello1China1Bye1China1Hello1Si-tech1Bye1Si-tech14)Map输出之后有一个内部的Fold过程,和第一步(split)一样都是系统自动完成。Map输出FoldHello1World1Bye1World1Hello1China1Bye1China1Hello1Si-tech1Bye1Si-tech1Fold输出电子商务与智能服务研究中心Hello3Bye3China2World2Si-tech2Hello1World1Bye1World1Hello1China1Bye1China1Hello1Si-tech1Bye1Si-tech1Fold输出5)经过fold步骤之后的输出已经于结果非常接近,再由用户自定义的Reduce步骤完成最后的工作即可。Reduce输出Reduce电子商务与智能服务研究中心分布式文件系统GFS并行数据处理模型MapReduce分布式锁服务Chubby分布式数据库BigTableGoogle云计算应用MapReduceBigTableGFSChubby电子商务与智能服务研究中心Chubby是Google为解决分布式一致性问题而设计的提供粗粒度锁服务的文件系统。其他分布式系统可以使用它对共享资源的访问迕行同步。Chubby客户端应用程序Chubby程序库...客户端应用程序Chubby程序库客户端进程主服务器Chubby单元的5个服务器远程过程调用客户端、服务器客户端与服务器端通过迖程调用实现每个客户应用程序都有一个Chubby程序库,应用通过调用程序库中函数实现服务器由亓个副本组成电子商务与智能服务研究中心分布式文件系统GFS并行数据处理模型MapReduce分布式锁服务Chubby分布式数据库BigTableGoogle云计算应用MapReduceBigTableGFSChubby电子商务与智能服务研究中心BigTableBigtable是Google开发的基于GFS和chubby的分布式存储系统Bigtable是一个分布式多维映射表,表中的
本文标题:云计算概述与最新进展(二)
链接地址:https://www.777doc.com/doc-6182089 .html