42开源云计算系统简介

开源云计算系统简介电子工业出版社刘鹏主编《云计算》教材配套课件11现有开源云计算系统开源云计算系统对应的商用云计算系统HadoopHDFSGoogleGFSHadoopMapReduceGoogleMapReduceHadoopHBaseGoogleBigtableHadoopZooKeeperGoogleChubbyEucalyptus、EnomalyECP、NimbusAmazonEC2EucalyptusAmazonS3SectorandSphere无直接对应系统abiquo无直接对应系统MongoDB无直接对应系统Eucalyptus•设计背景•体系结构•主要构件•访问接口•虚拟组网Eucalyptus•Eucalyptus:桉树--将程序连接到有用系统的弹性效能计算体系结构ElasticUtilityComputingArchitectureforLinkingYourProgramsToUsefulSystems•功能：--帮助用户完成对各种基于物理设施的虚拟设备的全局性掌控，完成对整个集群的计算能力进行动态配置。Eucalyptus的设计背景•开发目的：--为研究者提供模块化的试验平台•设计原则--Eucalyptus必须能够在不受其设计者操控的软硬件环境中进行部署和执行。--Eucalyptus必须是模块化的，以便不同的研究者进行升级、改造和替换，同时能够实现最大程度的可扩展性。•设计目标--可扩展性、可移植性、方便管理Eucalyptus的基本架构内网集群控制器节点控制器节点控制器节点控制器内网外网云控制器集群控制器节点控制器节点控制器节点控制器集群A集群B体系结构客户端客户端客户端云控制器集群控制器集群控制器集群控制器节点控制器节点控制器节点控制器节点控制器节点控制器节点控制器节点控制器节点控制器节点控制器节点控制器节点控制器节点控制器节点控制器节点控制器节点控制器节点控制器节点控制器节点控制器主要构件•云控制器--系统的中枢神经，它是用户的可见入口点和做出全局决定的组件。负责处理由用户或系统管理员发出的请求，做出高层的虚拟机实例调度决定•集群控制器--负责收集节点的状态信息、调度虚拟机实例执行请求、配置实例网络。运行在集群的头节点或服务器上。•节点控制器--负责管理一个物理节点，运行在虚拟机寄宿的物理资源上，负责启动、检查、关闭和清除虚拟机实例等工作。访问接口•客户端接口--实质上是Eucalyptus内部系统接口和外部定义的客户端接口之间的转换器。•管理接口--由云控制器通过一个基于Web的接口或通过命令行的方式实现，管理接口只对系统管理员可见，且具有唯一性。•实例控制接口--虚拟机控制服务(VmControlService)虚拟组网•特点：简单，易配置•协作完成单一任务的虚拟机之间可以通信，而属于不同用户的虚拟机之间应该是通信隔离的。•解决方法：--虚拟网络接口：公共接口，私有接口--通信隔离：用虚拟局域网（VLAN）给属于特定用户的实例集打上网络标签Nimbus•Nimbus：--基于网格中间件Globus，从最早的VirtualWorkspace演化而来，提供与EC2类似的功能和接口--Nimbus是一个开源的工具集，它可以把集群部署到IaaS云中Nimbus基本概念•标准客户端（referenceclient）：--以命令行的方式访问服务，全面支持WSRF前台的各种特性•WSRF（WebServicesResourceFramework）：--即Web服务资源框架•RMAPI（ResourceManagementAPI）：--即资源管理接口•工作区（workspace）：--实际上就是一个计算节点Nimbus基本架构相关客户端云客户端标准客户端EC2客户端RMAPI工作区服务1aaS网关工作区资源管理器工作区指示器工作区控制器EC2其它相关代理WSRFEC2WSDLSectorandSphere•实现语言：C++•Sector：--部署在广域网上的分布式存储系统，它为了使系统有高可靠性和可用性采用自动的文件副本冗余方式--已经用于Sloan数字巡天系统•Sphere：--建立在Sector之上的计算服务，它为用户编写分布式密集型数据应用提供了简单的编程接口Sector的基本架构主服务器从服务器数据客户端安全服务器SSLSSLSphere数据处理流程•当主服务器接收到Sphere数据处理的客户端请求，主服务器向客户端发送一个可用的从节点列表•客户端选择一些或者所有从节点，让SPE在其上运行•客户端与SPE建立UDT连接•流处理函数被发送给每个SPE，并储存在从节点上•SPE打开动态库并获得各种处理函数Sphere数据处理模型具体应用Sphere客户端n+mn+3n+2n+1n...n+3n+1nn-k...n+2SPESPESPESPE数据分割结果汇总输入流输出流SPE定位及调度abiquo•三部分：abiCloud、abiNtense和abiData•abiCloud--开源云管理软件，可以创建管理资源并且可以按需扩展。该工具能够以快速、简单和可扩展的方式创建和管理大型、复杂的IT基础设施(包括虚拟服务器、网络、应用和存储设备等)。•优势：--强大的Web管理界面•版本：--社区版、企业版、ISP版abiCloud的基本架构MongoDB•目标：--构建一个基于分布式文件存储系统的数据库•实现语言：C++•平台：LinuxMongoDB的基本架构服务器服务器服务器服务器服务器服务器数据中心A数据分片1数据分片2服务器服务器服务器服务器服务器服务器数据中心B数据分片1数据分片2复制MongoDB的优势•均衡性功能可扩展性及性能memcached键/值存储MongoDBRDBMS内容回顾•几套开源方案：--Hadoop、Eucalyptus、Nimbus、SectorandSphere、abiquo、MongoDB•主要内容：--目标、平台、实现语言、基本架构欢迎访问中国云计算网站欢迎使用《云计算》教材电子工业出版社刘鹏主编本讲到此结束