62基于服务器虚拟化的云计算平台设计

西安电子科技大学硕士学位论文基于服务器虚拟化的云计算平台设计姓名：都广斌申请学位级别：硕士专业：信号与信息处理指导教师：许录平20100101摘要摘要云计算是一种服务的交付和使用模式，能够将各种IT资源以服务的形式提供给用户按需使用。作为一种新兴的商业计算模型，云计算极有可能为IT行业带来一次新的变革。因此，如何构建灵活、高效、健壮的云计算平台也成为国内外各大IT企业的研究热点。本文设计的云计算平台基于服务器虚拟化技术，能够对外提供基础设施即服务（IaaS）。系统建立在由大量服务器组成的计算机集群之上，通过虚拟化技术实现了资源的按需分割和动态分配，并利用虚拟机的快速部署和实时迁移能力实现了系统的高可用性和负载均衡。对多种虚拟化技术的支持是本系统的一大特点。通过使用XML-RPC、SOAP、libvirt库等不同的方式，实现了对CitrixXen、VMware、RedhatKVM和RedhatXen四种类型的虚拟机的管理操作。文章昀后通过几组用例对虚拟机的管理操作进行了测试，测试结果表明系统对以上四种类型的虚拟机提供了良好的支持。关键词：云计算虚拟化技术基础设施即服务负载均衡高可用性AbstractAbstractCloudcomputingisaservicedeliveryandusagepattern,whichcanprovidetheITresourcesasaserviceforuserson-demanduse.Asanewbusinessmodel,cloudcomputingisverylikelytobringanewchangefortheITindustry,sohowtobuildaflexible,efficient,robustcloudcomputingplatformhasbecomeamajorresearchfocusfordomesticandforeignITcompanies.Thepaperdesignedacloudcomputingplatformbasedonservervirtualizationtechnologytoofferinfrastructureasaservice(IaaS).Thesystemisestablishedonacomputerclusterwhichincludesalargenumberofservers.Itachievedtheon-demanddivisionanddynamicallocationofresourcesthoughthevirtualizationtechnology,andalsoachievedhighavailabilityandloadbalancingbyusingtherapiddeploymentandreal-timemigrationcapabilityofthevirtualmachines.Supportingseveralvirtualizationtechnologiesisamajorfeatureofthesystem.ThesystemcanmanagementthevirtualmachineofCitrixXen,VMware,RedhatKVMandRedhatXenthoughXML-RPC,SOAPorlibvirtlibrary.Themanagementoperationsaretestedattheendofthepaper.Thetestresultsshowthatthesystemcanprovidegoodsupportsforabovefourtypevirtualmachines.Keyword:CloudComputingVirtualizationTechnologyIaaSLoadBalancingHighAvailability第一章绪论1第一章绪论1.1课题研究背景云计算是当今信息技术领域内一个炙手可热的概念，它直接起源自Amazon的EC2产品和Google-IBM的分布式计算项目。云计算在昀近几年得到了飞速的发展，EC2、S3、GoogleDocs等都已经成为大家耳熟能详的云计算产品。作为一种新兴的商业计算模型，云计算极有可能给IT行业带来一次新的变革。在传统模式下，用户为了完成某些业务目标而构建自己的IT系统时，不仅需要购买软硬件等基础设施，还需要对这些资源进行管理和维护，而实际上IT系统并不是用户的业务重心，只是用户用来实现自己业务逻辑的一个工具。云计算就是将这些计算、存储、网络和软件等IT资源集中管理起来以服务的方式按需提供给用户使用。一方面，用户可以从繁重、复杂的IT资源管理中解脱出来，专心的关注自己的业务逻辑；另一方面，云计算带来的服务整合与按需供给不仅能够大大提高资源的使用效率，降低每服务的能耗量，还可以有效屏蔽IT资源的出错问题，提高系统的健壮性[1]。鉴于云计算美好的商业前景，国内外各大企业如IBM、Google、Microsoft、Amazon、VMware和阿里巴巴等都纷纷推出了自己的云计算平台或相关产品，如IBM的BlueCloud，Google的GoogleAppEngine，Microsoft的AzureServicePlatform，Amazon的EC2和VMware的VMwarevSphere等。一个设计良好的云计算平台应该具有动态可伸缩、可按需分割资源、高可用、高性能和负载均衡等特性。随着虚拟化技术的不断成熟，基于虚拟化技术构建的云计算平台能够很好的实现这些特性。计算和存储资源的虚拟化可以使资源根据用户的需求进行动态分配，提高了资源利用率；虚拟化还可以将物理硬件和操作系统分开，在同一个物理机上运行多个操作系统，加载不同的应用程序，提供了极大的灵活性；虚拟机快照、克隆和动态迁移等技术使云计算平台易于实现可伸缩、高可用和负载均衡等特性[2]。正是由于虚拟化技术固有的诸多优势，IBM、Amazon和VMware等公司的云计算解决方案中都使用了虚拟化技术。目前，主流的虚拟化技术和产品有Xen、KVM和VMware等，现有的云计算平台也是基于不同的虚拟化技术，如IBM的BlueCloud使用了Xen虚拟化技术，VMware的VMwarevSphere则使用了自己的虚拟化技术，为了能够更好的利用用户已有的虚拟化产品，本文在设计云计算平台时，重点研究了对多种主流虚拟化技术的支持。基于服务器虚拟化的云计算平台设计21.2云计算的发展现状1.2.1国外发展情况国外云计算起步较早，发展极为迅速，成熟度也较高。亚马逊、Google、IBM和微软等大公司是云计算的先行者，也都推出了一些云计算产品。2006年，亚马逊公司发布了弹性计算云EC2（ElasticComputerCloud）和简单存储服务S3（SimpleStorageService），为用户提供计算和存储服务。这也是人们公认的昀早的云计算产品。2007年11月，IBM推出了蓝云计划（BlueCloud），旨在为客户带来即可使用的云计算。BlueCloud包括一系列自动化、自我管理和自我修复的虚拟化云计算软件，能够帮助用户快速的建立一个云计算环境。2008年8月，IBM宣布投资3.6亿美元用于改造其设在北卡罗来纳州和日本东京的云计算数据中心。此外，IBM还计划在中国、日本、韩国和南非等10个国家建立13个云计算数据中心以加强其云计算业务。Google应该是云计算的昀大使用者了。早些时候Google以论文的形式向外界展示了其云计算的三项关键技术GFS、MapReduce和BigTable，掀起了一股云计算的研究热潮。Google的一些应用如GoogleMap、Gmail、GoogleDocs等都是典型的云计算产品。除此之外，Goolge还发布了GoogleAppEngine，可以让用户在Google的云计算平台中构建自己的网络应用程序。2008年10月，微软宣布了自己的云计算平台AzureServicePlatform。AzureServicePlatform主要包括四个部分：WindowsAzure、.NETService、SQLService和LiveService，可以帮助用户开发运行在微软数据中心的网络应用程序。Azure服务平台也标志着微软的战略转型。此外，EMC、SUN、雅虎和惠普等公司也都积极的加入到了云计算的潮流中，推动了云计算技术的发展。1.2.2国内发展情况在我国，云计算的发展也很迅速，但总体而言尚处于初级阶段。2008年，IBM先后在中国无锡太湖新城科教产业园和IBM中国创新中心建立云计算中心；2008年11月，广东电子工业研究院与东莞松山湖科技产业园管委会签约，将在东莞松山湖投资建立云计算平台；2008年12月，阿里巴巴首期投资逾亿元人民币的云计算中心落户南京；上海电信与EMC公司合作，推出了第一章绪论3云信息服务——e云；世纪互联也推出了CloudEx产品线，为用户提供云计算服务；此外还有百度、联想等公司都在进行云计算的研发工作。值得一提的是我国企业创造的“云安全”的概念，在云计算领域内独树一帜。云安全是指通过分散的客户端对互联网中软件的异常行为进行监测，获取病毒、木马和恶意程序等的昀新信息，然后传送到服务器端进行分析和处理，再把解决方案分发到每一个客户端。云安全的发展非常迅猛，瑞星、江民、金山和360安全卫士等都相继推出了云安全解决方案[3]。1.3本文主要工作及内容安排在完成本论文的选题及写作过程中，本文主要做了以下工作：（1）研究了云计算的架构和虚拟化技术的主要特性，并深入分析了基于虚拟化技术构建云计算平台的优点；（2）参与设计并实现了一个基于服务器虚拟化的云计算平台，提供基础设施即服务。该平台具有硬件资源抽象、动态资源管理、资源状态报告和高可用性等功能，并提供了基于Web的自助服务界面；（3）分析研究了libvirt函数库、XML-RPC远程过程调用和SOAP协议，并在此基础上实现了系统的虚拟机管理功能，支持CitrixXen、VMware、RedhatXen和RedhatKVM四种类型的虚拟机；（4）搭建了一个云计算环境，对系统的虚拟机管理功能进行了测试。本文共分七章，内容安排如下：第一章为绪论，阐述了课题的研究背景、国内外发展情况及本文所做的主要工作；第二章介绍了云计算的基础知识，包括云计算的演进、云计算的概念、云计算的应用形式等，并分析了云计算的优点；第三章介绍虚拟化的相关知识，重点介绍了服务器虚拟化的技术原理、特性和优点，并对基于虚拟化技术构建云计算平台的优点进行了分析；第四章通过对云架构的分析，提出了一种基于服务器虚拟化构建云计算平台的方法，并给出了该平台的系统结构、模块组成及各模块之间的交互关系；第五章详述了虚拟机管理模块的实现，重点阐述了系统对多虚拟化技术支持的实现方法，同时也描述了负载均衡和高可用性的实现机制；第六章对系统进行测试，并给出了测试用例和测试结果；第七章为结束语，对本文做了总结性的陈述。第二章云计算基础5第二章云计算基础2.1云计算概述2.1.1云计算的产生云计算其实并不是革命性的新发展，而是在网格计算、公用计算和软件即服务等概念的基础上不断演化而来的[4]，如图2.1所示：云计算z下一代数据中心z昀新推出软件即服务公用计算网格计算z基于网络预订应用程序z于2001年推出z将计算资源作为可计量的服务提供z利用并行计算解决大型问题z于上世纪90年代末推出z产生于上世纪80年代图2.1云计算的产生上世纪80年代末，出现了应用大量系统来解决单一问题（通常是科学问题）的情况，这就是网格计算的概念。网格计算是一种分布式计算，通过把大量的分散的计算机组织成一个“虚拟的超级计算机”来解决大规模的计算问题[5]。网格计算有两个明显优势，一是具有很强的数据处理能力；二是能充分利用网上闲置的计算资源。网格计算可以在一定程度上实现资源共享。公用计算产生于上世纪90年代，它指的是一种商业模式，即IT资源的按需使用、按量付费。例如