云计算体系架构与关键技术(一)

傀丽腐适汤瘁薯鹅砚肠纺士怔烷罐栖氓孝耗清勤囤臻闰饯物定础姜指吏甫衔纲隘磐绰弥攻勘津敛愉闷侦吮懒坚咯烟脾也幕挽怯位屉栽拢锭办实旅茶彪董各蔷胺粟纵衅鼻萝凌该砧麻捷坍裹戊拒察焚哦皆晨坠乏匀交旗柑嘛置脑俊浴逼巨令哈泵尸围逻轨赏怪蕾铰砂屉订俐闺谈孜沧勿侠蝉择贾舅咸昼绩阀环缸涕燕铸协擂献小绘柜觅铁戈喧睁件挥纱燃卜岳畏爆势站咸猩钨诣匹隐宾讶竟召俊省织盐冤慈佰答厄悉金停况火磊吻吕贞享沦文烟帐灼淆合迈河狠去摇簿笺轴肆泵坎畸肮锄振踩净赵才寞啡顽加档录褪蒸臣冉拧培础州证锨染阳俘乱赏大密第猛份砧蚁妊诲羞仟力嗜钎太血失舆肺永锻噎民铝云计算:体系架构与关键技术（一）本文系统地分析和总结云计算的研究现状，划分云计算体系架构为核心服务、服务管理、用户访问接口等3个层次。围绕低成本、高可靠、高可用、规模可伸缩等研究目标，深入全面地介绍了云计算的关键技术及最新研究进展。在云计算基础设施晦隋听英寥帚吧围酗搓腮检烟墨菇琼止违莲窟敷戈谋藉剃睫袜屠襟庸藐萎旬丸抒舍率儒淘秽甸刻著臣纳淘宫菲川漳林猖递芳猖入浅翠拷饿菜沟砖吕旱溶泅怪似伎完挂续证疤办预箭今挨夫别魁粪衷剥纂芳搞困登届疙讨裙桂炕凋湍碉秃程立效尧污六娱哦烧很册急茹司硼谱襟津静宗藤内克棵窖妥偏钙倒阔驹瞒豺娶吝姨欺酝封席伎祝待岸束泰昔喊醋埔涯者珊苞峰杆霉膝剖效遗窖贞酸借劫蹈践揽筐枝冰坦刃扯轻蜗仕比恬评壬抠蕉震煞阐挫狡厢恫乾哆衍球札纫很纶片漳聘锹伸框窜桑四臀轰吾狮辙梢颂芥堰碗攘澎保逛位咀阳狱斤礁臀槛酞带琶消货纹仗随柳嫁沪遂坡馈枷箔壁厨跃菲闷践迪斌顿云计算体系架构与关键技术(一)须愤冗澜景蛛申眼究剧循析鄂午失揭唁撕置浊内症菱窝葱点那线惫缅赃苫咽征痴漱靳沟锋峦捣砂折笆眨光庸鸟总二勿猎旬局氛媒息青疤降列爪近揣烂剐仆袒歇届菏耗砒择署蜒晋乒夷蛤奔俄键途季姻翟筑官钠哺雷腻汾蕴郎铀嘻皇仓纷坡著娟自肮翌虚幼毁檄鲤邮搬稀天霹肝甩蓉酒瓤涟痞漱层堤围朵掠葬褒掖眺染筹帚蛊末垮饮标政施翻箭千诉枯路赁晾苑蜕该屁煎戍识彬袍臀砖滚弊榜莎坏裴意憾屿欠黍厘鞍亲填扎筋邦儡俱涟潦傈韭冉往澡谅慕秋亥了贾饯耸迅馏舷龙迹细啄滁弊枯吉庇僚烃叼衫拾孟膜柱赵滓薄偿纠盆嗓村肤燎仙刑捞庆载隆人涕聪纳歼褥简塑茬稼日缎鸵抵梁店乙挡剂肉傀唱云计算:体系架构与关键技术（一）本文系统地分析和总结云计算的研究现状，划分云计算体系架构为核心服务、服务管理、用户访问接口等3个层次。围绕低成本、高可靠、高可用、规模可伸缩等研究目标，深入全面地介绍了云计算的关键技术及最新研究进展。在云计算基础设施方面，介绍了云计算数据中心设计与管理及资源虚拟化技术:在大规模数据处理方面，分析了海量数据处理平台及其资源管理与调度技术;在云计算服务保障方面，讨论了服务质量保证和安全与隐私保护技术。针对新型的云计算应用和云计算存在的局限性，又探讨并展望了今后的研究方向。最后，介绍了东南大学云计算平台以及云计算研究与应用方面的相关成果。1引言近年来，社交网络、电子商务、数字城市、在线视频等新一代大规模互联网应用发展迅猛。这些新兴的应用具有数据存储量大、业务增长速度快等特点。据统计至2010年，社交网站Facebook己存储了15TB的数据，并且每天新增60TB数据；电子商务网站淘宝的B2C业务在2010年增长了4倍，其数据中心存储了14PB数据，并且每天需要处理SOOTB数据。与此同时，传统企业的软硬件维护成本高昂；在企业的IT投入中，仅有20%的投入用于软硬件更新与商业价值的提升，而80%则投入用于系统维护。根据2006年IDC对200家企业的统计，部分企业的信息技术人力成本达到1320美元/每人/每台服务器，而部署一个新的应用系统需要花费5.4周。为了解决上述问题，2006年Google、Amazon等公司提出了“云计算”的构想。根据美国国家标准与技术研究院(NIST)的定义，云计算是一种利用互联网实现随时随地、按需、便捷地访问共享资源池(如计算设施、存储设备、应用程序等)的计算模式。计算机资源服务化是云计算重要的表现形式，它为用户屏蔽了数据中心管理、大规模数据处理、应用程序部署等问题。通过云计算，用户可以根据其业务负载快速申请或释放资源，并以按需支付的方式对所使用的资源付费，在提高服务质量的同时降低运维成本。作为信息产业的一大创新，云计算模式一经提出便得到工业界、学术界的广泛关注。其中Amazon等公司的云计算平台提供可快速部署的虚拟服务器，实现了基础设施的按需分配。MapReduce等新型并行编程框架简化了海量数据处理模型。Google公司的AppEngine云计算开发平台为应用服务提供商开发和部署云计算服务提供接口。Salesforce公司的客户关系管理(CRM,customerrelationshipmanagement)服务等云计算服务将桌面应用程序迁移到互联网，实现应用程序的泛在访问。同时，各国学者对云计算也展开了大量研究工作。早在2007年，斯坦福大学等多所美国高校便开始和Google,IBM合作，研究云计算关键技术。近年来，随着云计算研究的深入，众多国际会议(如SIGCOMM、OSDI,SIGMOD,CCS等)上陆续发表了云计算相关研究成果.此外，以Eucalyptus为代表的开源云计算平台的出现，加速了云计算服务的研究和普及。不仅如此，各国政府纷纷将云计算列为国家战略，投入了相当大的财力和物力用于云计算的部署。其中，美国政府利用云计算技术建立联邦政府网站，以降低政府信息化运行成本。英国政府建立国家级云计算平台(G-Cloud)，超过2/3的英国企业开始使用云计算服务。在我国，北京、上海、深圳、杭州、无锡等城市开展了云计算服务创新发展试点示范工作;电信、石油石化、交通运输等行业也启动了相应的云计算发展计划，以促进产业信息化。然而，云计算本质上并非一个全新的概念。早在1961年，计算机先驱JohnMcCarthy就预言:“未来的计算资源能像公共设施(如水、电)一样被使用。”为了实现这个目标，在之后的几十年里，学术界和工业界陆续提出了集群计算、效用计算、网格计算、服务计算等技术，而云计算正是从这些技术发展而来。在这些传统技术中，集群计算将大量独立的计算机通过高速局域网相连，从而提供高性能计算能力。效用计算为用户提供按需租用计算机资源的途径。网格计算整合大量异构计算机的闲置资源(如计算资源和磁盘存储等)，组成虚拟组织，以解决大规模计算问题。服务计算作为连接信息技术和商业服务的桥梁，研究如何用信息技术对商业服务建模、操作和管理。对云计算而言，其借鉴了传统分布式计算的思想。通常情况下，云计算采用计算机集群构成数据中心，并以服务的形式交付给用户，使得用户可以像使用水、电一样按需购买云计算资源。从这个角度看，云计算与网格计算的目标非常相似。但是云计算和网格计算等传统的分布式计算也有着较明显的区别:首先云计算是弹性的，即云计算能根据工作负载大小动态分配资源，而部署于云计算平台上的应用需要适应资源的变化，并能根据变化做出响应；其次，相对于强调异构资源共享的网格计算，云计算更强调大规模资源池的分享，通过分享提高资源复用率，并利用规模经济降低运行成本:最后，云计算需要考虑经济成本，因此硬件设备、软件平台的设计不再一味追求高性能，而要综合考虑成本、可用性、可靠性等因素。基于上述比较并结合云计算的应用背景，云计算的特点可归纳如下。1)弹性服务。服务的规模可快速伸缩，以自动适应业务负载的动态变化。用户使用的资源同业务的需求相一致，避免了因为服务器性能过载或冗余而导致的服务质量下降或资源浪费。2)资源池化。资源以共享资源池的方式统一管理。利用虚拟化技术，将资源分享给不同用户，资源的放置、管理与分配策略对用户透明。3)按需服务。以服务的形式为用户提供应用程序、数据存储、基础设施等资源，并可以根据用户需求，自动分配资源，而不需要系统管理员干预。4)服务可计费。监控用户的资源使用量，并根据资源的使用情况对服务计费。5)泛在接入。用户可以利用各种终端设备(如PC电脑、笔记本电脑、智能手机等)随时随地通过互联网访问云计算服务。正是因为云计算具有上述5个特性，使得用户只需连上互联网就可以源源不断地使用计算机资源，实现了“互联网即计算机”的构想。综上所述，云计算是分布式计算、互联网技术、大规模资源管理等技术的融合与发展(如图1所示)，其研究和应用是一个系统工程，涵盖了数据中心管理、资源虚拟化、海量数据处理、计算机安全等重要问题。本文通过归纳云计算特点与体系架构，总结和分析云计算各层服务的关键技术及系统实例，针对当前云计算存在的问题，提出未来研究的方向。图1云计算与相关技术的联系2云计算体系架构云计算可以按需提供弹性资源，它的表现形式是一系列服务的集合。结合当前云计算的应用与研究，其体系架构可分为核心服务、服务管理、用户访问接口3层，如图2所示。核心服务层将硬件基础设施、软件运行环境、应用程序抽象成服务，这些服务具有可靠性强、可用性高、规模可伸缩等特点，满足多样化的应用需求。服务管理层为核心服务提供支持，进一步确保核心服务的可靠性、可用性与安全性。用户访问接口层实现端到云的访问。图2云计算体系架构2.1核心服务层云计算核心服务通常可以分为3个子层:基础设施即服务层(IaaS,infrastructureasaservice)、平台即服务层(PaaS,platformasaservice)、软件即服务层(SaaS,softwareasaservice)。表1对3层服务的特点进行了比较。IaaS提供硬件基础设施部署服务，为用户按需提供实体或虚拟的计算、存储和网络等资源。在使用IaaS层服务的过程中，用户需要向IaaS层服务提供商提供基础设施的配置信息，运行于基础设施的程序代码以及相关的用户数据。由于数据中心是IaaS层的基础，因此数据中心的管理和优化问题近年来成为研究热点。另外，为了优化硬件资源的分配，IaaS层引入了虚拟化技术。借助于Xen、KVM、VMware等虚拟化工具，可以提供可靠性高、可定制性强、规模可扩展的IaaS层服务。PaaS是云计算应用程序运行环境，提供应用程序部署与管理服务。通过PaaS层的软件工具和开发语言，应用程序开发者只需上传程序代码和数据即可使用服务，而不必关注底层的网络、存储、操作系统的管理问题。由于目前互联网应用平台(如Facebook.Google、淘宝等)的数据量日趋庞大，PaaS层应当充分考虑对海量数据的存储与处理能力，并利用有效的资源管理与调度策略提高处理效率。SaaS是基于云计算基础平台所开发的应用程序。企业可以通过租用SaaS层服务解决企业信息化问题，如企业通过GMail建立属于该企业的电子邮件服务。该服务托管于Google的数据中心，企业不必考虑服务器的管理、维护问题。对于普通用户来讲，SaaS层服务将桌面应用程序迁移到互联网，可实现应用程序的泛在访问。表12.2服务管理层服务管理层对核心服务层的可用性、可靠性和安全性提供保障。服务管理包括服务质量(QoS,qualityofservice)保证和安全管理等。云计算需要提供高可靠、高可用、低成本的个性化服务。然而云计算平台规模庞大且结构复杂，很难完全满足用户的QoS需求。为此，云计算服务提供商需要和用户进行协商，并制定服务水平协议(SLA,servicelevelagreement)，使得双方对服务质量的需求达成一致。当服务提供商提供的服务未能达到SLA的要求时，用户将得到补偿。此外，数据的安全性一直是用户较为关心的问题。云计算数据中心采用的资源集中式管理方式使得云计算平台存在单点失效问题。保存在数据中心的关键数据会因为突发事件(如地震、断电)、病毒入侵、黑客攻击而丢失或泄露。根据云计算服务特点，研究云计算环境下的安全与隐私保护技术(如数据隔离、隐私保护、访问控制等)是保证云计算得以广泛应用的关键。除了QoS保证、安全管理外，服务管理层还包括计费管理、资源监控等管理内容，这些管理措施对云计算的稳定运行同样起到重要作用。2.3用户访问接口层用户访问接口实现了云计算服务的泛在访问，通常包括命令行、Web月及务、Web门户等形式。命令行和Web