面向云计算数据中心的能耗建模方法

软件学报ISSN1000-9825,CODENRUXUEWE-mail:[e-mail],2014,25(7):1371−1387[doi:10.13328/j.cnki.jos.004604]©中国科学院软件研究所版权所有.Tel/Fax:[phone]面向云计算数据中心的能耗建模方法∗罗亮1,吴文峻2,张飞21(电子科技大学计算机科学与工程学院,四川成都611731)2(北京航空航天大学计算机学院,北京100191)通讯作者:罗亮,E-mail:[e-mail]摘要:云计算对计算能力的需求,促进了大规模数据中心的飞速发展.与此同时,云计算数据中心产生了巨大的能耗.由于云计算的弹性服务和可扩展性等特性,云计算数据中心的硬件规模近年来极度膨胀,这使得过去分散的能耗问题变成了集中的能耗问题.因此,深入研究云计算数据中心的节能问题具有重要意义.为此,针对云计算数据中心的能耗问题,提出了一种精确度高的能耗模型来预测云计算数据中心单台服务器的能耗状况.精确的能量模型是很多能耗感知资源调度方法的研究基础,在大多数现有的云计算能耗研究中,多采用线性模型来描述能耗和资源利用率之间的关系.然而随着云计算数据中心服务器体系结构的变化,能耗和资源使用率的关系已经难以用简单的线性函数来描述.因此,从处理器性能计数器和系统使用情况入手,结合多元线性回归和非线性回归的数学方法,分析总结了不同参数和方法对服务器能耗建模的影响,提出了适合云计算数据中心基础架构的服务器能耗模型.实验结果表明,该能耗模型在只监控系统使用率的情况下,在系统稳定后,能耗预测精度可达到95%以上.关键词:云计算;数据中心;能耗建模;资源调度算法中图法分类号:TP316中文引用格式:罗亮,吴文峻,张飞.面向云计算数据中心的能耗建模方法.软件学报,2014,25(7):1371−1387.英文引用格式:LuoL,WuWJ,ZhangF.Energymodelingbasedonclouddatacenter.RuanJianXueBao/JournalofSoftware,2014,25(7):1371−1387(inChinese).(SchoolofComputerScienceandEngineering,UniversityofElectronicScienceandTechnologyofChina,Chengdu611731,China)2(SchoolofComputerScienceandTechnology,BeiHangUniversity,Beijing100191,China)Correspondingauthor:LUOLiang,E-mail:[e-mail]:Energyefficiencyofclouddatacentershasreceivedsignificantattentionrecentlyasdatacentersoftenconsumesignificantresourcesinoperation.Mostoftheexistingenergy-savingalgorithmsfocusonresourceconsolidationforenergyefficiency.Accurateenergyconsumptionmodelisthebasisforthesealgorithms.Thispaperproposesanaccurateenergymodeltopredictenergyconsumptionofsinglemachine.Inmostoftheexistingcloudcomputingenergystudies,linearmodelsareusedtodescribetherelationshipbetweenenergyconsumptionandresourceutilizations.However,withthechangesincomputerarchitecture,therelationshipbetweenenergyandresourceutilizationsmaynotbelinear.Infact,thispaperexploredavarietyofregressionanalysismethodstoestimatetheenergyconsumptionaccuratelywhileusinglowcomputationaloverhead.Initially,multiplelinearregressionmodelsareused,buttheyoftendonotproducegoodenoughresults.Afterwards,thispaperchoosesthreenon-linearmodelsandfinallysettledwiththepolynomialregressionwithLassoasitproducesthebestestimation.Experimentalresultsshowthatinadoptionofenergymodelpresentedinthispaper,thepredictionaccuracycanreachmorethan95%.∗基金项目:国家高技术研究发展计划(863)(2013AA01A210)收稿时间:2013-12-30;修改时间:2014-03-17;定稿时间:2014-05-061372JournalofSoftware软件学报Vol.25,No.7,July2014Keywords:cloudcomputing;datacenter;energymodeling;resourceschedulingalgorithm能耗模型(energymodel)是云数据中心重要的组成部分.在不间断运转的云数据中心,用户和管理者都需要了解他们的行为是如何影响计算机能耗的,从而采取相应的调节措施,达到优化能效的目的.随着硬件厂商对能耗的支持,很多组件已经支持能耗的实时测量,但是单纯的物理测量手段一方面不能预测未来的能耗需求;另一方面,它们也不能为资源使用情况和能耗之间提供有效的联系,而这两点恰恰是很多能效优化算法的切入点.如今,随着云数据中心规模的不断扩张,数据中心的能耗特点也变得复杂多变,很多研究人员也提出了切合他们实际的模型.然而,针对SaaS,PaaS和IaaS(software/platform/infrastructureasaservice)的能效优化工作差别巨大,不同层次的能耗模型缺乏可移植性.因此,本文试图从云基础设施层面为云数据中心的服务器建立合理、可靠的能耗模型,并比较不同采样方式和数学方法对能耗模型的影响.首先,着重描述我们所构建的非线性能耗模型的特性;接下来,则在算法与实验上应用本文提出的能耗模型的研究成果,以验证本文所陈述的能耗模型的有效性,并且该能耗模型也有希望应用到其他能耗研究工作中.1云数据中心的能耗模型1.1能耗模型建立的原则通常来说,一个准确、高效的能耗模型对于云数据中心的能耗优化工作是非常重要的,虽然现在的硬件中集成了很多能耗模块或与能耗相关的组件,但这只能测量该模块或该节点的实时能耗.这些模块或组件不能预测未来的能耗,也不能把能耗与系统使用率进行有效且必要的联系.因此,我们需要一个准确而高效的能耗模块来为后续的资源调度算法提供有效支撑,能耗模型应该遵循以下原则:(1)全系统.建立的模型应该是系统使用信息与全系统的能耗关联起来,而非仅单独针对某个独立的组件建模;(2)精确.模型针对系统能效优化算法应该有足够的精确度,例如,该模型的平均相对偏差不超过10%.此外,先期建立的模型越精确,对后期优化工作越有利;(3)快速.能耗模型应尽可能地快速,甚至实时地预测能耗;(4)通用性.建模框架应该可以在不同的系统上通用,例如面对不同的处理器、不同的内存调控技术;(5)弹性.模型应该能够根据云计算环境的规模轻松地加以扩展或收缩;(6)简单.模型应尽可能地简单,在不影响预测准确性和支持节能优化方法的同时,应尽量减少输入参数的个数并降低模型的复杂度.1.2能耗建模的基本流程能耗建模的基本流程如图1所示,它包括以下3个基本步骤:采集能耗及其相关的资源信息;根据回归分析的方法建立能耗模型;用该能耗模型监测系统能耗.具体流程如下:(1)采样首先,在应用程序运行时采集系统能耗以及服务器能耗的影响因素.根据已有的研究[1,2],本文最后确定了采样的两个基本方向:处理器的性能计数器(performancecounter)和系统使用率(systemutilization).图2是收集能耗和特定资源信息的平台示意图.我们把需要进行能耗建模的服务器B通过电表连接到电源上,该电表能够实时收集自身的电流和电压信息,并及时把信息传输给收集电能信息的服务器A.确保通过该电表的电器只有服务器B,这样,服务器A收集到的能耗信息即为服务器B的能耗数据.如果电流电压数据分开显示,则我们就可以得到服务器B实时的能耗情况;而服务器B可以通过采样工具收集自身的资源信息.结合这两部分信息,就可以较为精确地获得建模所需的数据.为了更加有效地提取资源使用信息,我们通常需要在服务器B上运行标准检查程序Benchmark.罗亮等:面向云计算数据中心的能耗建模方法1373(2)建立能耗模型一般情况下,服务器能耗变化情况是复杂的,多种因素混杂在一起.因此,我们必须把复杂的研究对象变为简单和理想化的研究对象,并符合我们之前提出的能耗建模的原则.然而,通过采样得到的资源信息因子对能耗贡献有强有弱,本文利用回归分析的方法,通过数学手段,合理地筛选能耗因子,从而减少被引入的因子数目,在不影响精确度的基础上达到降低模型复杂度的目的.(3)检验能耗模型的精确度,并利用模型监测系统能耗根据能耗模型,我们就可以有选择地采集对能耗影响大的因素或组件,用于实时的系统能耗监测.Fig.1Basicprocessofenergymodeling图1能耗建模的基本流程需要建立能耗模型的服务器B电表数据记录服务器A电源链接电源智能电表链接电源读取电表记录Fig.2Diagramofenergysampling图2能耗采样的示意图本文不讨论单独将节点服务器散热当作能耗模型的参数,虽然散热所消耗的能量巨大[3,4],但是采集热量参数需要额外的传感器和硬件,并且其建模方法和本文所陈述的方法有较大不同.因此,本文暂时不能把服务器散热当作参数来建立能耗模型,而是根据系统资源使用率,建立系统层的能耗模型.1.3标准检查程序Benchmark为了获知节点服务器的性能,研究人员可以在该服务器上运行一组程序或操作,该程序即被称为标准检查程序(benchmark).Benchmark通常与计算机硬件的某一部分性能相联系,例如处理器的浮点计算、硬盘的读写访问速度等.Benchmark通常用在不同体系结构的计算机间的不同子系统的比较上.常见的Benchmark包括:计算型,例如SPEC2006;硬盘I/O型,例如I/Ozone;网络型,例如Netperf(见表1).采样•采集系统的能耗•处理器性能计数器VS.系统使用率建立模型•根据不同的回归方法建立能耗模型•确立预测时需要的采样参数预测•预测系统能耗1374JournalofSoftware软件学报Vol.25,No.7,July2014Table1Comm