媒体存储技术-6存储测评技术

中国传媒大学研究生课程《数字媒体存储技术》朱立谷Email:[e-mail]:[e-mail]电话：65783324中国传媒大学计算机学院网络存储实验室参数5存储综合测评技术5.1综合评测指标体系5.2功能评测技术5.3性能基准测试程序5.4可用性测试技术Becauseitmatterstoyourusersandcustomers.Slowstorageperformancemeansslowresponsetimesandlongrunningqueries.Becauseitaffectsyourbatchwindow.Slowstoragecanmeanlongerbatchorbackupwindowscausinglowerapplicationavailabilityormaintenancewindows.Becauseitmatterstoyourcompany’sprofitability.Slowstoragecanfrustrateyourcustomersandwastetheinvestmentyouhavemadeinyourserverinfrastructure.Inappropriateuseoffaststoragemeanswasteddollarsspentonperformance.Becausestoragevendorsdonotpublicizeeveryrelevantmetricforyourapplicationandenvironment.1.厂家基于市场策略的人为操作由于目前大多数用户对存储及其测评技术不了解，而存储厂商也只公布其产品的测试结果，都未公开自己的系统具体配置、测试环境与方法。测试结果是和测试环境紧密相关的，相同的产品在不同的测试环境下所得到的测试结果截然不同；这些没有描述测试环境与方法的结果对用户来说参考意义并不大，因此没有可对比性的测试结果直接影响用户选购存储产品。2.测试负载不符合买主的应用环境特征性能测试主要采用模拟方法对被测存储系统进行压力测试的，因此，测试节点端的配置和应用操作对存储系统的影响巨大，如不同的I/O数据块大小、不同的读写比例、不同的存取操作模式、访问文件的大小和并发连接的数量等都是影响存储系统测试结果的关键因素。3.测试对象选择不合理存储产品应用时需要配备一整套的系统，单个设备的性能数据不足以代表整个存储系统的性能数据。例如存储系统不只包含核心的存储控制器和磁盘柜，还包括适配器、网络设备、线缆等组成部分，这部分器件的数据处理消耗对存储系统的性能表现也会产生一定影响。因此，需要去研究存储系统的硬件配置，比较各项参数的数值以及参数表以外的因素。为了优化配置，必须进行存储系统性能瓶颈测试。因此，在对系统进行瓶颈测试时，需要详细研究被测系统的具体配置，保证测试结果的真实与可靠，从而为优化系统提供技术方案。1.对企业效益的影响存储测评不仅可以根据企业的具体应用测试系统在投入运营前的性能和可靠性的关键指标，还可以为企业对产品的选型提供参考，也可以为存储产品和系统的优化提供技术方案，使资源的利用率达到最大化。2.促进企业的研发能力存储测评能帮助企业发现产品在研发的各个阶段存在的问题，找出系统瓶颈，提供技术参考资料，为企业研发更好的技术提供了帮助。3.促进产业的健康发展存储测评不仅能促进存储相关软硬件关键技术研究，而且可以促进产品的设计与优化，更可以为产品生产和系统集成等过程提供质量控制，还能促进存储产品在典型应用中的产业化以及系统的优化升级等。2.1存储测评的技术现状目前，国内外存储评测技术研究的主要内容是对存储系统的性能评测。从最早的TPC基准测试和硬盘性能评测工具、文件系统I/O性能评测工具，已经发展到针对网络文件服务器（NFS、CIFS）的性能评测基准和块级网络存储的性能评测基准。1988年成立的TPC（TransactionProcessingCouncil）制定了商务应用基准程序的标准规范、性能和价格度量，并依据这些基准测试项目发布性能数据。TP系统每次事务进行2～10次磁盘存取，所以，TPC软件不仅可测量数据库等TP软件的效率，也可测量存储系统的I/O性能。文件系统I/O性能评测软件是目前最易获得的存储性能评测工具，常用的有PostMark、IoZone、Bonnie++和IoMeter。IoZone、Bonnie++可以运行在多个操作系统上，是较好的文件I/O操作的基准工具；IoMeter可对各种常用的负载情况如文件服务器、OLTP、WEB服务进行测量和评测，IoMeter的工作负载规范已经成为Windows平台的事实标准，并且可以产生许多性能指标结果，是Windows平台最好用的、最常用的测试I/O性能的基准工具；PostMark是测试INTERNET应用下文件系统性能的新基准。目前已有一些针对NAS网络文件存储系统的测量和评估的性能基准。SPEC(StandardPerformanceEvaluationCorporation)下属的OSG(OpenSystemsGroup)小组维护的LADDIS和Specfs是目前广泛使用的NFS文件服务器的性能评测基准。Specfs只能评测其中的NFS性能。Netbench弥补了Spesfs的缺陷，被接受为测试CIFS的性能基准，Netbench只能报告吞吐量而不能报告响应时间，因此，NETAPP又开发了一个测试CIFS的新基准CIFSBench。目前尚无针对SAN的性能评测工具。但由于SAN存储系统提供块级I/O存储服务，在服务器上它被映射为本地磁盘，因此，文件系统I/O性能评测基准也可以用来测试和评估SAN的性能，IoMeter是最常用的基准工具之一。即使采用相同的基准工具用于存储系统评测，由于用户的测试环境、存储配置和工作负载等方面都不同，因此，得到的测试指标仍然没有可比性。因此，2001年SPC（StoragePerformanceCouncil）创建了第一个行业标准性能基准测试SPCBenchmark-1(SPC-1)，它是第一个基于工业标准的存储性能测试体系，可以对存储产品的性能、价格和可靠性三项指标进行评价。SPC基准的最大特点是定义了标准的测试环境、存储配置和工作负载，并且规定测试结果必须经过审计才予以公布，保证测试结果的真实性和可重复性。SPC-1主要用于针对随机I/O应用环境的基准测试，随着新的应用推广，又推出了SPC-2和SPC-3。1.网络存储工业协会（StorageNetworkIndustryAssociation，SNIA）SNIA拥有420家来自世界各地的公司成员和7100多位个人成员，遍及整个存储行业。SNIA致力于提供相关行业标准，推动开放式存储网络解决方案的市场。为了是存储行业的健康发展，提出了“绿色存储能源测量规范”，促进存储领域向节能方面发展等。2010年初，网络存储工业协会（SNIA）出台了“绿色存储能源测量规范”（GreenStoragePowerMeasurementSpecifications），规范包括具体的绿色存储的分类方法，即将不同的存储技术和存储系统加以归类以便进行对比，除此以外，还包括一个测量系统空闲状态下能耗的测量方法。1.存储性能委员会（StoragePerformanceCouncil，SPC）SPC是存储领域拥有举足轻重地位的第三方存储测评机构，拥有数十家大型存储企业和研究机构会员，致力于建立标准化的测评基准，为企业和用户提供客观、公正和权威的检测结果。目前，IBM、HP、Oracle、HDS、DELL等存储巨头都是SPC的重要会员，他们都按照SPC的测评规范对自身产品进行测评，并把测评结果发给SPC审核，SPC把其审核的结果发布到网上供用户了解。SPC已建立起一套测评规范，包括SPC-1、SPC-2、SPC-3和SPC-E等，其中SPC-1是用于测试存储产品在随机I/O应用环境下的性能，SPC-2用于测试存储产品在顺序I/O应用环境下的性能，SPC-3用于测试数据备份与恢复等的应用性能，目前还没有完善，而SPC-E则是今年才发布的功耗测评规范，用于测试存储产品在多种应用环境下的功耗情况。1.标准性能评估委员会（StandardPerformanceEvaluationCorporation,SPEC）SPEC是一个全球性的权威的第三方应用性能测评组织，成立于1988年，现有超过60家公司参与。它提供包括CPU、图形系统、文件系统、存储系统、Web应用等多个方面的性能评价标准和基准测试程序，其中SPECSFS用于测量NFS文件系统的性能，包括吞吐率和响应时间，SPECpower_ssj2008是SPEC于2008年发布的第一项服务器标准的功耗/性能测试标准，推动了存储产业功耗测评研究的发展。SPEC以一个通用的公平的标准来考量一个服务器的能耗表现，作为第一个可以在多种负载条件下测量能耗与性能关系的服务器评测标准，这个标准设定了统一的评测基准，提供了一种测量服务器用电效率的标准方法，从而避免了因为每家公司都会更加倾向自己的产品而引起的评测数据的混乱。1.事务处理性能委员会（TransactionProcessingPerformanceCouncil，TPC）TPC是一个专门负责制定计算机事务处理能力测试标准并监督其执行的组织。自其1988年成立后，提出了一系统基准测试集，这些测试集用于评价计算机系统进行事务处理的能力，包括TPC-App、TPC-C、TPC-E、TPC-H等测试集。其中TPC-C是一个联机事务处理的测试集，被广泛用来测试存储系统对与机遇数据库应用的支持能力，并通过每秒事务数量来描述系统的性能。2009年10月，TPC推出了功耗测评基准TPC-EnergyV1.0.0基准，把功耗测评研究推向了一个快速发展的阶段。1.新罕布什尔大学互操作实验室（TheUniversityofNewHampshireInterOperabilityLaboratory，UNH-IOL）IOL-UNH为世界著名的中立第三方测试实验室，专注于工业之测试标准，对于各种技术领域之研发测试都有涉猎，并提供标准的产品互通性(interoperabilityandconformance)测试验证服务。1.JDSU公司JDSU公司成立于1981年，经过30年的发展和数十次收购，目前已成为全球最大光纤零件和光通讯领域的巨头之一，并从事大量测评工作，包括通信测评、存储测评、系统测评等，其MedusaLabsTestTools测试工具是存储业知名的测试工具，功能全面，能满足对存储系统的性能、功能和可靠性等多方面压力测试。许多研究机构和实验室，如美国LLNL实验室、美国国家能源部、NASA、美国国防部、Rholand大学、加州大学Berkeley分校等，各大存储厂商也有自己的存储测评研究，如EMC、IBM、HP、SUN等等，有名的存储测评工具如Intel开发的IOmeter，LLNL开发的IOR、Mdtest、Fdtree等，IOzone，SUN公司的FileBench等等。3.1按负载产生方式分类存储性能评测按照请求发生的方式可以分成三大类：基准程序法、应用仿真法和Trace采集法。1.基准程序法基准程序法（Benchmark）是目前一致认可的测试存储产品的较好方法，它能有效和精确地测评产品的各种特性。目前已出现很多成熟的存储测评基准，如事务处理委员会（TPC）提出的基准测试集TPC-C和TPC-Energy等，标准性能评价委员会（S