关于存储与IOPS的正确观念

CurtisSolidStateCopyright©2004-2008,CurtisInc.ConfidentialandProprietaryInformationofCurtis,Inc.关于存储的正确观念及CURTIS公司的产品和服务CurtisSolidStateCopyright©2004-2008,CurtisInc.ConfidentialandProprietaryInformationofCurtis,Inc.Agenda•常见的用户存储需求•用户对存储的一些错误认识：–许多磁盘阵列的性能（IOPS™）都高于500,000–“4Gb光纤+SBOD”盘阵的性能（IOPS™）会比“2Gb光纤+JBOD”盘阵高100%以上–盘阵中的Cache在所有情况下都能提升存储性能（IOPS™）–数据库中所有的数据都需要高性能（IOPS™）•分层存储解决方案TCO分析•Curtis公司的“IT系统能力评估分析和优化服务”•当今仅有的自动、智能化分层存储：STORAGECENTERCurtisSolidStateCopyright©2004-2008,CurtisInc.ConfidentialandProprietaryInformationofCurtis,Inc.在招标中常见的用户存储需求•存储性能：磁盘系统的性能（IOPS）≥500,000；•磁盘系统裸容量：≥XXXTB；•可靠性：存储系统必须通过提供可用的部件冗余设计，如电源、风扇及核心关键模块等，使系统的可靠性达到最高级别；•开放性：磁盘系统应具有多平台/多主机的连接能力，能满足服务器及应用系统集中对数据存储和管理的要求；同时，可以集中管理和分配存储容量，提高生产效率。提供对主流集群系统的支持；•可管理性：可通过存储管理软件集中管理；能通过Web、控制台、GUI界面等方式对磁盘阵列的各项指标进行管理和调整；•……CurtisSolidStateCopyright©2004-2008,CurtisInc.ConfidentialandProprietaryInformationofCurtis,Inc.用户清楚其需要的存储性能是什么吗？•招标采购的存储系统在真实应用环境中的性能究竟是多少？•不同的业务数据分别所需的存储性能是多少？•……CurtisSolidStateCopyright©2004-2008,CurtisInc.ConfidentialandProprietaryInformationofCurtis,Inc.Agenda•常见的用户存储需求•用户对存储的一些错误认识：–许多磁盘阵列的性能（IOPS™）都高于500,000–“4Gb光纤+SBOD”盘阵的性能（IOPS™）会比“2Gb光纤+JBOD”盘阵高100%以上–盘阵中的Cache在所有情况下都能提升存储性能（IOPS™）–数据库中所有的数据都需要高性能（IOPS™）•分层存储解决方案TCO分析•Curtis公司的“IT系统能力评估分析和优化服务”•当今仅有的自动、智能化分层存储：STORAGECENTERCurtisSolidStateCopyright©2004-2008,CurtisInc.ConfidentialandProprietaryInformationofCurtis,Inc.宣称自己磁盘阵列IOPS达几十万、几百万的比比皆是CurtisSolidStateCopyright©2004-2008,CurtisInc.ConfidentialandProprietaryInformationofCurtis,Inc.同样配置的磁盘阵列在不同标准下测出的IOPS结果有天壤之别•IOPS测试结果数值大小取决于很多测试参数：–测试数据的类型：顺序还是随机？–测试数据块的尺寸大小；–被测存储产品的RAID级别设置；–被测存储产品的磁盘数量及转速；–……很多厂商产品彩页上公布的IOPS是对该产品Cache顺序读测试结果!100%顺序读的IOPS会比100%随机写的IOPS高25倍以上！CurtisSolidStateCopyright©2004-2008,CurtisInc.ConfidentialandProprietaryInformationofCurtis,Inc.反映OLTP、数据库和e-mail等真实应用环境下的存储性能是：SPC-1IOPS™•SPC（存储性能理事会）是一个非赢利的组织，它的成员由几乎全部的国外存储厂商和部分大学、研究机构组成，其使命是定义、标准化存储系统的基准测试。•SPC-1基准测试:按右表的读写比例，以不同的数据块尺寸产生I/O数据流对存储系统进行测试–最好地模拟了联机事务处理（OLTP）、数据库和e-mail等真实应用环境下的存储性能。•SPCBenchmark-1™Vision–SPC-1IOPS™(MaximumThroughput)–SPC-1LRT(BestResponseTime@liteload)–Price（每SPC-1IOPS™的价格）–Capacity–DataProtectionRead(%)Write(%)All(%)Random293261Sequential112839All4060100Figure1:ResponseTime/ThroughputCurve00ThroughputinI/ORequestsperSecondResponseTimeinmillisecondsResponseTimeSensitiveApplicationsSPC-1LRTThroughputSensitiveSystemsSPC-1IOPSIncreasingBSULoadCurtisSolidStateCopyright©2004-2008,CurtisInc.ConfidentialandProprietaryInformationofCurtis,Inc.何处可查各厂商磁盘存储系统的存储性能（SPC-1IOPS™）？•SPC网站（）上公布了大多数存储厂商的磁盘存储系统的SPC-1基准测试报告；•每份SPC-1基准测试报告包括：–SPC和厂商双方对SPC-1测试结果的签字认可；–SPC-1测试结果；–被测磁盘存储系统的详细配置和价格；–被测磁盘存储系统的测试配置连接图；–测试详细记录等。CurtisSolidStateCopyright©2004-2008,CurtisInc.ConfidentialandProprietaryInformationofCurtis,Inc.如何尽量提高被测磁盘阵列的SPC-1IOPS™测试值?•SPC-1基准测试虽规定了严格的顺序和随机读写比例和数据块尺寸以及在何种磁盘负载情况下取值，但没有规定被测磁盘阵列使用多少块磁盘，也没有规定被测磁盘阵列设置何种RAID级别。•用户仔细阅读SPC-1基准测试报告就可发现各厂商都采取以下办法增加被测磁盘阵列的SPC-1IOPS™值：–尽量使用小容量（如36GB、73GB）、高转速（15Krpm）的磁盘；尽量增加被测产品的磁盘数量；因为单块磁盘的容量越小、转速越高则其IOPS值越高，磁盘数量越多则通过RAID0获得的IOPS值越高；–尽量选择RAID10设置，因为在各种RAID级别中，RAID10的IOPS值最高；CurtisSolidStateCopyright©2004-2008,CurtisInc.ConfidentialandProprietaryInformationofCurtis,Inc.一些SPC-1IOPS™测试值超过10万的存储产品CurtisSolidStateCopyright©2004-2008,CurtisInc.ConfidentialandProprietaryInformationofCurtis,Inc.当今世界不存在SPC-1IOPS™超过50万的磁盘阵列！•除了固态存储外，SPC-1IOPS™测试值超过10万的磁盘阵列只有三个品牌的六种型号；•总结所有的SPC-1基准测试报告，从中得出的结论是：SPC-1IOPS™测试值随被测存储产品的磁盘数量和转速的增加而线性增长。•未进行SPC-1基准测试的高端存储产品的SPC-1IOPS™估计值：–FujitsuStorageSystemsETERNUS8000Model2100（最多可容纳2760块磁盘）：其满配置的SPC-1IOPS™估计值=（2760/664）X108,745.34=452,013.76–EMCDMX-3（最多可容纳1920块FC磁盘）：其满配置的SPC-1IOPS™估计值=（1920/512）X123,033.40=461,375.25–HDSUSPV（最多可容纳1152块磁盘）：其满配置的SPC-1IOPS™估计值=（1152/512）X123,033.40=276,825.15CurtisSolidStateCopyright©2004-2008,CurtisInc.ConfidentialandProprietaryInformationofCurtis,Inc.小贴士1：算算你所采购的磁盘阵列的真实性能•根据SPC网站上公布的你所购买磁盘阵列型号的SPC-1基准测试报告，你可按下列公式快速地估算所采购的磁盘阵列的真实性能和可靠性：–所购盘阵的真实性能（SPC-1IOPS™）=[实际采购磁盘阵列的磁盘转数（RPM）/SCP-1报告中被测磁盘阵列的磁盘转数（RPM）]X[实际采购磁盘阵列的磁盘数量/SCP-1报告中被测磁盘阵列的磁盘数量]XSPC-1报告中的SPC-1IOPS™值–可靠性：MTTFarray=MTTFdisk/实际采购磁盘阵列的磁盘数量CurtisSolidStateCopyright©2004-2008,CurtisInc.ConfidentialandProprietaryInformationofCurtis,Inc.小贴士2：为什么SPC网站上没有EMC产品的SPC-1测试报告？•SPC-1基准测试以512bytes、1K、2K、4K、8K、16K、32K、64K、128K、256K、512K等数据块尺寸，按一定比例产生I/OStream对被测存储产品进行测试；•由于EMC的存储产品扇区尺寸为520bytes，而不是工业标准的512bytes；因此EMC的产品在SPC-1基准测试时会由于数据尺寸问题而增加额外的操作，致使EMC的产品在SPC-1基准测试结果上吃亏；故EMC后来退出了SPC。ASU-145%ASU-245%ASU-310%ASU-1StreamsASU-2StreamsASU-3StreamS-2S-3S-4S-1S-2S-3S-1I/OStreamGeneratorI/OCommandGeneratorI/ORequestsI/ORequestsI/ORequestsI/OCommandCompletionStatisticsCollectionS-1CurtisSolidStateCopyright©2004-2008,CurtisInc.ConfidentialandProprietaryInformationofCurtis,Inc.Agenda•常见的用户存储需求•用户对存储的一些错误认识：–许多磁盘阵列的性能（IOPS™）都高于500,000–“4Gb光纤+SBOD”盘阵的性能（IOPS™）会比“2Gb光纤+JBOD”盘阵高100%以上–盘阵中的Cache在所有情况下都能提升存储性能（IOPS™）–数据库中所有的数据都需要高性能（IOPS™）•分层存储解决方案TCO分析•Curtis公司的“IT系统能力评估分析和优化服务”•当今仅有的自动、智能化分层存储：STORAGECENTERCurtisSolidStateCopyright©2004-2008,CurtisInc.