IBM关于如何衡量服务器性能的说明 050405 v2

IBM关于如何衡量服务器性能的说明第1页IBM关于如何衡量服务器性能的说明目录一．目前采用的基准测试值共有以下几种：.............................................................................2二．各种基准测试值所反映服务器相关能力的说明（见下图）：...........................................2三．TPCC的相关说明、实际测试值和推算值..........................................................................31、实际测试的TPC-C数据..........................................................................................................32、IBM推算服务器TPCC值的方法和说明...............................................................................43、IBM对此种推算方法的说明：..............................................................................................5四．对TPCC的一些相关事实的陈述：.....................................................................................5本文主要说明以下几个方面的问题：1.目前业界通常使用哪几种基准测试值来衡量服务器性能2.这几种基准测试值有哪些特点和局限3.为什么TPCC被广泛采用来衡量服务器的性能4.TPCC值的详细说明和两个来源：实际测试值和推算值5.IBM有哪些实测值6.IBM用什么方法来推算其他的TPCC值，及推算方法的说明7.对TPCC一些相关事实的陈述8.附件1：IBM系列服务器的rPerf值列表9.附件2：IBM系列服务器的TPCC值列表10.附件3：实测TPCC值--按发布时间排序表IBM关于如何衡量服务器性能的说明第2页正文衡量一台服务器的处理能力，没有统一的标准和尺度，最准确的是将自己的实际应用在所选择的服务器上实际运行后，可得出处理能力的对比。如果不具备测试的条件，一般可根据业界的各种基准测试作为参考。一．目前采用的基准测试值共有以下几种：衡量CPU整型和浮点处理能力的SPECCPU2000衡量用作web服务器时处理能力的SPECweb99衡量Java虚拟机处理能力的SPECjbb2000，衡量OLTP处理能力的tpmc以及第三方应用软件开发商所设立的测试数值，如OracleApp测试、SAP测试等。二．各种基准测试值所反映服务器相关能力的说明（见下图）：SPECcpu（整形和浮点）：仅反映CPU的运算速度：（CPU）IBM关于如何衡量服务器性能的说明第3页SPECweb99：作为web服务器时的性能：（CPU加内存）SPECjbb2000：运行Java应用的性能：（CPU加内存）TPCC：反映处理数据库应用的性能：（CPU加内存加I/O）。正是因为它衡量的是整机的性能（CPU加内存加I/O），所以越来越广泛地被引用评估服务器的性能。三．TPCC的相关说明、实际测试值和推算值TPC-C作为一种由第三方非盈利机构（tpc.org）颁布的基准测试指标，越来越多地被各平台厂商、应用系统提供商和最终用户所引用，并被作为核心评估OLTP类应用的指标，应用于平台选型、系统规模设计等评估环节。TPC-C-TPCBenchmarkC吞吐量，用来衡量在至少20分钟内有效的TPC-C配置运行过程中，每分钟所处理的平均事务数。TPCC值共有两个来源：1、实际测试的TPC-C数据正因为TPC-C被用户和厂商广泛认可和接受，是评定OLTP类服务器性能优劣的重要参考，所以，IBM公司和HP公司每当推出新型号的重要服务器时，都花费大量的人力和物力去测试其TPC-C值，并且公布其测试的TPC-C数据于TPC委员会，所有测试过的数据可在网站上查阅。以下从、HP公布的TPC-C数字，供大家参考。厂家服务器型号TpmCDatabase发布时间HPHPrx8620，16路1.5G安腾CPU301,225MicrosoftSQLServer2000EnterpriseEd.64-bit12/18/2003HPHPSuperdome，64路1.5G安腾CPU1,008,144OracleDatabase10gEnterpriseEdition11/4/2003HPHPSuperdome，64路875MPA-8700CPU541,674OracleDatabase10GEnterpriseEdition7/30/2003HPHPrp8400，16路750MPA-8700CPU140,240SybaseAdaptiveServerEnterprisev12.512/21/2001IBMIBMeServerp559564p3,210,541IBMDB2UDB8.211/18/2004IBMIBMeServerp557016P809,144IBMDB2UDB8.17/12/2004IBMIBMeServerp55708P429,900IBMDB2UDB8.18/31/2004IBM关于如何衡量服务器性能的说明第4页IBMIBMeServerp55704P194,391Oracle10g7/12/2004IBMIBMeServerpSeries690Model7040-6811,025,486IBMDB2UDB8.12/17/20042、IBM推算服务器TPCC值的方法和说明因为测试一个TPCC值要花费大量的人力物力（几百万美元）和大量的时间（一般要几个月），所以不可能对所有的型号和各种配制都实测一个TPCC值。对于非满配的服务器和没有参加测试的服务器，IBM公司采用实验室开发的rPerf(Relativeperformance)模型来评估服务器的商务处理能力，该模型在假设服务器不存在网络和IO瓶颈的情况下，模拟出系统的中央处理器、高速缓存和内存等的综合处理能力，rPerf均在服务器推出时给出估计值，并且设定IBMpSeries640-B80服务器为基准参照系统(即其rPerf＝1)，测算出其它服务器处理能力相对于B80的倍数。因此，参照实测的IBM服务器的TPC-C值，利用实验室给予的rPerf值可以推导出每款IBMpSeries服务器的TPC-C参考值，具体公式为：配置A的TPC-C值=（实测配置的TPC-C/实测配置的rPerf值）*配置A的rPerf值以下列举了IBM各款服务器基于rPerf的TPC－C推测值。Power5系列服务器ModelCPU主频TPCCrPerfp595641.9G3,210,540306.21p595481.9G2,497,052238.16p595321.9G1,783,563170.11p595241.9G1,367,109130.39p595161.9G950,65490.67p595641.65G2,863,389273.1p595481.65G2,227,069212.41p595321.65G1,590,749151.72p595241.65G1,219,273116.29IBM关于如何衡量服务器性能的说明第5页p595161.65G847,79880.86p590321.65G1,590,749151.72p590241.65G1,219,273116.29p590161.65G847,79880.86p59081.65G437,00541.68备注：以上表格中黄底红字斜体的TPCC值为实测值，可以在官方网站上查到，其余TPCC值为基于rPerf推算值。3、IBM对此种推算方法的说明：1．因为估计网络和I/O复杂度太高，不具有可操作性，所以IBM的rPerf模型不考虑网络和I/O，用它来推算TPCC值时假定网络和I/O处于理想状况。2．内存越大，服务器的实际性能肯定越好。估算非满配服务器的TPCC值时，假定内存也处于理想状况。因为考虑不同大小内存对TPCC的影响同样复杂度太高，不具有可操作性。在实际使用时内存至少要与CPU配成2：1的关系，即1个CPU配至少2GB内存。四．对TPCC的一些相关事实的陈述：请见IBM的实测的TPCC值，测试时间和测试环境厂家服务器型号TpmCDatabase发布时间HPHPSuperdome，64路1.5G安腾CPU1,008,144OracleDatabase10gEnterpriseEdition11/4/2003HPHPSuperdome，64路875MPA-8700CPU541,674OracleDatabase10GEnterpriseEdition7/30/2003IBMIBMeServerp559564p3,210,541IBMDB2UDB8.211/18/2004IBMIBMeServerp557016P809,144IBMDB2UDB8.17/12/2004IBMIBMeServerp55708P429,900IBMDB2UDB8.18/31/2004IBMIBMeServerp55704P194,391Oracle10g7/12/2004IBMIBMeServerpSeries690Model7040-6811,025,486IBMDB2UDB8.12/17/2004IBM关于如何衡量服务器性能的说明第6页IBMP690的1,025,486TPCC值测试于2004年2月17日，到2004年11月18日P595测出3,210,541TPCC值为止，占据TPCC单机排行榜长达9个月之久。由此可以看到：1．HP的PA-8800系列服务器发布时间约为2004年2月份。在九个月的时间内，HP一直没有公布一个PA-8800系列服务器的TPCC值。但是同样在此九个月内，HP一共发布了14个其它HP服务器的TPCC实测值（请看附件3：TPCC按发布时间排序表，此数据可以在上用按提交时间顺序排序来得到）。2．如果有人认为HP在此时间内没有付诸行动测试PA-8800系列服务器的TPCC值，那肯定是不对的，因为HP作为一家国际著名服务器提供商，一直非常重视TPCC的测试工作（请见以下各厂家提交TPCC值数量统计表），何况在此九个月的时间内HP确实测试并发布了14个TPCC值。2004/7/20以后总计提交20个TPCC值2000-6-21到2005-2-24总计提交160个TPCC值各厂家提交数总数百分比各厂家提交数总数百分比HP122060.00%7116044.38%IBM32015.00%2316014.38%DELL22010.00%1616010.00%ItautecPhilco32015.00%5016031.25%3．为什么不公布PA-8800系列服务器的TPCC值呢？只有一个合理的解释：测了很多次，但测试结果一直不令人满意，与其发布还不如不发布，随便编造更合算。4．起码有一点是确定的：HPPA-8800系列64个CPU的SUPERDOME实测TPCC值一定没有超过103万，否则，HP一定会发布出来超过IBMP690占居榜首位置（IBM和HP曾经在2003年展开了长达一年之久的TPCC大战，直到IBM的P690的102万公布为止）。而不必用一个群集的TPCC值放在那里蒙人。请见TPCC榜首排列情况和发布时间。RankCompanySystemtpmCSystemAvailabilityDat