服务器选型方案

服务器选型技术--浙江大学经验浙江大学信息中心丁宇波2010.10.22提纲1浙江大学服务器发展变革历程2UNIX、PC服务器对比3重要应用服务器解决方案浙江大学服务器发展变革历程…信息化服务基础平台3大件：1服务器(网络运行、管理、服务中枢)2存储3网络服务器发展阶段浙大服务器建设发展3阶段：1计算机应用与网络启蒙阶段：少量专用小型机、UNIX服务器，DEC专用网。无pc服务器。2互联网应用启蒙与普及阶段：近20余台UNIX服务器（主要sun），少量pc服务器。3校园信息化应用大规模普及阶段：IBM、HP小型机大量引进，PC服务器高速发展。当前发展状况…浙大信息中心服务器现状：机房分布几个校区小型机达16台PC服务器500余台（托管100余台），主要机架服务器，少量刀片服务器，塔式服务器很少。应用支撑覆盖高校信息化建设所需所有门类。‡应用与服务器飞速发展，反过来促进高速IP网、SAN网、infiniband专网发展。小型机、PC服务器对比…小型机、PC服务器发展此消彼长，PC服务器不断吸取小型机技术，差别越来越模糊，小型机与PC服务器差别不是由大小、cpu、性能、OS等因素判断，而是两大关键因数：1小型机平台高标准专业设计，PC服务器平台经济性设计2小型机高IO通道设计应用稳定运行来源…小型机一般承担关键业务，可靠性非常重要。稳定=稳定的硬件设备+稳定的硬件连接+稳定的服务器SYSTEMROM+稳定的板卡的firmware+稳定版本的OS发行+稳定版本的kernel+稳定版本的driver+稳定版本的LVM+稳定版本的Filesystem模块+稳定版本的跑在上面这些平台上的应用应用稳定运行来源…平台稳定是由一系列软硬件串列组成的生态稳定，小型机是商业化高要求设计平台，往往具备高成熟性；PC服务器平台是经济设计平台，各要素一般借鉴小型机或直接从小型机平台迁移，要素不完备或成熟度有欠缺，造成PC平台稳定性弱于小型机平台。…服务器平台稳定性一般简称为OS稳定性。小型机硬件优点…小型机硬件突出优点可靠性、可用性往往缺少可量化的参考指标，但可以比较厂商独有的高可用技术。比如在高端系统上提供的双时钟设计，可减少单点故障;一系列CPU保护功能可以把可靠性提高100倍;某些大型主机和小型机里具备内存标签功能等。小型机硬件优点…参考一些第三方的对比数据。比如，有统计表明，一年内IBMAIX操作系统非计划停机时间少于15分钟，这意味着在一年365天不停机运转的情况下，硬件加上操作环境可靠性可以达到99.997%，是其他通常UNIX操作系统的2.3倍，比X86/Windows架构更是高出10倍。价格与RAS…用户需要注意厂商崇尚低价策略其实是以牺牲高可靠性、高可用性及高可服务性(RAS)特性为代价的，因为高可用技术的背后需要巨大投资和研发力量的支撑。…小型机比较…PC服务器比较IO与小型机…IO是影响服务器性能关键CPU计算器访问服务器各个部分需要的时钟周期，由最快到最慢的，访问一级缓存的时候需要一个时钟周期就可以抓到一级缓存，如果访问二级缓存可能需要7-10个时钟周期，到三级缓存会到100个时钟周期左右，到对内存的访问需要300个时钟周期。分属两颗cpu任务间内存数据访问在几千个时钟周期。IO与小型机…如果CPU需要到硬盘抓数据需要时钟周期可能上百万的，IP网络数据访问更长，所以这个差异是非常大的，如果所有的内容、所需要的数据都可以在内存甚至更快的部分抓到，所需要访问的延迟只有300时钟周期的程度，要到磁盘、网络上抓数据需要的延迟非常大，这是影响服务器性能的关键部分。IO与小型机…PC是单用户任务，PC服务器是常规多用户任务，小型机是高负荷多任务。Pccpu、pc服务器cpu、小型机cpucache设计逐渐复杂，容量巨大。Cpu核数、内存大量增加，主机IO通道设计急剧复杂。小型机架构…IBM小型机是一直采用最传统、最简单的SMP的结构，目前所有的内存和CPU都是对称的。…HP和SUN采用CC-NUMA的架构，采用搭积木的方式，每一个模块搭配一个CPU和内存。…POWER5时代，IBM最大的是64颗处理器，HP做到128颗，SUN做到244颗。…系统不同，效率不同，性能不同。IBM架构…IBMSMP全对称架构Power732路256核1024线程的大型SMP机器HP架构HP架构…HP的superdome，最多可以支持16个Cellboard，最多64个CPU。Cellboard内部是SMP，跨Cellboard需要经过Crossbar，延迟增加，因此Superdome是ccNUMA+SMP结构。所以，如果Cellboard只有1块，当然只有SMP，但如果超过1块（当然CPU远低于64个），就是ccNUMA了。HP架构…numa架构带来的实质性问题：cell板之间的可以看做比较独立。问题是CELL之间的延迟非常厉害，CELL板越多延迟约厉害。…RX66008c的性能不能推算Superdome128C的性能，RX6600使用的是纯SMP架构。…采用CELL板多分区，可以避免更多性能损失。PC服务器…PC服务器重点考察2种CPU一2路CPU高性价比服务器，INTEL55XX/56XX系列cpu，服务器出货量占90%以上，主要代表HP380、IBM3650。二4路CPU高可靠性、高性能服务器，INTEL65XX/75XX系列cpu，主要代表HP580、IBM3850。INTELCPU架构集成INTELQPI和DDR3内存通道的处理器架构INTELXeon5500架构IA服务器多路CPU架构…2-4-8路cpuIO通道拓扑Xeon7500改进…Nehalem-EX/至强7500在RAS特性方面巨大进步：X86服务器在同RISC小型机竞争时，在RAS(Reliability可靠性、Availability可用性和Serviceability可服务性)方面往往处于下风，Nehalem-EX将X86系统的RAS特性提高到了一个全新的水平，这些技术多达22条，集中解决三个方面的问题：IBM3850IO拓扑IBM3850两节点合成拓扑4p3850达180万tpmC，8p3850预计达270万tpmCCINT2006Rates达1500超越安腾重要应用的服务器解决方案小型机与PC服务器基本使用原则：…专业平台发展而来的应用，使用其惯用OS平台。…开源平台使用PC服务器。数据库服务器治理…数据库在信息化应用中处于中心地位…数据库服务器与稳定x86-Linux架构在高压力和大规模Oracle数据库应用的情况下，不稳定因素显现。因此一些大型企业的数据库都采用RISC-UNIX平台。Oracle数据库本身给x86服务器留了很大的空间自由发挥，很多大型企业都可以看到x86与小型机混搭，只不过小型机跑得是关键任务。X86-LINUX与高校数据库…高校数据库应用普遍未达到巨大压力…ORACLE在X86-LINUX平台开发与推广取得长足进步…基于高端志强PC服务器进步巨大，直逼小型机…ORACLE可以采用RAC集群、DATAGUARD容灾、异种平台远程复制、存储容灾等方式实现数据库高可用性。…数据库管理、负荷、容灾、备份与恢复需要一定数量服务器数据库服务器治理…数据库服务器采用策略：中小型应用完全可以采用PC服务器解决，大型、高可靠型采用小型机、PC服务器混搭。数据库采用读写分离，对大压力、开发不正规应用多使用复制的只读数据库服务器分担压力与风险。底层写服务器采用高可靠性服务器，读服务器采用高性价比服务器。数据库PC服务器采用志强7500系列，大内存，多机RAC集群采用高速网络互联，至少两个光纤通讯环路。数据库服务器与IO、NUMA…单块SLCSSD硬盘的iops就可以达到10000以上，单块15000rpmFC盘iops才150，几块SSD就能达到大型阵列速度。SSD有容量、擦写次数限制，使用SSD阵列存储关键应用索引，可以极大提高数据库性能。…NUMA架构对于IntelNehalemCPU上跑Oracle的性能有很大影响，给每个核提供单独的本地内存，进而提高性能，在BIOS、OS开启NUMA。服务器虚拟化治理‡虚拟化公共服务器平台与汰兵利马采用2路cpu大内存服务器集群虚拟化，解决硬件资源利用率低，机房、电源、制冷、运维制约问题。多机集群，实现N+1冗余。大规模采用刀片，小规模采用机架服务器。集群拥有足够IP、SAN网络带宽。刀片配内部交换机。中小规模学院核心应用可以采用Xeon7500服务器虚拟化整合。高性能计算服务器治理…高性能计算：1调查最终用户使用方向、科研应用水平、平台软件。2归类应用，合理配置胖节点、MPI节点、GPU节点。3配置管理软件，简化应用，加强运维支持。应用服务器治理…应用服务器平台：1JAVA、.NET平台可采用PC服务器负载均衡2数据库和代码设计优化总结…服务器选型总结：现代信息化复杂应用是网络、服务器、存储、软件、应用设计、运维支撑有机融合，只有在架构总体设计宏观视野下才能做出服务器选型正确选择。谢谢！