MSPE-技术类-3-存储硬件架构设计 v1.2

MSPE培训教材—存储硬件架构技术名词解释CISC：ComplexInstructionSetComputer，复杂指令集计算机，现在市面常见的是Intel、AMD的产品，比如IntelXeonRISC：reducedinstructionsetcomputer，精简指令集计算机，现在市面常见的是IBM、FreeScale的产品，比如IBMPower6ASIC：ApplicationSpecificIntegratedCircuit，专用集成电路，厂家为了某种特定需求而设计的专用电路IA架构：IntelArchitecture，英特尔体系架构，主要是CISC阵营的产品（至强、酷睿、赛扬等），部分产品属于RISC架构（IOP），少数产品（安腾系列）属于CISC和RISC的结合CISC架构存储阵营CISC：复杂指令集计算机，主要是Intel、AMD的X86处理器，基于Intel架构的又称IA架构应用：存储中端存储产品的首选，逐步应用于高端产品。阵营：EMCVNX系列/VMAX系列、IBMV7000系列、NetappFAS系列、华赛S5000T系列等。现状发展早期•性能迅速增强，成本下降明显•已发布针对存储应用的专用芯片•标准化程度高，被广泛接收，应用范围广•厂家的实力强，发展迅速•非针对存储应用，性能不强，成本较高•只被少数存储厂家采用CISC架构控制器设计StorageProcessorCPUCPUCPUCPUCPUCPUCPUCPU64bitArchitectureMirroredWriteCacheOverheadReadCacheStorageProcessorCPUCPUCPUCPUCPUCPUCPUCPU64bitArchitectureMirroredWriteCacheOverheadReadCacheFanx8CMIFanFanFanPowerSupplyPowerSupplyI/OComplexI/OComplexFCModuleiSCSIModuleFCModuleFCModuleFCModuleiSCSIModuleFCModuleiSCSIModuleFCModuleFCModuleFCModuleiSCSIModule2颗Xeon四核处理器(2.33GHz)16GB缓存EMCCX4-960控制器架构基于CISC架构(IntelX86)的控制器设计包括RAID处理在内的所有功能都由X86处理器提供(软RAID)，对处理器性能、缓存算法的要求都较高需要更高主频或更多数量的处理器、更大的内存、更强调缓存调度算法PCI-E1.0技术RISC架构存储阵营RISC：精简指令集计算机，主要是FreeScale、ARM、IBM的产品，比如IBMPowerPC应用：常见于低端存储产品，较多采用RISC+ASIC混合架构。由于历史原因，部分高端产品还在采用RISC架构。阵营：IBMDS3000、台湾盘阵厂家(Infortrend、promise等)及其OEM伙伴(同有、浪潮、锐捷等)现状发展早期•性能不高，成本较低•主要应用于低端存储领域•标准化程度低，接受范围有限•厂家的实力和投入有限等原因，发展比较缓慢•早期产品速度快、设计简单•广泛应用于低端/高端存储领域，中端存储领域应用较少RISC架构控制器设计采用PowerPC440ROC800-MHz处理器(akaMeteor)–超标量核芯，带有一个1.9xMIPS倍增器，转换成1.5-GHZx-scale–执行XOR和P+QIBMDS3500(LSIEngino2600)控制器架构项目DS3500架构RISC处理器PowerPC440最大缓存4GB最大磁盘数96满配主机接口8*FC+6*SAS满配后端接口2*SAS处理器能力弱，整体规格低ASIC架构存储阵营ASIC：专用集成电路，厂商为了某种特定需求（通常是RAID加速）而设计的专用电路应用：少数上一代中端产品还在采用，部分中低、低端盘阵还在采用，一般采用ASIC+CISC或者ASIC+RISC架构。阵营：HDSHUS系列、IBMDS5000（LSIEngino7900）、Infortrend现状发展早期•性能不高，成本不低，无竞争优势，只有少数上一代产品还在采用•实现复杂，架构封闭，可移植性差•存储厂家的芯片实力远落后于Intel等厂家，发展缓慢•专为存储的RAID处理而设计，能够显著提高RAID处理效率•需要与CISC处理器协同工作Xeon2-core1.73Hz3.5GBRAMRAIDProcessor(DCTL)3.2GB/s8GBor16GBDDR3CacheControllerModule10.6GB/sNVRAMPCHMngtXeon2-core1.73Hz3.5GBRAMRAIDProcessor(DCTL)3.2GB/s8GBor16GBDDR3CacheControllerModule10.6GB/sNVRAMPCHMngtHitachiMHSASWideCable(4Links@6Gbpseach)HighDensityTrayPowerSupplyPowerSupplyController00A6.4GB/s3210FCiSCSII/OModule–Ports*I/OModule–Ports*6.4GB/s6.4GB/sCrossoverI/OModule-DisksSASCTLR8x6GbpsLinksI/OModule-DisksSASCTLR8x6GbpsLinks6.4GB/s6.4GB/sController11A6.4GB/s3210FCiSCSII/OModule–Ports*I/OModule–Ports*6.4GB/sI/OModule-DisksSASCTLR8x6GbpsLinksI/OModule-DisksSASCTLR8x6GbpsLinks6.4GB/s6.4GB/s960Disks(SAS,SSD)242.5HDDs123.5HDDs242.5HDDs123.5HDDs123.5HDDs483.5HDDsENCLOSURE“STACK”Tray4Tray3Tray7Tray0Tray1Tray2Tray5Tray6123.5HDDsPassiveBackplane*OptionalI/Omodulesmaybe4-port8GbpsFCor2-port10GbpsiSCSIASIC+CISC混合控制器设计ASIC芯片，RAID处理Xeon芯片，管理功能内存访问带宽低ASIC+CSIC混合架构ASIC：主要承担RAID处理、缓存镜像两部分功能CSIC：承担系统管理、数据管理、数据保护等功能应用状况和前景技术更新缓慢(1)处理能力有限;(2)支持的内存容量小；可移植性差(1)技术设计和实现复杂(2)通用性差，非常封闭HDSHUS控制器架构8-16GB缓存控制器架构设计总结CISC(X86)ASIC应用产品特点•复杂指令集计算机，主要是Intel、AMD的X86处理器•基于Intel架构的又称IA架构•早期无存储专用芯片，性能不强，成本较高•标准化程度高，厂家的实力强，发展迅速•性能迅速增强，成本下降明显•中端存储产品的首选，逐步应用于高端产品•EMCCX4系列(Intel)、NetappFAS系列(AMD)•专用集成电路，厂家为了某种特定需求（通常是RAID加速）而设计的专用电路•专为存储的RAID处理而设计，与主处理器一起工作，早期能够显著提高RAID处理效率•实现复杂，架构封闭，可移植性差，发展缓慢•常用于中端存储产品，采用CISC+ASIC混合架构•HDSAMS2000、LSIEngino7900(IBMDS5000)RISC•精简指令集计算机，主要是FreeScale、ARM、IBM的产品•早期产品速度快、设计简单•由于标准化程度差，厂家的实力和投入有限等原因，发展比较缓慢•性能不高，成本较低•常见于低端存储产品，如Infortrend等低端盘阵•由于历史原因，高端产品大多还在采用RISC架构Intel新一代处理器：JasperForest•处理器集成内存控制器，无需通过北桥连接，访问速度更快，访问带宽更高(256Gb/s)•9根内存插槽，最大144GB•支持DDR3，频率800/1066/1333DDR31333(9*Slot)XOR引擎16PCIExpressGen2QPIJasperForest多核处理器DMI南桥IO模块•处理器内部集成RAID硬件加速，无需ASIC•支持16个PCI-E2.0通道，最大带宽：单向80Gb，双向160Gb•可将8通道用于后端磁盘连接，8通道用于缓存镜像连接•QPI:QuickPathInterconnect，通常用于处理器之间的互连•单向带宽5.87GT/s(117.4Gb)•可用于连接处理器和前端IO模块•三级处理器内部CacheL1：每核32K数据+32K指令L2：每核256K，数据、指令共用LLC：共享8MB，指令、数据共用PCI-E2.0总线技术PCI-X：竞争共享总线PCIExpress：点对点传输PCIExpress2.0通道未编码数据速率（有效的数据速率）编码数据速率单向双向单向双向×14Gbps8Gbps5Gbps10Gbps×416Gbps32Gbps20Gbps40Gbps×832Gbps64Gbps40Gbps80Gbps×1664Gbps128bps80Gbps160Gbps串行总线结构支持点对点传输，每个传输通道独享带宽信道聚集有效组合为x1，x2，x4，x8，x16和x32支持双向传输模式，单信道带宽5Gbps，16信道带宽达到160Gbps用于控制器的前后端接口、缓存镜像通道的连接SAS传输技术SAS技术3创新的宽端口技术2交换架构Phy1继承SCSI技术的稳定和高可靠性SCSI技术4高扩展性PhyPhyPhyPhyPhyPhyPhy四路SAS宽端口四路SAS宽端口6Gb*4SASSAS技术并行串行SAS域•最多可接16128个设备(128*126)......FanoutExpanderEdgeExpanderSAS磁盘SAS适配器EdgeExpanderSAS磁盘技术先进的磁盘接口继承SCSI的稳定可靠性全双工、点对点数据传输3.0/6.0Gbps接口传输速率双端口冗余备份多种速率类型支持15,000/10,000/7,200rpm三种速率良好的兼容性SATA磁盘兼容SSD磁盘的主要接口方式服务器、存储阵列均可使用SAS线缆接口SAS磁盘磁盘接口磁盘厂家的路标FC硬盘(3.5寸)已经不再有新的产品型号10/15K转硬盘全部都是SAS接口7200K转的2.5寸硬盘是SAS/SATA接口7200K转的3.5寸硬盘是SAS/SATA接口SSD硬盘以2.5寸SAS为主，保留3.5寸FCXSAS在业界的应用EMC：VNX系列（新产品，SAS2.0）IBM：V7000（新产品，SAS2.0）HP：P4000、P6000（新产品，SAS2.0）HDS：HUA系列（新产品，SAS2.0）Netapp:FAS3000/6000（混合架构）SAS架构FC架构低端中端高端包括EMC、IBM、HP、HDS在内的几乎所有厂家的产品（SAS1.0）HDS：VSP系列（新产品，SAS2.0）IBM：DS8800（新产品，SAS2.0）EMC：DMX系列HDS：USP系列（老产品）IBM：DS8700（老产品）极少数厂家EMC：CX4系列（老产品）IBM：DS5000HP：EVA系列（老产品）Netapp:FAS3000/6000（混合架构）SSD技术•SSD功耗降低近80%，随机访问速度提升数十倍•SSD不需要电池保护，保证提供持续的高性能读写服务010HDDSSD功耗功耗比较9W2W访问时间比较08HDDSSD访问时间2-8ms0.09ms•通过采用写合并、损耗均衡算法、增强型错误校验码(ECC)等技术，MLC