第10讲-InfiniBand技术与存储网络

第十讲InfiniBand技术与存储网络InfiniBand是一串行网络技术，它继承了目前多数开放系统服务器使用的PCI总线。作为一种低成本的系统及组件设计技术，InfiniBand串行总线/网络被认为是增长最快的网络技术之一，它的应用潜力远远超过当今所知的系统总线。本讲简要概述InfiniBand如何替代PCI总线，讨论集群中的存储，以及基于InfiniBand的存储I/O技术的相关进展张晓：[e-mail]产生的背景计算机的整体性能取决于三个子系统的相互关系，处理器、存储和I/O。要使整个系统的性能得到发挥，必须协调好三者之间的平衡关系。Moore定律准确地预测半导体每18个月性能加倍，并在处理器和存储方面得到了很好的验证。然而，I/O互连受到机械和电器方面地限制，使其性能提高远低于半导体的发展，因而限制了系统性能。当前被普遍采用的I/O技术主要是PCI。用于替代PCI作为下一代server互连标准，InfiniBand受到所有主要OEMserver开发商的支持。这是第一种具有工业标准的高性能I/O互连，它扩展了传统内部总线的角色，引入了底板解决方案，并允许互连走出机箱，这种互连方式以前是网络互连所特有的。InfiniBand的最终目标是取代现在各种不同的网络——存储、通信和I/O。PCI技术规格简介从1992年创立规范到如今，PCI总线已成为了计算机的一种标准总线。PCI总线取代了早先的ISA总线。当然与在PCI总线后面出现专门用于显卡的AGP总线，与现在PCIExpress总线，但是PCI能从1992用到现在，说明他有许多优点，比如即插即用(PlugandPlay)、中断共享等。从数据宽度上看，PCI总线有32bit、64bit之分；从总线速度上分，有33MHz、66MHz两种。目前流行的是32bit@33MHz，而64bit系统正在普及中。改良的PCI系统，PCI-X，最高可以达到64bit@133MHz，这样就可以得到超过1GB/s的数据传输速率。替代PCI的InfiniBandInfiniBand是一新的网络技术。它集成了系统功能，使它可以替代PCI系统总线的功能。作为总线替代品，它的一些主要特征如下：•InfiniBand基于全双工，交换串行传输；•单项传输速率可达2.5GB/s；•系统通过外部系统扩展，而不是系统“卡槽”；•随着内部扩展需求的消失，系统缩减；•支持热切换，与PCI不同；•为每一个扩展外设提供独立电源（与通过系统相反）；•主机I/O控制功能成为网桥功能。1．串行传输InfiniBand使用串行传输技术可提供比PCI并行总线更远的距离和更强的寻址能力。InfiniBand有一个组件名为主机通道适配器（HCA）。它将替代PCI桥芯片将外设连接到系统总线。2．传输率InfiniBand是全双工通信，单方连接速度可达2.5GB/s，InfiniBand版本1的全双工通信速度可达道5GB/s。另外InfiniBand支持主动连接，可建立多个传输组，跨越4到12个连接，性能提高4倍及12倍。这样InfiniBand单项传输速度是2.5GB/s,10GB/s,和30GB/s。远超过PCI的1GB/s的最高传输速率。3．外部系统扩展多年来将外设装载到系统内部是实现高速系统的最容易和最可靠的方式。原因之一是并行总线信号不易通过外部电缆传输。因使用PCI难以进一步缩短系统板尺寸、以及提高吞吐量、可靠性、系统扩展等因素，推动了InfiniBand的应用。5．热交换InfiniBand使用逻辑网络地址，建立系统和外设的连接，代替实际使用的总线共享数据和地址线，更容易将连接和设备隔离，而不影响整个信道。其结果是InfiniBand网络上的设备可以热交换（热插拔）。6.独立电源置于外部的外设可通过外置电源供电而不通过系统总线供电。因此电源容量可以随系统的增长而随时增加，不必储备多余的电源。4．系统缩减没有了总线插槽上的内部控制器，基于InfiniBand的系统会更小。从结构上看，InfiniBand控制器与网关类似，可跨越两个不同网络，如以太网或光纤通道SAN。主机控制器的网络网关功能传统的系统总线I/O系统控制器和适配器位于系统机箱内，并提供与外部网络和总线的连接。但使用InfiniBand，I/O控制器可以置于网络的任何位置，嵌入式系统和存储子系统，并作为网络中的独立设备。集群InfiniBand的特点有利于高可用性、高性能及可扩展集群解决方案的发展。作为串行网络技术，InfiniBand可用于将系统与系统内存总线紧密连接在一起。InfiniBand连接系统的能力比其他网络通过适配器和桥连接具有更大的优势。集群的主要挑战就是找到一种方法整合系统，以提高系统处理能力、存储能力和冗余。集群是一种高可靠性、改进了处理性能并有着大存储容量的解决方案，随着应用的增长，机群可能遇到一些在单机系统上不会发生的问题。集群的优点1.集群的可用性集群的一个主要优点是：随着应用和数据的增长，它能够在较短的时间里处理较多的数据。一般所来，开发的应用程序是在单系统环境下运行的，如果系统发生了问题，应用程序及其数据有可能不可用。而在一个集群系统中，这个应用可以在集群中的另一个系统中继续运行。2.集群的处理能力一个含有多个处理机的集群，应该能比一个处理机完成工作快。但这个结论极大的依赖于应用程序的类型及集群系统的特点。通常，测试对比系统并不能代表真实结果（运行特定程序所得到的运行效率，加速比等），但可以高度优化以达到完美的测试结果。事物处理测试表明对数据库采用集群的方法是合理的。3.集群的存储能力与I/O性能通过增加集群主机的原始存储容量，集群同样允许连接大量的存储。例如，一个拥有10TB磁盘存储容量的单机系统可以扩展成支持20TB的具有等两级主机的双系统集群，如图13-5所示。集群的重要优点是存储容量，与其相关的优点就是提供附加系统和相关I/O能力。集群中用于存取存储的方法是一个非常重要的设计问题。集群处理用NAS和SAN建立一个双节点集群下图所示为集群配置两个NAS系统和两个存储子系统的情况。NAS系统通过冗余连接设备，包括以太网双网络接口卡和SAN双工HBA。高可用目标本例中假设用集群实现高可用性，要有极快的故障恢复速度，并且要切换NAS服务器，前面介绍的一般数据复制技术都不能满足需要。通过“心跳”监视运行情况“心跳”信号是集群系统之间的一个短促而持续连接，使得所有主机知道集群中的其它系统工作正常。每各集群主机都有一个相应进程响应从其它主机接收心跳信号。如果没有受到预期的心跳信号，这个进程就开始把资源从故障系统转移到集群中的其它系统。对于双主机集群，心跳系统很简单。每个主机向对方发送有规律的、特定心跳信号。然而，对于有更多主机的集群，心跳系统的复杂度会相应提高。为了获得心跳信号传输的可靠性，一般使用分离、独立的连接。切换过程针对双主机NAS集群，如果主机A出了故障，主机B叙准备接管主机A的工作。1.集群中的共享存储切换主机必须能够访问停机主机正在处理的数据。为了做到这一点，就必须假设：切换主机有访问该数据的路径；可以找到故障发生时中途停止写的数据，并回退。第一个假设可以通过I/O通道技术实现。第二个假设可以利用数据库和文件系统技术来解决。2.数据库事务提交3.日志和日志结构的文件系统4.数据完整性验证5.接管IP地址切换过程的最后任务之一是接管停机系统地IP地址。集群中的数据存取设计1.非共享存储非共享是指每个集群成员各自控制着自己的资源，存取这些资源需通过内部集群通信从一个集群主机传送到另一个集群主机。当集群的一个主机存取另一个集群主机的存储子系统时，它必须通过集群网络传送请求，接收到请求的主机开始工作，并将结果送回请求主机。非共享方法的优点是数据缓存和数据锁定有主机单独管理，使得集群操作简单、易理解。非共享集群的缺点之一是集群之间瓶颈的发生。另一缺点是：一旦发生切换，切换成员必须存取并加载停机服务器的文件系统。2．共享存储主要优点是，一旦确认停机，其他集群成员可以直接访问共享资源，使切换工作比较简单。共享系统存储集群本身要比非共享存储集群要复杂得多。首先，要处理复杂的设备锁定问题。共享存储集群的另一个问题是如何使集群成员写入缓存的数据对其他成员可见，并最终写入存储系统。3．智能子系统的数据共享使用智能存储子系统可以提高对写操作、提交进程和回退管理，它的角色更像一个集群对等体（peer），而不是一个从属者。它可以在单一操作中容纳整个文件升级或数据库事务信息。这种“peer”可以管理自己的日志文件和带有集群性质的进程，以便有序的利用切换过程。例如，一个“集群对等体”存储子系统可以参与集群中的心跳和正常状态监视系统，并报告那些正在维持他们心跳信号但却不能从存储子系统传送和接收的系统错误。另外，一个集群对等体存储子系统可以通过建立和释放停机系统的锁为集群提供锁管理者需要执行新的分配锁协议。InfiniBand网络组件InfiniBand设计的交换光纤网络拓扑结构与光纤通道光纤网络及交换以太网相同，与PCI总线结构完全不同。右图显示了InfiniBand可以很方便地扩展系统。1.出错率、编码与传输介质与千兆以太网相同，InfiniBand采用来自光纤通道的传输介质和连接技术。•多心缆线4X、12X•虚拟线路同时容纳多个进程并发，即一个端节点可以同时与多个端节点同时通信，并发送不同内容。•交换机与路由器交换机在单个物理网络提供快速报传送，路由器在多个物理网之间提供包传送。•分区目的是将系统和子系统用分区的方法避免潜在的冲突，建立管理域，方便新设备已平稳，有序，无干扰的方式加入网络。2.InfiniBand网络中的节点InfiniBand中的节点指系统（处理器节点）、子系统（I/O节点）或路由器。端节点使用名为通道适配器（channeladapter）的新型网络适配器。一个InfiniBand网络的通道适配器可以由多个端口连接InfiniBand网络。由于多数InfiniBand网络中（老）的应用使用系统服务作为他们的I/O接口，面向InfiniBand未来的应用将可以通过采用底层系统软件作为网络设备驱动。InfiniBand软件应用很可能用于解决集群应用。这类集群应用的例子如数据库集群和网络存储集群。通道适配器InfiniBand网络中相应的主机I/O适配器称为通道适配器。InfiniBand指定两种通道适配器，主机通道适配器（HCA）和目标通道适配器（TCA）。1）主机通道适配器主机通道适配器负责与系统处理器和内存总线的接口。它是系统专有组成部分，也将是系统设计的核心组件。主机通道适配器可以设计用于高级通信。InfiniBand网络不像其他网络是专用系统，IB网络中的系统是网络中的主要实体。2）目标通道适配器目标通道适配器提供端到非IB网络（如以太网和光纤网络）的节点接口。目标通道适配器也提供与其它非网络外设类的接口，包括各种总线技术，如SCSI总线或USB总线。3）通道适配器和多线技术主机和目标通道适配器可以选择采用控制器技术和物理连接器连接4X和12X的连接，同时使用虚拟线路所需的软、硬件资源。4）存储子系统中的通道适配器InfiniBand网络中的存储子系统将通过目标通道适配器连接到网络中，SAN网络和InfiniBand的一个不同点就是主机I/O控制器的位置。但使用InfiniBand系统就不需要将主机I/O控制器置于主机中。InfiniBand网络子系统也有一个外部InfiniBand端口和内部光纤通道或SCSI设备。两种方式如图13-17所示。使用VI协议管理远程系统存储VI（virtualinterfacearchitecture）的主要思想是允许应用在集群网络系统和存储之间远程操作存储资源，即支持直接远程存储存取（remotedirectmemoryaccess,RDMA)。RDMA传输的特点是使用网络中类似系统存储的操作在网络中发送和接收数据。使用VI和RDMA，没有