PCIExpress总线技术的研究及其应用

PCIExpress总线技术的研究及其应用1.引言未来计算机系统对带宽和扩展性的要求，已经远远超过第二代总线并行多挂结构所具备的能力。微处理器、海量存储器、通讯、输入/输出信号处理及其他数据处理的数据吞吐量现以KMbps来衡量，并且还在不断的提高。PCI总线日益成为高速系统与外设之间数据交换的瓶颈，PCI总线的带宽有限性及扩展局限性也日益显现出来，这些诸多不足已经越来越不能满足计算机系统实际应用的需求。2.PCI/PCI-X性能瓶颈分析PCI总线技术自上个世纪90年代初期开始至今已为我们服务了十年有余，在这10多年中它的发展步伐相对来说是缓慢的，现行的并行PCI/PCI-X总线技术主要受到以下几个方面性能的限制:1)数据传输速率低.虽然它的数据传输速度已经从32位的33MB/s发展到64位的266MB/s，现在已经出现533MB/s,但是还是从根本不能满足越来越复杂的多媒体数据实时传输的需求；2)它不能随着主频的提高或者电压的降低而灵活调整传输速率；3)它的同步时钟数据传输受单一上升沿限制，而信号路由规则又受到经济的FR4技术的制约，接口引脚过多，不利于将来发展。所有这些限制都促使建立一个更高带宽、通用的I/O总线。3.PCIExpress总线概述PCIExpress总线技术是不同于以往的PCI/PCI-X总线技术，PCIExpress是Intel在2001年提出的第三代IO互连标准，用于取代PCI/PCI-X总线。与传统的PCI/PCI-X总线相比，PCIExpress用高速串行接口替代了PCI-X的并行接口，实现了传输方式从并行到串行的转变；采用点对点的串行连接方式，这个和以前的并行通道大为不同，它允许和每个设备建立独立的数据传输通道，不用再向整个系统请求带宽，这样也就轻松的到达了其他接口设备可望而不可及的高带宽；用点到点的基于Switch的交换式通讯替代了PCI-X的基于总线的通讯；用基于包的传输协议替代了PCI-X的基于总线的传输协议。PCIExpress接口根据总线接口对位宽的要求不同而有所差异，分为PCIExpress1X、2X、4X、8X、16X甚至32X。由此PCIExpress的接口长短也不同。1X最小，越往上侧越大。同时PCIExpress不同接口还可以向下兼容其他PCIExpress小接口的产品。即PCIExpress4X的设备可以插在PCIExpress8X或16X上进行工作。4.PCIExpress总线技术的优势与传统的PCI/PCI-X总线相比，PCIExpress总线的功能更加明显、更具优势：1）性能方面，PCIExpress技术不需要像PCI总线那样在主板上布大量的数据线（PCI使用32或64条平行线传输数据），只需要从芯片组中引出很少的引脚，与PCI相比，PCIExpress总线的引线数量减少了将近75%，但是却具有比现在的PCI高的多的带宽和传输速度，另外在配置的灵活性方面PCIExpress也优于PCI。2）使用串行连接，大大减少电缆间的信号干扰和电磁干扰，采用低电压差分信号（LVDS）传输，抗干扰能力强，能满足高频传输的需要；3）实现双通道传输模式，允许在一个周期内同时发送和接收数据，拥有较高的传输效率；在数据传输模式上，PCIExpress总线采用独特的双通道传输模式，类似于全双工模式，大大提高了数据传输速度。在传输速度上，1.0版本的PCIExpress将从每个信道单方向2.5Gbps的传输速率起步，而它在物理层上提供的1～32速可选信道带宽特性更使其可以轻松实现近乎无限的扩展传输能力。4）多种连接方式:与PCI不同，PCIExpress总线能够延伸到系统之外，采用专用线缆可将各种外设直接与系统内的PCIExpress总线连接在一起。这样可以允许开发商生产出能够与主系统脱离的高性能的存储控制器，不必再担心由于改用FireWire或USB等其它接口技术而使存储系统的性能受到影响。5）使用8b/10b编码的内嵌时钟技术，时钟信息被直接写入数据流中，解决了高频传输中的时钟同步问题；6）跨平台的兼容性：PCIExpress最大的优点之一就是它的跨平台兼容性。现在的符合PCI2.3规范的板卡将可以在低带宽的PCIExpress插槽上使用。采用了点到点的连接技术PCIExpress在每个设备都有自己专用的连接，不需要向共享总线请求带宽。更加直白的说，PCIExpress的目标就是要实现芯片之间的I/O连接、扩展板卡（比如显卡、声卡）的连接，甚至还能提供USB接口、IEEE1394接口的连接支持。因此，PCIExpress技术必将使计算机的I/O性能迈上一个新的台阶。5.PCIExpress体系结构PCIExpress的基本结构包括根组件（RootComplex）、交换器（Switch）、桥和各种终端设备（Endpoint）（如下图所示）。根组件可以集成在北桥芯片中，用于处理器和内存子系统与I/O设备之间的连接，而交换器负责数据转发的设备，它的功能通常是以软件形式提供的，它包括两个或更多的逻辑PCI到PCI的连接桥（PCI-PCIBridge），以保持与现有PCI兼容。桥，指的是PCIExpress到PCI或PCI-X的桥接设备，实现PCI或PCI-X到PCI-Express的挂接。端点设备是不同于根设备、交换器和桥的其他设备。端点设备可以包含多个功能模块，但有且只有一个上游端口、没有下游端口。设备通过该上游端口与根设备或Switch连接。通常，端点设备指的是系统的外围设备，如以太网、USB或图形设备。图一典型的PCIExpress系统结构PCIExpress体系结构采用分层设计，就像网络通信中的七层OSI结构一样，这样利于跨平台的应用。PCI-Express体系结构如图所示。它共分为四层，从下到上分别为：物理层（PhysicalLayer）、数据链路层（LinkLayer）、处理层（TransactionLayer）和软件层（SoftwareLayer）。图中的“S/W”和“Config/OS”均属于软件层。RootComplexEndpointBridgeSwitch存储器CPUEndpointEndpointPCI/PCI-X设备PCIExpress链路PCI/PCI-X总线图二PCI-Express体系结构物理层是最低层，它负责接口或者设备之间的链接，包含的接口有：驱动器和输入缓冲、并-串/串-并转换、锁相环、阻抗匹配电路等；数据链路层的主要职责就是确保数据包可靠、正确传输，它的任务是确保数据包的完整性，并在数据包中添加序列号和发送冗余校验码到处理层；处理层的作用主要是接受从软件层送来的读、写请求，并且建立一个请求包传输到链接层；软件层的目的在于使系统在使用PCIExpress启动时，像在PCI下的初始化和运行那样，无论是在系统中发现的硬件设备，还是在系统中的资源，如内存、I/O空间和中断等，它都可以创建非常优化的系统环境，而不需要进行任何改动。它们共同完成设备间的相互通信，并且每层具有独立于其它层的通信协议。PCIExpress的体系结构兼容于PCI地址结构模式，使得所有已有应用和驱动程序均不需作任何修改即可应用到新总线系统中。PCI-Express配置使用标准的PCI即插即用规格标准。6.与其他第三代输入/输出总线结构比较第三代输入/输出总线可以工作于各种不同的物理媒介，可以为各种设备提供足够的带宽，具备极佳的兼容性，将成为下一代通用的I/O总线标准。HyperTransport和RapidIO是另外两种第三代输入/输出总线结构。表一对PCIExpress与HyperTransport和RapidIO进行了比较。以Intel为代表的PCIExpress总线和以AMD为代表的HyperTransport架构以及RapidIO总线是目前高速数据传输率、高宽带互连总线技术的主要代表。RapidIO是高带宽、信息包交换互联结构。主要是用于芯片对芯片和板对板的连接，专门应用于如电信等通信和网络行业以及高端存储领域。HyperTransport联盟正在力推面向CPU至CPU、CPU至I/O、以及板至板内部互接的HyperTransport串行和并行架构。从定位上来看，PCIExpress更多地服务于电脑、服务器和网络设备等之间的连接，将成为主导PC平台以及服务器和存储标准，HyperTransport则主要面向芯片间/板内的高速互联，适合为高端的计算和网络设备提供高宽带的解决方案。它将进一步进入路由器、交换机和网络处理器组件。而鉴于PowerPC平台在嵌入式通信应用中的成功，RapidIO已经在高端通信基础设施市场中占居有利地位。随着高速总线技术的不断成熟和高速终端产品的推出，三者总线架构将会并存，并且它们的应用领域也将进一步相互渗透。表一第三代输入/输出总线比较PCIExpressHyperTransportRapidIO(parallel)RapidIO(Serial)物理接口串行，点对点并行，点对点并行串行与PCI兼容是是不不信号方式1.2vLVDS差动0.8vLVDS差动0.8vLVDS差动IEEE光纤串行通路标准最高时钟频率2.5GHz1.44GHz(DDR)1GHz(DDR)3.125GHz总线宽度1bit,2bit,4bit,8bit,12bit,16bit或32bit数据通道2bit,4bit,8bit,16bit通道8bit,16bit通道1bit,14bit通道应用芯片对芯片，芯片对芯片芯片对芯片和主芯片对芯片和主有限的主板板板传输距离适中短短长硬件故障恢复适中不可靠可靠链路层确认是不是是流量控制基于信用基于信用基于信用基于信用或基于重试传输量1KB时的传输效率适中适中高高最大有效负载4096B64B256B256B7.PCIExpress与InfiniBand技术的比较InfiniBand架构是一种支持多并发链接的“转换线缆”技术，在这种技术中，每种链接都可以达到2.5Gbps的运行速度。这种架构在一个链接的时候速度是500MB/秒，四个链接的时候速度是2GB/s，12个链接的时候速度可以达到6GB/秒。目前基于InfiniBand技术的网络卡的单端口带宽最大可达到20Gbps，基于InfiniBand的交换机的单端口带宽最大可达60Gbps，单交换机芯片可以支持达480Gbit每秒的带宽。基本上，InfiniBand与PCI-Express在服务器领域是属于共存的技术，此架构始于2001年底2002年初Intel的大力推广，其间因遇到技术上的瓶颈而使Intel决定将InfiniBand做重新定位，具体做法为将其应用到服务器之外，即锁定服务器间的总线传输；相较之下PCI-Express则定位为PC内的Bus。InfiniBand技术不是用于一般网络连接的，它的主要设计目的是针对服务器端的连接问题的。因此，InfiniBand技术将会被应用于服务器与服务器（比如复制，分布式工作等），服务器和存储设备（比如SAN和直接存储附件）以及服务器和网络之间（比如LAN，WANs和theInternet）的通信。一般而言，InfiniBand聚焦于较高阶市场且必须不断投入大量开发资本，有其一定局限性，PCI-Express则讲究成本效益，强调电源管理效率、多媒体应用延伸性、精简轻薄，两者的利益点与出发点有明显的不同。8.PCIExpress总线技术的应用由于PCIExpress广泛地被计算机和通信设备采用，并100%兼容PCI总线，所以自然而然的成为PCI的继承者。PCIExpress的突出特性，决定了它将会在服务器、成像系统、存储系统、通信系统、工业控制、数据处理等领域得到广泛的应用。现在PCIExpress总线技术已经日益成熟。PCIExpress能有更高的带宽和更好的性能。X16能为图形系统提供单方向上的5G字节/秒的传输率，X1或更高速标准能够为GbE（千兆比特以太网）、1394等提供单方向的250M字节/秒的传输率。PCIExpress使得计算机与网络平台的各