云计算资料

MellanoxTechnologies（北京迈络思科技有限公司）版权所有2012西南石油勘探研究院MellanoxInfiniBand高速网络加速应用方案概述石油在现代工业体系中扮演着关键角色，同时由于它的不可再生性和短期内难以被其他能源所取代的特点，促使石油企业将石油勘探视为首要任务。这项业务的目标就是要在地表数千米以下的地层中找到油藏的位置，强大的技术支持是提高石油勘探效率和投资回报率的关键，而技术日新月异，性能不断提升的高性能计算系统是它所需技术中必不可少的组成部分。利用高性能计算实现更加精确高效的石油勘探已经是当今世界石油行业的共识。而基于标准技术部署的计算机集群以其出色的性价比和完整的生态系统支持受到越来越多的青睐。MellanoxInfiniBand作为当今计算机集群最高性能的标准网络互连，其高带宽、低延迟、高可扩展性、低CPU占有率等特性可以进一步加速石油勘探应用软件的性能。西南石油勘探研究院于2012年第二季度最新采用的MellanoxInfiniBandQDR（40Gb/秒）搭建的最新系统为该院石油勘探带来全新动力，大大提高地震资料处理相关计算的精度和复杂度。此文将介绍优化的系统架构及如何利用InfiniBand集群加速石油勘探。InfiniBand技术介绍InfiniBand是由InfiniBand行业协会(InfiniBandTradeAssociation，IBTA)定义的一项标准。它是一种新的I/O总线技术，用于取代目前的PCI总线。InfiniBand主要应用于企业网络和数据中心，也可以应用在高速线速路由器、交换机以及大型电信设备中。InfiniBand的设计思路是通过一套中心机构，即中心InfiniBand交换机，在远程存储器、网络以及服务器等设备之间建立一个单一的连接链路，并由中心InfiniBand交换机来指挥流量。MellanoxTechnologies（北京迈络思科技有限公司）版权所有2012在2011年11月公布的全球高性能计算机TOP500排行榜上，基于InfiniBand网络互连的系统占比达到42%，其中前100名中有55个系统采用InfiniBand，而且呈现逐年递增的趋势。InfiniBand以其出色性能（56Gb/秒带宽，小于1微秒延迟）与可扩展性实现高于80%的系统效率，其中最高系统效率达到96%。而基于传统千兆以太网的系统效率通常集中在40%-50%，无疑将造成巨大的系统资源浪费。RDMA(RemoteDirectMemoryAccess)远程内存访问是实现计算机与计算机之间远程内存直接读取的技术，同时也是InfiniBand的核心特性。RDMA联盟是Internet工程任务组（IETF）的补充。这项技术通过消除外部存储器复制与文本交换操作，从而在网络传输过程中避免占用系统CPU资源，并且显著降低实际应用的网络延迟（小于1微秒）。RDMA在高性能计算领域被广为采用，基于标准MPI的应用都可以无缝支持RDMA协议，实现更佳的性能与可扩展性。高性能计算助力石油勘探在高性能计算商业化趋势的推动下，为勘探业务大规模布署和应用高性能计算已成为当今石油企业的共识。其中全球前10名石油企业全部都有采用InfiniBand计算机集群运行地震监测及石油勘探。采用传统的地质学方法和地球化学方法来勘测，其结果是很不精确的。因此在不够精准的勘测结果面前，只能依靠多钻井进行反复尝试来发现真正油藏的关键部位。然而，钻井的MellanoxTechnologies（北京迈络思科技有限公司）版权所有2012费用是非常高昂的，每打一口油井，其花费往往都会达到上千万甚至是上亿元，为提高石油勘探的能力和效率并降低其成本，石油企业很快就开始在勘探中采用了更为先进的地球物理方法，尤其是地震波法。地震波法是用炸药在地面激起人工地震波，这种地震波可传入地下深处，并在碰到不同形态的岩层时形成不同的反射波，这些反射波经地面的检波器收集、转变成电子信号后可存储为数据，通过对这些数据进行计算处理，人们就能清晰地摸拟出勘测区域的地下地质构造，并找到那些存有石油或天然气的岩层的精确位置。由于地震波法勘探收集的海量数据通常都以TB计，因此这些海量数据的处理只有借助高性能计算机，才能在最短的时间内完成，以实现最佳的勘探效益。随着RTM逆时偏移等消耗CPU资源更多、精度更高的偏移算法被逐渐投入到国内石油勘探中来，高性能计算变得越发关键。在高性能计算机上采用InfiniBand网络以后，可以进一步缩短地震与油藏软件处理的运算时间。国际石油行业软件如Omega、Eclipse、CGG等都通过InfiniBand网络来实现更高性能。中国石油东方地球物理公司(BGP)自主开发的GeoEast也正在积极进行基于InfiniBand网络的优化。系统架构西南石油勘探研究院采用MellanoxInfiniBandQDR网络搭建256节点刀片集群。该集群通过InfiniBandQDR连接GPU集群、软件节点、解释服务器、以及备份服务器。同时采用MellanoxInfiniBand网关BX5020连接上一代基于以太网的系统，并行存储通过网关GD4036连接到InfiniBand核心交换机（见下图）。整个新建系统全部实现InfiniBand40Gb/秒网络互连。面对越来越大型的计算数据与计算复杂度，通信变得愈加重要，进一步增加了石油应用对网络的需求。系统中的MellanoxInfiniBandQDR提供每秒40Gb的带宽和小于1微秒的应用延迟，同时不同于其他InfiniBand网络和以太网产品，MellanoxInfiniBand真正在硬件基础上实现RDMA的解决方案。高性能网络硬件加上高效RDMA必然会成为未来石油应用高性能与可扩展性的保障。MellanoxTechnologies（北京迈络思科技有限公司）版权所有2012除了网络通信速度的提升，MellanoxInfiniBand同时提供更高的存储带宽，图中12条InfiniBandQDR网线提供了相对于30条以上万兆以太网能够提供的存储带宽，通过高速网多网合一，极大简化网络布线和管理成本，并保证了高速的存储性能。系统配置的MellanoxInfiniBand同时提供GPU加速功能–GPUDirect。通过实现GPU与InfiniBand网卡的系统内存共享来减少GPU内存与网卡内存的拷贝过程，从而加速基于GPU的应用程序运行速度。相信石油行业基于GPU的运算可以得益于GPUDirect这项技术。绝大多数石油应用是基于MPI编写，然而传统MPI由于其固有历史原因，可能部分函数无法发挥InfiniBand最新硬件的属性。随着应用规模的不断扩大，这个矛盾越发突出。联合设计概念的出现，促使InfiniBand硬件厂商与MPI开发人员联合设计新的软件组件来提升整体性能。其中包括将MPI函数中的集群通信卸载到InfiniBand网络硬件（CollectiveOffload），利用InfiniBandMulticast与QoS特性，改变节点内部通信的内存管理模式等来提升应用的可扩展性与性能。MellanoxInfiniBand所提供的FCA通信卸载软件驱动将进一步加速石油应用程序性能。性能测试：石油油藏模拟软件的试验测试结果显示，使用MellanoxInfiniBandQDR相对与传统以太网的优势极其明显。从两个计算节点开始，InfiniBand就开始超越千兆以太网。千兆以太网完在4个计算节点时就已经全失去可扩展性，性能开始快速下降。然而InfiniBand却依然保持不错的可扩展性。试验证明MellanoxInfiniBand提供传统网络无法比拟的优势。MellanoxTechnologies（北京迈络思科技有限公司）版权所有2012