NetApp某油田公司地学数据存储解决方案

NetworkApplianceInc.1/10/2020Page1/10/20201NetApp某油田公司地学数据存储解决方案一．行业背景及用户需求分析地学数据存储系统，既有常规数据中心中存储设备共有特性，又有其独特的地方。分析处理、解释、油藏等地学应用不难发现，除了高度可靠性、高性能、灵活方便的在线扩容等要求外，还有如下的典型特征：完整的地学IT架构，应该面向多种地学应用系统，以较好的满足他们不同的需求。对处理系统来说，传统上服务器大都是SMP并行机系统，对MFLOPS有着严格的要求，对用户来说可能正在使用IBMSP系列服务器；也可能SGIORIGIN高端服务器正在担任着繁重的处理任务；出于性价比的考虑，越来越多的用户开始转向采用PCLINUX集群来提供强大的CPU处理能力，所以不同时代的处理服务器，应该能够共享地震工区数据，尽量减少数据传输甚至是格式转换这一繁重的工作。今后随着新解释工具（5X），预存储数据解释工具（5X），慢速（4D）地震（3X）以及剪切波数据的运用，数据量将会以惊人的225倍（5533）的高速度增长，因此存储系统应完全满足未来应用对容量的要求，同时具备在线增容的能力。对地震道解释系统来说，高级的解释系统大都采用高端SGI工作站来满足图形方面的苛刻要求，而普通解释工作则可以在HP、SUN、IBM的工作站上进行，单工区解释可能会有多个技术人员参与，因此存储设备应该具备异构平台、多用户数据共享的能力。随着现场处理技术和WINTEL技术的发展，无论是处理还是解释等其他的应用都开始支持UNIX和WINDOWS两种版本，因此同时支持CIFS协议和NFS协议成为存储设备数据共享不可或缺的指标。对三维地震数据来说，无论是处理解释，还是虚拟现实应用系统，都面临一次性加载大数据体的工作，加上应用系统的中间结果，大容量文件系统和大尺寸单个文件的存储设备是高效完成生产任务的可靠保证。处理解释一体化IT架构，减少迭后数据传输量，密切处理解释人员的合作，优化整个地震数据的处理流程，提高生产效率，最大化地震数据的利用率。有效的磁盘到磁盘处理，缩短生产周期，提升竞争力。正是基于上述考虑，针对标书要求，我们提出如下解决方案。NetworkApplianceInc.1/10/2020Page1/10/20202二．地学数据存储系统解决方案1．方案设计原则充分满足标书对存储设备性能、功能的要求。选用业界领先的技术和产品，保证方案的先进性；充分考虑与原有设备的兼容性和互操作能力，最大程度保护用户投资。与地学应用系统的成熟结合能力。存储系统设计完全基于现有计算机和网络设备业界的开放标准，适应用户现有网络系统硬件环境要求。数据的安全性和系统的高可靠性，存储系统负责存储整个中心的数据，是典型的关键业务，是不能停止的，对系统的高可靠性有着较高的要求。作为该系统核心的存储平台的高可靠性则更是重中之重。由于采用了集中存储的方案，所有的相关数据均集中存储于统一的平台之上，存储平台的任何故障会造成大的影响。因此存储平台的数据安全性和系统高可靠性尤为重要。系统的高性能，存储系统要为大量的用户存储数据。由于总的数据量会达到TB级,如何在这么大数据量情况下满足多个客户机的并发访问，整个存储系统的性能也是一个非常关键的要求。而且考虑到将来业务的增长，数据量还会持续增加，客户机的数量也会继续增加，系统的性能还应能很好的适应未来的扩充和扩展的需要。系统的可扩展性/可扩充性，作为集中存储的基本要求，存储系统应能支持巨大的存储容量，可以集中存储不同平台的企业数据，从而在保留分布式处理好处的同时实现核心信息的集中存储和集中管理，随着时间的推移、技术的发展以及环境的变化，用户的数据量会飞速增长，许多新的用户或新的需求会不断产生，因此对存储系统的可扩展性有很高要求。尽管我们在本方案中已经充分考虑了系统存储容量空间的预留，但随着业务的发展，对存储系统的可扩展性要求仍将非常迫切。这主要表现在对存储系统容量的平滑扩充以及对新的主机（HOST）系统的平滑连接，以尽量减少对已有正常业务的影响。数据共享及系统的多平台支持能力，作为集中存储的基本要求，存储系统必须能够同时连接不同的平台，以满足未来数据集中、共享的需要。灵活性和系统管理的简单性，由于存储系统的数据量非常大，如何有效的管理大量的数据，包括数据备份/恢复，都对存储系统的管理提出了巨大的挑战。系统管理人员需要有高效的方法实现全面的存储系统监控，包括实时数据性能监视、错误监测、错误状态识别等等。另外作为集中的存储平台，由NetworkApplianceInc.1/10/2020Page1/10/20203于前端需要连接的服务器数量很多，如何在多个服务器平台之间对容量进行灵活的划分和调度也是为存储系统的管理提出了巨大的挑战。从标书整体要求出发，充分考虑用户对备份系统的要求，利用成熟可靠的LanFree备份技术，实现大数据量的高速备份，减轻系统管理人员的负担，保证处理员和解释员即使在备份时也能正常工作。2．方案拓扑结构为了充分满足标书要求，我们选择NetAppFAS920c作为集中的存储设备。如下图所示：3．FAS920C配置FAS920C配8条千兆以太网连接，可以做成两个捆绑，分别对应处理VLAN和解释VLAN。NetworkApplianceInc.1/10/2020Page1/10/20204NETAPP存储设备硬件有着简单的架构和满足工业标准的组成部分。简化了维护和管理，并确保采用最新工业技术简单升级。NetApp存储设备由两个主要部分组成：机头和磁盘包。机头本方案采用双机头配置，可以被安装在19”机架上，双机头工作在ACTIVE/ACTIVE模式下，可以保证正常状态下的高效率，又可实现故障状态下的自动切换，主要功能是运行NetApp存储操作系统，是整个存储设备的核心部件。磁盘包磁盘包和机头一样，也可安装在19”机架上，由下述部分组成：1.电源（热插拔）。2.14个/18/36/72/144/300GB磁盘（热插拔）。3.双ESH2或ESH4（失效自动切换）。4.控制单元（监控和诊断）。5.多个磁盘包可以连接在一个机头上，容量从表面上1TB到64TB。可以在线增加磁盘包。NetworkApplianceInc.1/10/2020Page1/10/20205裸容量为6TB。1.单盘容量:144GB2.磁盘数量:443.RAID组包含盘的数量:84.快照预留空间:05.数据盘数量:376.校验盘数量:67.热备盘数量:18.裸空间:6.34TB9.WAFL占用空间:0.5TB10.可用空间:4.53TB容量计算：容量的计算公式是：需求盘的数量=（客户需求的有效数据量）/（格式化后的磁盘空间）+（校验盘的数量）+热备盘空间利用率的公式为：空间利用率=（数据盘数量×格式化后的容量）/（总需求盘的数量×每块盘的裸容量）下面根据用户需求配置出FAS920c所需的实际磁盘数、裸盘容量及有效容量。FAS920C的软件配置如下：DATAONTAP最新版本/SnapShot/RAIDDPClusterFailover支持软件iSCSI支持软件SnapDriveforWindows（如果应用IPSAN）NetworkApplianceInc.1/10/2020Page1/10/20206CIFS支持软件NFS支持软件SnapRestore软件4．安装、配置、管理安装：由厂家或合格的代理商工程师现场安装。首先检查用户场地，满足要求后加载NetApp软件，通过超级终端完成FAS920C的基本配置。与用户交换机连接，分别定义处理服务器和解释及虚拟现时服务器的以太网通道及相关IP地址，对应不同VLAN，NetApp存储设备缺省支持两种方式的捆绑：SINGLEMODE和MULTIMODE，SINGLEMODE对用户交换机没有特殊要求，MULTIMODE需要交换机支持CISCOETHERCHANNEL技术。根据用户对可靠性要求的不同，设定热漂盘数量，以及是否采用RAIDDP技术。配置：充分考虑地学应用系统的要求，将NetAppFAS920C的存储空间配置成若干数据卷：存储系统根卷，专门用于存储操作系统。地震处理系统数据卷，用NFS形式输出：地震工区数据库数据卷地震处理暂存区数据卷处理员根目录数据卷地震道解释数据卷，用NFS或CIFS形式输出。虚拟现实数据卷，NFS形式输出。根据用户的具体需求，还可以划分其他数据卷用于ORACLE，EXCHANGE等数据卷。NetApp灵活数据卷技术将保证所有数据卷都在高效可靠的状态下工作。空间分配如下图所示：NetworkApplianceInc.1/10/2020Page1/10/20207正是因为采用NetApp的灵活卷（FlexVol）技术，无论数据卷的尺寸是多大，所提供的性能都是整个存储池的性能。管理：NetApp存储设备简单软件硬件设计也意味着简单操作。完成系统管理工作也不过仅仅40条命令。对管理工作提供命令行接口和图形界面。命令行接口通过下述方式访问：串口控制台TELNET会话或SSH5．方案工作原理介绍1）专用软件操作系统存储操作系统DATAONTAP提供灵活数据卷技术保证所有数据卷都在可靠、高性能下工作，同时所有数据卷是构建在牢固的存储池基础上。NetworkApplianceInc.1/10/2020Page1/10/20208NETAPP的数据卷,是业界第一个基于网格存储操作系统DATAONTAP7g的网格化数据卷,具有强大存储虚拟化功能,在线扩充能力,灵活的最小空间占用的快照,同时可以包括FCLUN,iSCSILUN,和文件系统,并将他们和谐的构筑在同一存储池上,共享灵活方便的管理工具,使复杂环境中较小的数据卷拥有最大的性能。FlexibleVolumes是一个划时代的新技术，所有的卷被视为逻辑的数据容器，同时可以在不破坏底层物理存储结构的前提下被独立的设置、调整大小，管理和移动。NetAppFlexVol技术提供了真正的存储虚拟化解决方案，能够缩减开销和资本费用，减少业务中断并降低风险，同时还具有很高的灵活性，可以快速方便地适应企业不断变化的需求。FlexVol技术可以自动集中存储资源，便于您在一个大型磁盘池中创建多个灵活的卷。有了这一灵活性，您就可以简化操作，最大限度地提高利用率和效率，并可以快速、无缝地进行修改。利用NetApp存储解决方案，您可以随时随地根据需要以最低成本增加存储容量，并且无需中断业务运作。如下图所示，一个Aggregate被定义为给卷（Volumes）分配空间的许多磁盘的池（pool）。从管理者的角度来看，卷仍保持着对主要项的数据管理。但由于是对管理者透明，FlexibleVolumes现在面向的是逻辑项而不是传统的物理存储了。FlexibleVolumes因此不再受限于它们存在的磁盘的限制了。你可以在一个存储的“池”中定义一个你需要多大的空间的FlexVol，而不是由你创建卷所在的磁盘个数硬性规定。一个FlexVol也可以不需要停机任意收缩或者扩展。同时FlexibleVolumes可以在Aggregate所拥有的所有物理磁盘上实现条带化。对于那些对性能敏感的应用来说，FlexibleVolumes比那些由磁盘个数限定大小的卷拥有更好的性能。NetworkApplianceInc.1/10/2020Page1/10/202092）多协议支持FAS920C和其他NETAPP的存储设备一样，都是多协议支持设备，因此无论是地学环境中基于SMP的各种UNIX并行机，还是目前流行的刀片机；无论是地震道解释用到的任何高低端UNIX工作站，还是WINTEL平台的便携式解释系统；无论是地学应用系统，还是办公应用数据的存储，都可以安全的存储在NETAPPFAS920C上。更为重要的是，在上述所有不同应用系统、不同应用平台上可以实现真正数据级的共享，节省大量存储资源。随着最新技术的发展，NETAPP成功成为存储界唯一能提供统一化存储设备的