第3章 数据存储技术基础

1第3章数据存储技术基础随着企业网络规模的不断增大和企业网络应用的频繁，企业信息数据量也越来越多，而且企业对这些数据的依赖性也越来越大。目前，数据存储已不再是作为服务器系统的附属功能而存在，已形成了自成体系的庞大行业系统，其重要性也日渐提高。本章将介绍以下几个方面的内容：近线存储；NetApp的近线存储方案；SAN方案；NAS和SAN的融合；HPNAS与SAN整合方案；NetApp统一存储方案。3.1数据存储概述数据存储已经渗透到企业运作的各个领域，企业依靠这些存储的数据进行决策，成为企业信息系统的重中之重。那么到底什么是数据存储，数据存储的意义又是什么呢？3.1.1什么是数据存储数据存储就是根据不同的应用环境通过采取合理、安全、有效的方式将数据保存到某些介质上并能保证有效的访问。总的来讲可以包含两个方面的含义：一方面它是数据临时或长期驻留的物理媒介；另一方面，它是保证数据完整安全存放的方式或行为。数据存储就是把这两个方面结合起来，向客户提供一套数据存放解决方案。说到存储介质，实际上它的范围非常广，小到计算机系统中的几百KB的ROM芯片，大到上百GB，甚至TB级的磁盘阵列系统都可以用来保存数据，又都可以称为存储。可以说存储无处不在、无处不有。存储按照使用的方式和存储规模，又有移动存储设备（比如U盘、PCMCIA硬盘和外置USB移动硬盘）和非移动存储设备之分。企业中存储数据的绝大多数设备都是非移动存储设备，如内置磁盘、磁盘阵列、磁带机、磁带库、光盘库等。而数据的存储媒介依据不同用途可以有多种选择，按照存储介质和存储技术划分，主要有磁盘、磁带和光盘等三大类。虽然只读存储的光盘单位容量成本最低，但由于可使用性不强，所以其应用范围远没有磁带和磁盘库。总体来说磁带的单位成本适中，磁盘的最高且存取性能最好。在存储技术领域，没有惟一的标准。无论何种存储方式，对存储系统而言，其体系架构都基本上是一样的（其实其他设备也差不多），都是由三个层次决定的：主机I/O连接、连接数据线和存储设备接口。与其他任何数据通信一样，它同样涉及I/O总线、传输控制协议、介质接口和嵌入式控制器四个方面。I/O总线也就是目前常见的几种，如PCI、PCI-X等；随着数据存储技术的发展，目前在数据存储中所涉及的传输控制协议就比较多了，几乎是全面覆盖当前所有的主流协议（有的还未正式批准发布），如TCP/IP、Ethernet、iSCSI、InfiniBand、SCSI、Fibrechannel、FCIP和IFCP等；在存储设备接口方面也是多种多样，除了常见的三种磁盘接口（ATA、SATA、SCSI）外，新的一些接口类型也是层出不穷，如FC（光纤通道）、SAS（串行SCSI）、ESCON（企业级系统连接）、N-Port（节点端口）和NL-Port（节点环路端口）等。不仅各种存储协议和存储接口在推陈出新，而且在存储设备与服务器的连接方面也出现了三种完全不同的方式：（1）存储设备与服务器直接相连，又称为DAS；（2）存储设备直接联入现有的TCP/IP的网络中，这种设备称为NAS；（3）将各种存储设备集中起来形成一个存储网络，通过光纤进行连接，以便数据的快速集中连接与管理，这样的网络称为SAN。总的来看，存储技术正推陈出新，老技术不断升级，新技术层出不穷。这些技术，从网络存储功能2的存储（Storing）、连接（Wiring）和文件组织（Filing）三个方面，影响着网络存储的架构、性能和成本。iSCSI、SATA、SAS等新技术的出现，以及FC、Ethernet、SCSI的升级换代，都会给存储产品带来比较大的变化，目的是提高性能，降低成本，减少投资，简化用户存储网络的管理和维护。3.1.2数据存储方式的发展说到数据存储，最先想到的就是PC机上的那块硬盘了。因为在PC机中的数据基本上都是存储在这块磁盘中，它的好坏直接影响着电脑的正常使用和数据保存得是否完好，甚至影响着人们工作和生活的正常进行，还有可能影响着未来的命运。而对于企业用户来说，其服务器中的数据比起个人用户PC磁盘中的数据又不知要重要多少倍，因为它不再是关系着某个人的命运，还关系着成百上千，甚至几十、上百万员工的命运。有的企业就是因为服务器中长期积累下来的商务数据丢失，无法恢复而关门大吉，所造成的损失是无法估量的。1．SCSI拓展存储技术发展之路以上提到的仅是PC机中的数据存储，在网络系统的服务器中，最开始也是以PC机中单或多磁盘方式直接连接在服务器主板、SCSI或RAID控制卡的磁盘控制器上，这就是DAS（直接连接存储）方式。该保存方式与PC机没什么两样，不同的只是所采用的磁盘接口是传输速率更高的SCSI接口（而不是PC机中常见的IDE接口），数量上也更多些，因为要存储更多的数据。这种存储方式在相当长一段时间满足了不断增长的数据存储和安全需求，但随着网络规模的不断增大，网络系统和应用日趋复杂化，网络数据量也飞速增长，这种DAS存储方式无论在存储容量，还是在存储性能上都不能满足用户不断增长的需求。人们常说的SCSI标准，是指SCSI协议集中的并行SCSI标准——SPI（SCSIParallelInterface）标准。SCSI技术的多任务处理、总线拓扑结构、多设备连接的特性，使得SCSI技术不仅可以应用在计算机内部SCSI设备和主机总线的连接上，还可以把外置存储系统通过SCSI电缆，连接在计算机I/O总线的SCSI控制器上。这就是存储主流模式——DAS的由来。由此，SCSI技术开创了外置存储的新时代。为了适应串行通信技术，SCSI-3协议又增加了能满足特殊设备协议需要的命令集，使得SCSI协议既适应传统的并行传输设备，又能适应最新出现的一些串行设备的通信需要，如“即插即用”、光纤通道协议（FCP）、串行存储协议（SSP）、串行总线协议等。从1979年SCSI技术诞生以来，整个SCSI协议标准树越来越丰富，SCSI体系得到了空前的发展。一方面，SCSI协议的指令集在逐步丰富，另一方面，SCSI体系架构的应用模式，也已经从SPI（并行SCSI），往FC、iSCSI、InfiniBand方向发展。2．网络存储的发展之路大家知道，信息技术基础设施的三个主要部分是计算机、网络和存储设备。在过去的几十年中，前两个部分已得到长足的发展。在计算机技术方面，仅CPU的主频目前就已近4GHz，前端总线频率也已突破1GHz，各种总线技术也得到极大的发展；在网络方面，10G以太网早已出现并得到应用。但数据存储技术明显落后，尽管目前最快的SCSI接口速率达320MB/s，但由于价格等原因还不能使它在服务器中得到普及，更别说在PC机中应用了。同时，与信息技术基础设施的其他两个部分相比，管理存储设备的方式也相对原始。在DAS时代，各存储体都是采取传统的直接连接方式连接在主机上的，各种存储请求都必须依靠主机进行，所以对主机性能影响越来越大。在当前的网络时代，人们希望有一种更先进的数据存储方式来解决以上存储容量扩展、存储性能的提高和对主机的影响等方面的问题。最近的一系列事件，包括2001年发生在美国的9.1l事件，使人们更加认清了这样一个事实，即存储是一种关键功能，因为公司的日常事务依赖于公司收集和存储的数据。因此，在各存储设备厂家和标准委员会的共同努力下，一种基于网络的存储方式——NAS（网络附加存储）诞生了。这种存储方式的关键设备就是NAS文件服务器，它负责整个网络数据存储的操作和管理，从而可以把数据存储任务从服务器主机中分离出来，减轻服务器的负荷。另外，它通过NAS服务器集中连接了所有存储设备，作为网络节点直接放在网络上，所以网络用户可以共享，管理员可以进行集中管理。由于它的高性能和强大的功能，在短时间内得到了广大存储设备商和用户的高度认可，飞速普及。3网络附加存储相对传统的DAS来说有了本质上的飞跃，它把传统的数据存储独立起来，作为网络的一个部分，而不再依赖于主机。所以网络附加存储中的数据是属于网络用户共享的，而不再隶属于某个主机。网络存储的发展将使有多个数据库的公司，例如销售、制造、支持和客户服务，能够更轻松地相互引用这些独立的数据源，更全面地了解他们的公司，从而改进公司的运营，提高员工的工作效率。同样，集中接入可以简化维护工作，从而帮助降低成本和简化对业务增长的管理。网络附加存储的目标是在一个整体存储方案中联合广泛的存储设备，包括磁盘驱动器、备份磁带驱动器、磁盘阵列、光盘库等所有存储设备。这样做的结果是公司能够集中管理和备份整个公司的存储资源，而不至于像在DAS时代那样，管理员需要四处搜索分散的存储资源。同时在数据安全性方面也更有保障，所有关键数据都可安全地保存在多个位置，并且普遍强制实施高级别的安全技术，这样当网络性能受到影响时不会中断业务。但随着网络存储技术的发展和用户应用需求的提高，人们发现NAS也不是十全十美的，主要体现在它成本过高、存储性能有待提高。于是一种新型的存储技术——SAN（存储区域网络）随即诞生了。这种存储方式当然要解决前者NAS存储方式的那些不足了。首先它去掉了NAS方式中价格昂贵的专门NAS服务器，取而代之的是相对廉价的SAN光纤交换机。其他存储设备与SAN交换机连接（有多种连接通道可选），形成一个SAN存储网络，然后再通过SAN交换机与企业以太网络以光纤通道连接。在SAN存储网络周围有了四通八达的光纤通道（FC），也就解决了NAS中存储性能低下的问题。在SAN方案中，经常使用的光纤通道技术，可以使用光缆来连接存储设备，提供最远可达10公里的高速远程数据传输，比起NAS所用的受单段100米限制的传统以太网来说容易扩展得多。光纤通道是一项卓越的技术，它可以把高性能服务器互连到数据中心等封闭式网络中的存储设备。与DAS相比，以上两种网络存储方式使更多服务器处理功能可用于完成计算工作，因为它需要较少的服务器功能来处理简单的输入/输出（I/O）操作，从而使繁忙的服务器不会变成数据传输中的瓶颈。还有，在网络存储时代，一些智能功能，如数据迁移和虚拟化也正向网络转移，被网络存储所利用。最开始因为企业使用的是DAS存储方式，连接在各主机上的数据都只能是一个个数据“孤岛”，无法形成紧密的联系，也就无法有任何智能化的可能。随着技术的发展，SAN网络存储方式也得到发展，不再局限于企业局域网中，而是可通过全球最大、最廉价的广域网——互联网进行存储，这就是互联网协议（IP）存储。它所依赖的就是新型的iSCSI、IFCP等IP存储协议。这种通过互联网所进行的SAN存储，使企业内更多的服务器能够接入这些SAN存储网络中，使企业能够更有效地使用他们的存储资源。这些IPSAN存储将允许企业工作组和中小型企业来构建基于低成本、为大家所熟悉的IP协议的存储网络，而无需太专业的光通道技术。3.2三种数据存储形式为了减少企业对存储的整体投入，通常对不同的数据采取不同的存储方式，因此在一个较大的存储系统中的存储设备可分成三种角色：在线存储（OnStore，又称联机存储）、近线存储（NearStore）和离线存储（OffStore，又称脱机存储）。通常将不经常访问的数据存放在离线存储的设备上（比如，磁带库），将要求传输速度快或经常访问的数据存放在在线存储的设备上（比如，磁盘阵列）。传统的数据存储一般也只需这两种存储方式。而近线存储则是一种全新的存储方式，它可以用若即若离来形容，它既不是把所存储的数据保持在在线状态，又不是像离线存储那样把数据存储在离线媒介上，而是以在线连接方式一直保持在线连接，但又不影响系统，只是在需要时激活。3.2.1三种数据存储形式概述在线存储又称工作级的存储，存储设备和所存储的数据时刻保持“在线”状态，是可随意读取的，可满足计算平台对数据访问的速度要求。如PC机中常用的磁盘基本上都是采用这种存储形式的。一般在线存储设备为磁盘和磁盘阵列等磁盘设备，价格相对昂贵，但性能最好。离线存储主要用于对在线存储的数据进行备份，以防范可能发生的数据灾难，因此又称之为备份级4的存储。离线海量存储的典型设备就是磁带或磁带库，价格相对低