第六章 网络GIS数据存储

第六章网络GIS数据存储网络GIS数据存储6.1数据存储概述6.2网络存储分类6.3网络存储模式6.4网络GIS数据存储实例6.1数据存储概述数据存储技术须解决的问题：速度纠错与恢复备份安全费用与成本在线、近线、离线存储6.1数据存储概述一、数据存储技术的发展与分类1.存储技术的发展趋势磁存储技术软磁盘、硬磁盘光存储技术光存储技术就是用CD、DVD等光盘来读写数据的技术。光存储技术在记录密度、容量、数据传输率、寻址时间等关键技术上将有巨大的发展潜力。6.1数据存储概述一、数据存储技术的发展与分类1.存储技术的发展趋势可生存存储系统将一个文件分成多个数据段，分别存储到各个服务节点上，当用户需要访问时，必须要访问各个存储服务器，当一个服务节点被攻破时，并不能泄漏任何完整的文件信息，保证了在存储服务器被攻破后，仍然能够保护数据的保密性。6.1数据存储概述一、数据存储技术的发展与分类1.存储技术的发展趋势基于MEMS的存储器供应微机电式(MEMS)集成硅微型麦克风运动传感器系列产品加速计6.1数据存储概述一、数据存储技术的发展与分类2.存储技术的分类按连接方式分直接连接存储、附网存储、存储区域网按存储系统联机方式分在线存储、近线存储、离线存储按接口协议标准SCSI、光纤连接、3GIO、InfiniBand6.1数据存储概述二、磁盘阵列技术1.RAID技术RAID卡4.3GB磁盘阵列示意图6.1数据存储概述二、磁盘阵列技术1.RAID技术RAID（磁盘阵列：RedundantArrayofInexpensiveDisk，简称RAID技术)。它是1988年由美国加州大学Berkeley分校的DavidPatterson教授等人提出来的磁盘冗余技术。从那时起，磁盘阵列技术发展得很快，并逐步走向成熟。RAID的优点是：（1）传输速率高。（2）容错功能。（3）RAID比起传统的大容量磁盘驱动器来，在同样的容量下，价格要低很多。6.1数据存储概述RAID0(0级磁盘阵列)RAID0又称数据分块，即把数据分布在多个盘上，没有容错措施。其容量和数据传输率是单机容量的N倍，N为构成磁盘阵列的磁盘机的总数，I/O传输速率高，但平均无故障时间MTTF(MeanTimeToFailure)只有单台磁盘机的N分之一，因此零级磁盘阵列的可靠性最差。6.1数据存储概述RAIDl(1级磁盘阵列)RAIDl又称镜像(Mirror)盘，采用镜像容错来提高可靠性。即每一个工作盘都有一个镜像盘，每次写数据时必须同时写入镜像盘，读数据时只从工作盘读出。一旦工作盘发生故障立即转入镜像盘，从镜像盘中读出数据，然后由系统再恢复工作盘正确数据。因此这种方式的数据可以重构，但工作盘和镜像盘必须保持一一对应关系。这种磁盘阵列可靠性很高，但其有效容量减小到总容量一半以下。因此RAIDl常用于对出错率要求极严的应用场合，如财政、金融等领域。6.1数据存储概述RAID2(2级磁盘阵列)RAID2又称位交叉，采用汉明码作盘错检验，无需在每个扇区之后进行CRC(CyclicRedundancyCheck)检验。汉明码是一种(n，k)线性分组码，n为码字的长度，k为数据的位数，r为用于检验的位数。因此按位交叉存取最有利于作汉明码检验。这种盘适于大数据的读写。但冗余信息开销还是太大，阻止了这类盘的广泛应用。6.1数据存储概述RAID3(3级磁盘阵列)RAID3为单盘容错并行传输阵列盘。它的特点是将检验盘减小为一个（RAID2校验盘为多个，RAIDl检验盘为1比1），数据以位或字节的方式存于各盘。它的优点是整个阵列的带宽可以充分利用，传输时间减小；其缺点是每次读写要牵动整个组，每次只能完成一次I/O。6.1数据存储概述RAID4(4级磁盘阵列)RAID4是一种可独立地对组内各盘进行读写的阵列。其校验盘也只有一个。RAID4和RAID3的区别是：RAID3是按位或按字节交叉存取，而RAID4是按块(扇区)存取，可以单独地对某个盘进行操作。不像RAID3那样，每一次小I/O操作也要涉及全组，RAID4只需涉及组中两台磁盘机（一台数据盘，一台检验盘）即可，从而提高了小量数据的I/O速率。6.1数据存储概述RAID5(5级磁盘阵列)RAID5是一种旋转奇偶校验独立存取的阵列。它和RAID1、2、3、4各磁盘阵列的不同点是它没有固定的校验盘，而是按某种规则把其冗余的奇偶校验信息均匀地分布在阵列所属的所有磁盘上，于是在同一台磁盘机上既有数据信息也有校验信息。这一改变解决了争用校验盘的问题，因此DAID5内允许在同一组内并发进行多个写操作。所以RAID5既适于大数据量的操作，也适于各种事务处理。它是一种快速、大容量和容错分布合理的磁盘阵列。6.1数据存储概述注意：工业上很少销售RAID2，4。这些级别的校验信息的数学计算量太大而不实用。对于RAID3，校验盘是一个单一故障点，如果它丢失，将是致命的。RAID5能够在丢失单个盘时恢复数据，但它和RAID3一样，都不能恢复2个磁盘的丢失。RAID6和RAID5非常相似，但是存储了额外的冗余信息，以防止多个磁盘发生故障，可以容忍2个磁盘同时发生故障。RAID的组织方式及容错技术RAID的组织方式及容错技术6.1数据存储概述三、数据存储接口协议和标准1.SCSI技术SCSI(SmallComputerSystemInterface)通常用于服务器承担关键业务的较大的存储负载目前的主流SCSI硬盘都采用了Ultra320SCSI接口，能提供320MB/s的接口传输速度。支持热拔插技术6.1数据存储概述三、数据存储接口协议和标准1.SCSI技术优势：接口支持数量多SCSI的带宽很宽SCSI硬盘CPU占用率低、并行处理能力强6.1数据存储概述三、数据存储接口协议和标准1.SCSI技术6.1数据存储概述三、数据存储接口协议和标准2．光纤通道技术高端存储产品光纤通道是高性能的连接标准，用于服务器、海量存储子网络、外设间通过集线器、交换机和点对点连接进行双向、串行数据通讯。对于需要有效地在服务器和存储介质之间传输大量资料而言，光纤信道提供远程连接和高速带宽。它是适于存储局域网、集群计算机和其它资料密集计算设施的理想技术。6.1数据存储概述三、数据存储接口协议和标准2．光纤通道技术光纤通道的优势在一个环路可连接最多126个设备通过交换结构最多可连接1600万设备低CPU占用在服务器不关机就可增加和配置所连设备易于扩展以加大存储容量利用SCSI至光纤桥可实现对现有SCSI硬盘的高速连接可实现光纤和铜缆的连接全双工传输速率达2000兆/秒6.1数据存储概述三、数据存储接口协议和标准2．光纤通道技术6.1数据存储概述三、数据存储接口协议和标准3．iSCSI技术InternetSCSI（SmallComputerSystemInterface，小型计算机系统接口）它是由Cisco和IBM两家发起的，并且得到了IP存储技术拥护者的大力支持。是一个供硬件设备使用的可以在IP协议上层运行的SCSI指令集。iSCSI磁盘阵列是一套非常适合于中小型企业应用的存储解决方案，不仅价格低廉，而且管理机制和部署过程相对比较简单。适用于存储容量在3TB以下的用户6.1数据存储概述3．iSCSI技术优势：iSCSI协议可以跨现有的以太网网络运行。可以使用任何支持的网络接口卡(networkinterfacecard,NIC)、以太网集线器或交换机。一个IP端口可以处理多个iSCSI目标设备。可以对IP网络使用现有的基础结构和管理工具。配置的iSCSI目标设备的最大数目没有上限。可以使用该协议连接至光纤通道或包含适当硬件的iSCSI存储区域网络(StorageAreaNetwork,SAN)环境。6.1数据存储概述比较如果需要应用于I/O负载较轻的应用比如文件共享、FTP、音频存储、数据备份等可以考虑基于SATA硬盘的阵列。如果I/O负载较重的FTP、VOD、EMAIL、Web、数据库应用，那么可以考虑基于SCSI硬盘的存储系统；如果是较大规模的数据中心，硬盘数量需求巨大，考虑到目前SAS技术的不成熟，我们仍然推荐选用基于光纤硬盘的存储系统。6.2网络存储分类6.2网络存储分类6.2网络存储分类每个新的应用服务器都要有它自己的存储器。这样造成数据处理复杂，随着应用服务器的不断增加，网络系统效率会急剧下降。6.2网络存储分类将存储器从应用服务器中分离出来，进行集中管理。这就是所说的存储网络（StorageNetworks）6.2网络存储分类SAN结构中，文件管理系统（FS）还是分别在每一个应用服务器上；而NAS则是每个应用服务器通过网络共享协议使用同一个文件管理系统。换句话说：NAS和SAN存储系统的区别是NAS有自己的文件系统管理。6.2网络存储分类NAS是将目光集中在应用、用户和文件以及它们共享的数据上。SAN是将目光集中在磁盘、磁带以及联接它们的可靠的基础结构。将来从桌面系统到数据集中管理到存储设备的全面解决方案将是NAS加SAN。6.2网络存储分类一、直接存储直接附加存储（DirectAttachedStorage，DAS），也可称为服务器附加存储（Server-AttachedStorage，SAS）。图6.1基于DAS结构的存储备份6.2网络存储分类二、附网存储１．概念网络附加存储（NetworkAttachedStorage,NAS）是一种专业的网络文件存储及文件备份设备，它通过标准的网络拓扑结构连接到计算机网络上，利用现有的网络资源来接入专用的网络存储设备，因此也称为网络直联存储设备、网络磁盘阵列系统。基于NAS结构的存储备份6.2网络存储分类三、存储区域网络１．概念存储区域网（StorageAreaNetworking，SAN）以数据存储为中心，采用可伸缩的网络拓扑结构，通过具有高传输速率的光纤通道直接连接，提供SAN内部任意节点之间的多路可选择的数据交换，并且将数据存储管理集中在相对独立的存储区域网内。基于SAN结构的存储备份6.3网络存储模式一、网络存储集成技术NAS与SAN的融合SAN与NAS融合前的环境6.3网络存储模式一、网络存储集成技术NAS与SAN的融合SAN与NAS融合的拓扑6.3网络存储模式一、网络存储集成技术NAS与SAN的融合•另一种拓扑高端NAS盘阵，它集成了NAS服务器、光纤磁盘阵列等设备6.3网络存储模式一、网络存储集成技术NAS与SAN的融合6.3网络存储模式一、网络存储集成技术NAS与SAN的融合6.3网络存储模式一、网络存储集成技术NAS与SAN的融合6.3网络存储模式二、网络存储虚拟化技术基于主机的虚拟存储单个主机服务器（或单个集群）访问多个磁盘阵列6.3网络存储模式二、网络存储虚拟化技术基于存储设备的虚拟存储多个主机服务器需要访问同一个磁盘阵列。将一个阵列上的存储容量划分多个存储空间(LUN)，供不同的主机系统访问。6.3网络存储模式二、网络存储虚拟化技术基于网络的虚拟存储6.4网络GIS数据存储实例一、商用网络化存储解决方案6.4网络GIS数据存储实例二、SAN在空间数据存储管理中的应用１．数据存储与备份的现状和需求6.4网络GIS数据存储实例二、SAN在空间数据存储管理中的应用２．数据存储与备份的解决方案6.4网络GIS数据存储实例二、SAN在空间数据存储管理中的应用３．多层集中管理