存储系统及设备简介

存储系统及设备简介内容提要一、分级存储：在线/近线/离线二、存储设备及分类一、分级存储在线近线离线查询调用内容管理策略管理应用存储存储就是根据不同的应用环境通过采取合理、安全、有效的方式将数据保存到某些介质上并能保证有效的访问;总的来讲可以包含两个方面的含义：一方面它是数据临时或长期驻留的物理媒介；另一方面，它是保证数据完整安全存放的方式或行为。存储就是把这两个方面结合起来，向客户提供一套数据存放解决方案在线存储随时保持实时快速访问状态，较高的I/O速度和良好的访问能力（如磁盘阵列、NAS）离线存储平时与存储系统无连接，存取时需要将设备或介质临时的装载到系统中。访问完成后再脱开连接（软盘、光盘、磁带）近线存储介于在线和离线之间，采用自动化的数据流磁带库或光盘塔，与在线设备发生频繁的数据交换成本速度用户半导体存储器磁盘阵列数据流磁带SONY当前使用最普遍的几种存储媒体：半导体存储器：存取速度最快，成本最高磁盘阵列：存取速度很快，但成本较高数据流磁带和DVD：存取速度相对较慢，但成本低为什么采用“分级存储”方式？原因：影视资料数字化带来大容量的数据存储需求解决方案一：增加磁盘阵列的容量分析：购买TB级的光纤通道磁盘阵列成本非常高，不知道购买多少磁盘空间才能满足目前和今后的需求。将大量很少使用的历史资料、素材全部存储在磁盘当中，不仅成本高昂、浪费宝贵的磁盘空间，而且也不安全。解决方案二：“分级存储”，磁盘阵列+磁带库分析：降低了部分效率，但节省成本！二、存储设备及分类在线设备：磁盘阵列磁盘阵列（DiskArray）：由一个磁盘控制器来控制多个磁盘的相互连接，使多个磁盘的读写同步，减少错误，增加效率和可靠度的技术。为什么需要磁盘阵列?增加磁盘的存取(access)速度，尽量平衡CPU、内存及磁盘的性能差异，提高电脑系统整体的工作性能增强容错(faulttolerance)即安全性，防止数据因磁盘故障而丢失有效的利用磁盘空间降低购买大容量磁盘的开销RAIDRAID是RedundantArrayofInexpensiveDisks的英文缩写，中文译作“廉价冗余磁盘阵列”，简称磁盘阵列,是磁盘阵列在技术上实现的理论标准.简单的说，RAID是一种把多块独立的磁盘（物理磁盘）按不同方式组合起来形成一个磁盘组（逻辑磁盘），从而提供比单个磁盘更高的存储性能和提供数据冗余的技术。RAID级别（RAIDLEVEL）在这一组磁盘中，数据按照不同的算法分别存储于每块磁盘上从而达到不同的效果，这样就形成了不同的RAID级别（RAIDLEVEL）。按照RAID级别划分，常见的有RAID0，RAID1，RAID3，RAID5，RAID10，RAID50还有不常用的RAID2，RAID4，RAID6，RAID7等RAID0RAID0是DataStriping(数据分割)技术的实现，即把数据分布在多个盘上，没有容错措施。其容量和数据传输率是单机容量的N倍，N为构成阵列的磁盘总数，I/O传输速率高，但平均无故障时间MTTF(MeanTimeToFailure)只有单台磁盘的N分之一，因此零级盘阵列的可靠性最差。（1）、RAID0最简单方式：把n块同样的磁盘用硬件的形式通过智能磁盘控制器或用操作系统中的磁盘驱动程序以软件的方式串联在一起，形成一个独立的逻辑驱动器，容量是单独磁盘的n倍,在电脑数据写时被依次写入到各磁盘中，当一块磁盘的空间用尽时，数据就会被自动写入到下一块磁盘中，它的好处是可以增加磁盘的容量。速度与其中任何一块磁盘的速度相同，如果其中的任何一块磁盘出现故障，整个系统将会受到破坏，可靠性是单独使用一块磁盘的1/n。RAID0（2）、RAID0的另一方式：用n块磁盘选择合理的带区大小创建带区集，最好是为每一块磁盘都配备一个专门的磁盘控制器,系统向逻辑设备发出的I/O指令会被转化为n项操作，其中的每一项操作都对应于一块磁盘，通过建立带区集，原先顺序写入的数据被分散到所有的n块磁盘中同时进行读写。n块磁盘的并行操作使同一时间内磁盘读写的速度提升了n倍。n块磁盘组合在一起形成一个独立的逻辑驱动器，容量相当于任何任何一块单独磁盘的n倍。弱点：数据安全性差需要注意的是：这种RAID级别不具有容错性能，如果阵列中的任何一块磁盘出现故障，整个阵列中的数据都将会受到破坏，无法继续使用。RAID1RAID1又被称为磁盘镜像，由两个以上偶数个磁盘组成，每一个磁盘都具有一个对应的镜像盘，对写入任何一个磁盘的数据都会被复制镜像盘中，同时系统可以从这一组镜像盘中的任何一个磁盘读取数据。优势：数据安全性高RAID1下，任何一块磁盘的故障都不会影响到系统的正常运行，而且只要能够保证任何一对镜像盘中至少有一块磁盘可以使用，RAID1甚至可以在一半数量的磁盘出现问题时不间断的工作。当一块磁盘失效时，系统会忽略该磁盘，转而使用剩余的镜像盘读写数据。弱点：磁盘利用率较低显然，磁盘镜像肯定会提高系统成本。因为我们所能使用的空间只是所有磁盘容量总和的一半。RAID0+1(RAID10)把RAID0和RAID1技术结合起来，数据除分布在多个磁盘上外，每个磁盘都有其物理镜像磁盘，提供全冗余能力，允许一个以下磁盘故障，而不影响数据可用性，并具有快速读/写能力。RAID0+1要在磁盘镜像中建立带区集至少4个磁盘。阵列中一半的磁盘采取RAID0的结构，可以并行传送来提高数据传输率。另一半则是前面提到的镜象磁盘，即RAID1，这样可以有很高的可靠性。读写性能出色，安全性高，但构建阵列的成本投入大，数据空间利用率低，不能称之为经济高效的方案。RAID2RAID2是把数据分散为位元／位元组(bit／byte)或块(b1ock)，再加入海明码（HammingCode），间隔写入(Interleaving)到每个磁盘，而且地址(address)都一样，也就是在各个磁盘中，其数据都在相同的磁道(cylinderortrack)及扇区中。RAID2又称为并行阵列(parallelarray)，其设计使用共轴同步(spindlesynchronize)的技术，存取数据时、整个磁盘阵列一起动作，在各个磁盘的相同位置作平行存取，所以有最好的存取时间(auesstime)，共总线(bus)是特别的设计以大带宽并行传输所存取的数据，所以有最好的传输时间(transfertime)。在大型档案的存取应用，RAID2有最好的性能，但如果档案太小，会将其性能降下来。因为磁盘的存取是以扇区为单位。而RAID2的存取是所有磁盘平行动作，而且是作单位元或位元组的存取。故小于一个扇区的数据最会使其性能大打折扣。RAID2是设计给需要连续且大量数据的电脑使用的。RAID2RAID2又被称为带海明码校验磁盘阵列，是为大型机和超级计算机开发的。磁盘驱动器组中的第一个、第二个、第四个……第2的n次幂个磁盘驱动器是专门的校验盘，用于校验和纠错，例如七个磁盘驱动器的RAID2，第一、二、四个磁盘驱动器是纠错盘，其余的用于存放数据。使用的磁盘驱动器越多，校验盘在其中占的百分比越少。RAID2对大数据量的输入输出有很高的性能，但少量数据的输入输出时性能不好。RAID2很少实际使用。由于海明码的特点，它可以在数据发生错误的情况下将错误校正，以保证输出的正确。它的数据传送速率相当高，如果希望达到比较理想的速度，那最好提高保存校验码ECC码的磁盘个数，对于控制器的设计来说，它又比RAID3，4或5要简单。但是利用海明码校验必须要付出数据冗余的代价。RAID3RAID3为单盘容错并行传输阵列，至少由三块以上磁盘组成。使用一个特定的磁盘存放所有数据的奇偶校验位（奇偶校验位由真实数据通过一定的算法得出），而在剩余的磁盘中创建带区集分散数据的读写操作，即数据以位或字节的方式存于剩余的磁盘上(分散记录在组内相同扇区号的各个磁盘)。（RAID2校验盘为多个，DAID1检验盘为1比1）优势：有冗余，磁盘利用率高如果数据盘（物理）损坏，只要将坏磁盘换掉，RAID控制系统则会根据校验盘的数据校验位在新盘中重建坏盘上的数据。利用单独的校验盘来保护数据虽然没有镜像的安全性高，但是磁盘利用率（(N-1)/N）得到了很大的提高（N为RAID中磁盘的个数）。在一个完好的RAID3系统中读取数据，只需要在数据存储盘中找到相应的数据块进行读取操作即可。RAID3缺点：写性能差当向RAID3写入数据时，情况会变得复杂一些。即使我们只是向一个磁盘写入一个数据块，也必须计算与该数据块同处一个带区的所有数据块的校验值，并将新值重新写入到校验块中。由此我们可以看出，一个写入操作事实上包含了数据读取（读取带区中的关联数据块）、校验值计算、数据块写入和校验块写入四个过程。写性能大大降低。RAID3所存在的最大一个不足同时也是导致RAID3很少被人们采用的原因就是校验盘很容易成为整个系统的瓶颈。我们已经知道RAID3会把数据的写入操作分散到多个磁盘上进行，然而不管是向哪一个数据盘写入数据，都需要同时重写校验盘中的相关信息。因此，对于那些经常需要执行大量写入操作的应用来说，校验盘的负载将会很大，无法满足程序的运行速度，从而导致整个RAID系统性能的下降。鉴于这种原因，RAID3更加适合应用于那些写入操作较少，读取操作较多的应用环境，例如数据库和WEB服务器等。RAID4RAID4即带奇偶校验码的独立磁盘结构RAID4和RAID3很相似，不同的是RAID3是按位或按字节交叉存取，而RAID4是按块(扇区)存取，可以单独地对某个盘进行操作，它无需象RAID3那样，那怕每一次小I/O操作也要涉及全组所有磁盘驱动器，只需涉及组中两台磁盘机(一台数据盘，一台检验盘)即可。从而提高了小量数据的读取速率。但在写数据方面，RAID4需将从数据磁盘驱动器和校验磁盘驱动器中恢复出的旧数据与新数据通过异或运算，然后再将更新后的数据和检验位写入磁盘驱动器，所以处理时间较RAID3长。RAID5RAID5是一种旋转奇偶校验独立存取的阵列。它和其他的不同点，是没有固定的校验盘，而是按某种规则把其冗余的奇偶校验位信息交错分布在阵列所属的所有磁盘上。于是在同一台磁盘机上既有数据信息也有校验信息。这一改变解决了争用校验盘的问题，因此DAID5内允许在同一组内并发进行多个写操作。所以RAID5即适于大数据量的操作，也适于各种事务处理。它是一种快速，大容量和容错分布合理的磁盘阵列。RAID5RAID5使用了一种特殊的算法，可以计算出任何一个带区校验块的存放位置。这样就可以确保任何对校验块进行的读写操作都会在所有的RAID磁盘中进行均衡，从而消除了产生瓶颈的可能，克服了RAID3中校验盘性能问题，RAID5的读出效率很高，写入效率一般，块式的集体访问效率不错。RAID5提高了系统可靠性。RAID5具有数据安全、读取速度快，空间利用率高等优点，应用非常广泛，但不足之处是其中一块磁盘出现故障以后，整个系统的性能大大降低。RAID5是目前应用最广泛的RAID技术。RAID50（RAID0+RAID5）RAID50也被称为镜象阵列条带，由至少六块磁盘组成，象RAID0一样，数据被分割成条带，在同一时间内向多块磁盘写入；象RAID5一样，也是以数据的校验位来保证数据的安全。其目的在于提高RAID5的读写性能。RAID5ERAID5E是在RAID5级别基础上的改进，与RAID5类似，数据的校验信息均匀分布在各磁盘上，但是，在每个磁盘上都保留了一部分未使用的空间，这部分空间没有进行条带化，最多允许两块物理磁盘出现故障。RAID6RAID6即带有两种分布存储的奇偶校验码的独立磁盘结构，它是对RAID5的扩展，主要是用于要求数据绝对不能出错的场合，使用了二种奇偶校验值，所以需要N+2个磁盘，同时对控制器的设计变得十分复杂，写入速度也不好，用于计算奇偶校验值和验证数据正确性所花费的时间比较多，造成了不必须的负载，很少人用。RAID7RAID7是在RAID6的基础上，采用了