存储的基础知识

存储基础知识一、存储相关基础知识1、RAID与JBOD是什么？RAID（独立磁盘冗余阵列）是一种磁盘集群技术。用户可以自定义数据的保存方式，可以采用数据镜像（在不同磁盘上保存数据拷贝）、条带集（数据交叉保存在多个磁盘上）、还有奇偶校验保护（记录额外的数据以识别错误），这些技术可以根据用户对性能和可靠性的要求单独或联合使用。JBOD（磁盘组）是与RAID相似的一种标准，也是一组磁盘通过一个接口连接到服务器，但与RAID不同，JBOD不提供镜像、数据条带集和奇偶验证等功能，这些功能通常由主机上的软件来实现。JBOD是一种最简单廉价的“裸存储”设备。独立的磁盘保存在一个机箱之中，允许不同的服务器分组访问。一般也不提供缓存和控制器。JBOD的扩展空间有限。2、了解逻辑驱动器与物理驱动器间的关系3、RAID0、1、3、5、10、30、50、NRAID、JBOD①RAID0：称为带区级。它将两个以上的磁盘并列起来成为一个大容量的磁盘。在存放数据时，分段后分散存储在这些磁盘中，因为读写时都可以并行处理，所以在所有的级别中，RAID0的速度是最快的。但是RAID0既没有冗余功能（指重复配置系统的一些部分，当系统发生故障时，冗余配置的部件介入并承担故障部件的工作，由此减少系统的故障时间。即通过多重备份来增加系统的可靠性），也不具备容错能力（容错就是当由于种种原因在系统中出现了数据、文件损坏或丢失时，系统能够自动将这些损坏或对事的文件和数据恢复到发生事故以前的状态，使系统能够连续正常运行的一种技术），如果一个磁盘（物理）损坏，所有数据都会丢失，危险程度与JBOD相当。②RAID1：两组以上的N个磁盘相互作镜像，在一些多线程操作系统中能有很好的读写速度，理论上读取速度等于硬盘数量的倍数，另外写入速度有微小的降低。只要一个磁盘正常即可维持运作，可靠性最高。RAID1就是镜像，其原理为在主硬盘上存放数据的同时也在镜像硬盘上写一样的数据。当主硬盘（物理）损坏时镜像硬盘则代替主硬盘的工作。因为有镜像硬盘做数据备份，所以RAID1的数据安全性在所有的RAID级别上来说是最好的。但无论用多少磁盘做RAID1，仅算一个磁盘的容量，是所有RAID中磁盘利用率最低的一个级别。③RAID3：采用数据交错存储技术，它需要通过编码再将数据比特分割后分别存在硬盘中，奇偶验证单独存在一个硬盘中。由于数据内的比特分散在不同的硬盘中，因此就算要读取一小段数据资料都可能需要所有的硬盘进行工作，所以这种规格比较适于读取大量数据时使用。④RAID5：这是一种存储性能、数据安全和存储成本兼顾的存储解决方案，它使用的是硬盘分区技术。RAID5至少需要三个硬盘，RAID5不是对存储的数据进行备份，而是把数据和相对应的奇偶校验信息存储到各个磁盘上，并且奇偶校验信息和相对应的数据分别存储于不同的磁盘上。当RAID5的一个磁盘数据发生损坏后，可以利用剩下的数据和相对应的奇偶验证信息去恢复被损坏的数据。RAID5可以为系统提供数据安全保证，但保障程度要比镜像低而磁盘空间利用率要比镜像高。RAID5的磁盘空间利用率要比RAID1高，存储成本相对便宜。⑤RAID10：RAID10先镜像在数据分区，再将所有硬盘分为两组。⑥RAID50：RAID5与RAID0的组合，先做RAID5，再做RAID0，至少需要6台硬盘。RAID50在底层的任一组或多组RAID5出现1台硬盘损坏时，仍能维持运作，不过如果任一组RAID5中出现2台或两台以上硬盘损毁，整个RAID50就会失效。二、存储类型DAS、NAS、SAN1、DAS：DirectAttachedStorage，直接与服务器连接的存储系统。优点：费用低；使用简单；容易安装；价格相对较低。缺点：不能共享；连接距离有限；升级困难；缺乏较好的高可用性；维护复杂。适宜小型机构的存储解决方案。2、NAS：NetworkAttachedStorage，三、CRAID技术（重点，宏杉就是利用的这个技术）1、背景近年来，单块磁盘的容量呈倍数增长的趋势，从原先的几百GB增长到了现在主流的2TB、3TB甚至更高。大容量磁盘在带来较高的性价比的同时，也使得磁盘数据的安全问题愈加凸显，在这其中最突出的就是磁盘重建问题。在传统的RAID技术中，如果一块磁盘出现问题，会由热备盘进行替换，然后进行数据重建。以最常用的RAID5组为例，一块2TB磁盘在没有数据写入情况下，磁盘重建需要20个小时，在有数据写入的情况下，数据重建时间可能需要一周。在数据重建期间，不仅存储设备性能和可靠性会大幅度下降，而且这个RAID5组中只要再出现一块磁盘损坏，整个RAID5组的数据都会丢失（RAID5不允许2块磁盘同时发生故障）。2、简介CRAID又名“Chinese-RAID”，基于Cell的RAID技术（不明白，不懂）。是以中国命名的一项存储专利技术，专门解决今天海量数据环境中存储介质易损坏导致的数据丢失和业务中断问题。CRAID技术能够帮助用户放心的大量采用低成本的SATA硬盘，同时避免硬盘频繁故障带来的数据丢失风险。3、基本定义CRAID技术是在传统技术上的革新，将磁盘细分为数千甚至数万个小单元进行单独管理（也即是Cell）。在每个单元内发生的故障和问题，采用单元替换、屏蔽故障单元方式进行处理，避免对整个磁盘进行数据重建。即便在特殊情况下，被迫将进行全盘数据重建时，CRAID技术也会提前将健康单元数据提前克隆到新磁盘中，只对个别真正故障单元数据进行校验计算重建，很大程度提高故障磁盘的重建时间，极大地避免多块磁盘连续发生故障导致的数据丢失。4、应用基于Cell的重建功能，保证数据安全。CRAID按照Cell来进行健康状态维护，大幅优化了磁盘重建的效率。CRAID对于数据重建主要有以下几种方式：快速重建：可只重建磁盘上的损坏数据块，未发生错误的区域直接使用拷贝方式将数据块复制到热备盘，重建完成后，再将错误磁盘转移至IDDC磁盘诊断中心处理。这种方式可明显降低重建过程对RAID组性能造成的影响。局部重建：不采用热备盘顶替，而只是只对原盘发生变化的部分进行重建。这种方式适用于磁盘未损坏，但发生过闪断或人为误操作造成的短暂磁盘失效，比如磁盘在短时间内被拔出又插回。局部重建可重建5分钟内磁盘不在位过程中所丢失的数据，重建时间短，极大降低RAID组受影响程度。优化重建：仅重建被LUN使用的Cell，未使用的Cell不重建。重建调度时，优先重建存在介质错误的Cell，然后再使用拷贝的方式重建其他Cell，以尽可能的避免该Cell所处的其它磁盘发生故障导致的Cell损坏。支持多重重建，可同时重建多个故障磁盘，提高重建总体效率。全盘重建：与传统RAID组一样，适用于磁盘被拔走或者磁盘严重故障不能继续使用的情况使用。