OceanStor_V3系列_存储系统_产品存储池功能特性介绍

©2014HuaweiTechnologiesCo.,Ltd.Allrightsreserved.OceanStorV3系列存储系统产品存储池功能特性介绍Copyright©2014HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page2目标学完本课程后，您将能够:掌握存储池基本概念及技术原理；掌握块虚拟化基本技术原理；掌握重构均衡等特性原理；Copyright©2014HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page3目录1.存储池基本概念2.存储池选盘过程3.全盘重构4.局部重构5.恢复重构6.预拷贝7.均衡8.重构性能分析9.存储池基本配置Copyright©2014HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page41.1存储池基本概念DiskDomain（硬盘域）：由实际的一堆各种硬盘组成的一个域，无RAID级别，对主机提供存储资源，内部可实现迁移、均衡等功能；StoragePool（存储池）：是由用户指定RAID级别和盘类型，在硬盘域上创建的用户可见的存储池；Copyright©2014HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page51.2存储池基本概念–规格两者之间的关系：存储池在硬盘域之上创建，并可指定RAID级别，因此同一块盘的空间可用于不同的RAID级别，这种类型的虚拟化允许用户创建更多的存储池。规格：系统最多支持创建的硬盘域个数--64个系统最多支持创建的存储池个数–512个Copyright©2014HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page61.3存储池基本概念–存储池多引擎分布DiskDomain(Engine0)DiskDomain(Engine1)SSDSASNLStoragePool0SSDSASStoragePoolXCopyright©2014HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page7目录1.存储池基本概念2.存储池选盘过程3.全盘重构4.局部重构5.恢复重构6.预拷贝7.均衡8.重构性能分析9.存储池基本配置Copyright©2014HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page82.1存储池基本业务-选盘原理每个DISK按照特定大小被划分为均匀的块，即CK；CKG由来自同一DG内不同盘上的CK按RAID级别组成；按照CRUSH算法为每个CKG选择CK，该算法保证DISK被选中的概率与其容量成正比。CKCKCKDiskCKCKCKDiskCKCKCKDiskCKCKCKDiskCKGCKCKCKCKCKGCKCKCKCKDGCopyright©2014HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page92.2存储池基本业务-跨引擎分配Extent按照特定的大小，一个CKG被划分为均匀的Extent块；Volume由Extent组成；一个LUN由元数据Volume和数据Volume组成；以上的机制保证了LUN的空间可以从不同的引擎分配而来。Copyright©2014HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page102.2存储池基本业务-跨引擎分配ExtentCKCKDiskDGCKCKDiskCKCKDiskCKCKDiskCKCKCKCKCKGCKCKCKCKCKGCKCKDiskDGCKCKCKGCKCKCKCKCKGCKCKDiskCKCKDiskCKCKDiskextentCKGextentextentextentCKGextentextentextentCKGextentextentextentCKGextentextentLUNVolumeextentVolumeextentextent………extent引擎0引擎1CKCKCopyright©2014HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page11目录1.存储池基本概念2.存储池选盘过程3.全盘重构4.局部重构5.恢复重构6.预拷贝7.均衡8.重构性能分析9.存储池基本配置Copyright©2014HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page123.1存储池基本业务-全盘重构概述功能本产品中磁盘只归属某一个引擎，因此盘的所有类型的重构任务仍然是在单一引擎执行，也即该引擎的双控执行重构任务。硬盘域中一块硬盘故障或被拔出，全盘重构用于恢复出故障盘或被拔出的盘上的数据。特点盘故障自动启动，盘上的数据被重新均匀分布到其他各盘存储池的热备空间分布在各个盘，重构速度快Copyright©2014HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page133.2存储池基本业务-全盘重构基本原理全盘重构简要流程如下：（1）查询有CK落在故障盘上的所有CKG（2）为所有这些CKG分配热备CK（3）通过RAID算法，根据正常盘和校验盘上的数据计算出故障盘上的数据（4）将重构出来的数据写到热备CK上（5）更新CKG信息，释放被重构过的CKCopyright©2014HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page143.2存储池基本业务-全盘重构基本原理重构重构之前的CKG存储池内的热备空间重构之后释放信息重构之后的CKGdiskId1diskId2diskId3diskId4diskId5Copyright©2014HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page15目录1.存储池基本概念2.存储池选盘过程3.全盘重构4.局部重构5.恢复重构6.预拷贝7.均衡8.重构性能分析9.存储池基本配置Copyright©2014HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page164.1存储池基本业务-局部重构概述功能硬盘上出现坏块，通过RAID算法将坏块上的数据恢复到热备空间。特点只将坏块数据恢复，不影响其他正常的数据，故障域做到尽量小。恢复数据量小，数据丢失风险小。Copyright©2014HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page174.2存储池基本业务-局部重构基本原理当盘上出现坏块时，为该坏块分配一个热备CK，将坏块中的数据重构到热备CK中。Copyright©2014HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page184.3存储池基本业务-局部重构应用场景当数据写磁盘且恰好写到磁盘局部故障区域时，写磁盘动作就会失败；此时下层业务模块返回给上层特殊错误码，局部重构就被触发。Copyright©2014HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page19目录1.存储池基本概念2.存储池选盘过程3.全盘重构4.局部重构5.恢复重构6.预拷贝7.均衡8.重构性能分析9.存储池基本配置Copyright©2014HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page205.1存储池基本业务-恢复重构概述功能在盘不能访问期间对盘上的写操作无法成功，会在系统中记录相关的日志。待盘状态恢复后根据日志和RAID算法恢复出无法写期间待写的数据。特点快速恢复有效数据，未更新的数据无需恢复；写失败的操作记录在日志里面，避免了写失败造成的数据丢失风险。Copyright©2014HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page21在硬盘不能访问期间，对写的区域记日志，待盘插回之后，根据记录的日志恢复记录日志区域的数据。out/waitaccess写盘操作in/normal记录disklog根据disklog将老数据更新为新数据5.2存储池基本业务-恢复重构基本原理Copyright©2014HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page225.3存储池基本业务-恢复重构应用场景硬盘被拔出后两分钟内插回硬盘重构过程中将其插回硬盘做在线诊断后恢复Copyright©2014HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page23目录1.存储池基本概念2.存储池选盘过程3.全盘重构4.局部重构5.恢复重构6.预拷贝7.均衡8.重构性能分析9.存储池基本配置Copyright©2014HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page246.1存储池基本业务-预拷贝概述功能存储池中一块硬盘即将失效，通过RAID算法将该盘的数据提前拷贝到热备空间中，以防数据丢失。特点盘即将失效自动启动预拷贝的数据均匀分布在各盘存储池的热备空间分布在各个盘预拷贝速度快Copyright©2014HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page256.2存储池基本业务-预拷贝基本原理预拷贝简要流程如下：（1）查询所有的有CK落在故障盘上的CKG（2）为所有查找到的CKG分配热备CK（3）通过RAID算法，根据正常盘和校验盘上的数据计算出故障盘上的数据（4）将重构出来的数据写到热备CK上（5）更新CKG信息，释放被重构过的CKCopyright©2014HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page266.2存储池基本业务-预拷贝基本原理重构重构之前的CKG存储池内的热备空间重构之后释放信息重构之后的CKGdiskId1diskId2diskId3diskId4diskId5Copyright©2014HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page276.3存储池基本业务-预拷贝应用场景在例行检测中发现硬盘即将失效；某一时间段内，写盘响应时间超过正常写盘时间也会触发预拷贝任务。Copyright©2014HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page28目录1.存储池基本概念2.存储池选盘过程3.全盘重构4.局部重构5.恢复重构6.预拷贝7.均衡8.重构性能分析9.存储池基本配置Copyright©2014HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page297.1存储池基本业务-均衡概述功能对指定硬盘域内Tier中的各盘数据进行迁移，最终让各硬盘的空间利用率比较均匀；由于硬盘归属某一个引擎，因此均衡任务也在单一引擎内完成。特点硬盘域扩容时自动启动在扩容的Tier内均衡数据均衡后各硬盘空间利用率比较接近均衡各硬盘的负载Copyright©2014HuaweiTechnologiesCo.,Ltd.Allrightsreserved.Page307.2存储池基本业务-均衡原理均衡简要流程：（1）在扩容的硬盘域中的Tier上查出待均衡的原CKG；（2）分配目标CKG，该CKG中应该包含来自新盘的CK；（3）若原CKG和目标CKG中对应位置的CK落在不同盘上，对其均衡。Copyright©2014HuaweiTechno