储虚拟化技术解决方案

存储虚拟化解决方案2金融IT基于各自独立的业务平台构建不同应用多种产品EMCHDSHUAWEIEMCNetAppHUAWEIEMCHUAWEI中间业务BI数据分析综合前置/渠道不同业务3同一业务经过多期烟囱建设,共享很困难.不同业务,多套异构存储设备共存，数据更无法互通共享难设备太多,不同厂家不同时期的设备缺乏统一管理.设备生命周期各不相同,性能和容量差异大,不便于统一规划管理难数据冷热不均，大量冷数据长期占用高性能存储存储使用率各不相同,整体利用率低资源利用率低存储资源池化解决3个问题4VirtualStoragePoolVolumeFC/iSCSIFileSystemCIFS/NFSBucketsS3/Thrift具有确定性能价格比与保护能力的存储容量池将物理存储设备虚拟成一个巨大的虚拟存储设备块存储服务块保护服务文件存储服务文件保护服务对象存储服务对象保护服务VMwareOracleExchange虚拟资源对象服务目录申请服务退订服务资源扩容自助资源查询监控构建存储资源池创建服务删除服务发现物理存储PhysicalStorage用户视图管理员视图HyperVSQLServer物理设备两类用户视图：服务目录、虚拟资源、物理设备…FC/ethernetSwitch5存储数据虚拟化：RAID2.0+软件架构物理硬盘存储池PoolChunkCKG主机看见LUN多种类型硬盘同时存放于存储池每个硬盘空间被切分成精细粒度的块Chunk来自不同硬盘上的Chunk组成CKGLUN可在短时间内创建成功ExtentCKG被切分成更细粒度的空间分级不分级Volume不分级多个Extent组成Volume华为RAID2.0+：底层介质虚拟化+上层资源虚拟化，同时解决数据快速重构问题和资源的智能分配问题数据快速重构：缩短数据重构时间，从10小时到30分钟，使重构速度提升20倍，大幅降低重构过程对业务的影响和多盘失效的概率存储池内所有硬盘参与重构，仅重构业务数据；由传统RAID多对一的重构模式转变为多对多快速重构模式数据重构速度提升20倍6RAID2.0+重构原理传统RAID重构原理RAID2.0+重构原理732MB32MB32MB32MB8KB数据量：32KB分配空间：256KB数据量：32KB分配空间：128MB8KB8KB8KB8KB8KB8KB8KB1.写操作ThinLUN2、查询映射表，进行分配或修改Pool用时再分配空间分配物理空间存储实际数据技术原理写时分配：当分配空间不足时，默认以64KB粒度补配空间映射表：逻辑单元和物理单元（即默认64KB粒度）之间通过映射表关联读写重定向：通过映射表将读写逻辑单元的IO重定向到物理单元技术优势高效分配策略：64KB分配粒度，针对小数据块场景，分配效率更高多样回收机制：支持VMwareVAAI命令回收、SymantecStorageFoundation命令回收、WindowsServer2012命令回收、全零页面检测回收存储数据虚拟化：SmartThin（智能精简配置）8全零数据块/未使用空间非全零数据块/已使用空间主要技术1.当ThinLUN收到主机写请求时，先将该请求按照Grain粒度（即分配空间的粒度，64KB）进行拆分，并对所有Grain逐个进行零数据检测。2.查询ThinLUN的空间分配映射表，获叏全零Grain的物理空间分配情况。3.如果全零Grain所在的逻辑地址还未分配物理空间，则直接返回该全零Grain写入成功，不需要对其做写时分配操作。4.反之，如果全零Grain所在的逻辑地址已经分配物理空间，则触収释放该物理空间的操作，释放空间完成后返回该全零Grain写入成功。ThinLUN映射表POOL①②③④④释放空间数据缩减9存储数据虚拟化：SmartVirtualization（智能异构虚拟化）EMCIBMHUAWEI整合异构存储，充分利旧充分利用现有存储系统，保护既有投资统一访问界面，简化管理通过整合，提升数据效能异构存储数据迁移，数据可用异构存储数据迁移，将数据从陈旧存储系统上迁出，保证数据的可用性跨级存储数据迁入，利用企业级功能特性，改善原有数据的存储效能跨级存储数据迁出，将不活跃数据迁移至廉价存储上，降低TCO10SmartMigration（LUN迁移）应用场景结合异构功能在线搬迁友商数据ThinLUN和ThickLUN互换RAID级别迁移技术原理业务数据同步：通过双写和DCL来完成同步，保证迁移完成后的数据一致性LUN信息交换：LUNID不变，交换数据卷ID，使得迁移完成后的源LUN所指向的物理空间变成了目标数据卷，从而实现了用户无感知的业务迁移本端Cache133346源LUN对端Cache525DCL目标LUNPair源LUN目标LUNLUNID数据卷ID00LUNID数据卷ID00LUNID数据卷ID01LUNID数据卷ID11LUNID数据卷ID11LUNID数据卷ID10交换前交换中交换后LUN信息交换，改变LUNID与数据卷ID的映射关系11HyperMirror（卷镜像）卷镜像是一种数据冗余备仹技术，可以为一个LUN创建多个镜像物理副本，对LUN提供持续的冗余备仹保护，从而提高单个LUN的可靠性和可用性。功能原理创建镜像LUN：①将一个本地LUN或外部LUN变成镜像LUN，同时生成一个镜像副本；再为镜像LUN添加一个镜像副本，形成冗余备仹同步：①初始同步：当创建镜像LUN后，将镜像LUN中的数据全部拷贝到镜像副本中，之后对镜像LUN、镜像副本进行双写②增量同步：当镜像副本从“分裂”或“异常断开”中恢复“正常”时，待恢复的镜像副本会增量拷贝镜像LUN变更的数据分裂：①分裂出去的镜像副本数据不可用，未分裂出去的镜像副本数据可用12存储管理面虚拟化SDS异构存储资源池化传统存储能力抽象存储使用服务化，基于应用Workload的资源収放3rd传统外置存储(ECB)虚拟资源池资源池化高性能、大容量、低延迟双活、复制、备份、容灾硬件能力抽象化能力抽象FusionSphere服务目录存储平台模板化vXVE9000CephBSSHDFSNoSQL存储应用商庖APPStore存储平台和业务应用软件模板化、从应用商庖申请、即时収布部署随时回收13应用A应用B应用C盘机M盘机NSSDSASNL-SASSSDSASNL-SAS虚拟资源池X高可靠虚拟资源池Y高性能存储资源池池化设计一个盘机由多个物理池组成每个物理池由多种类型的磁盘介质组成一个虚拟资源池对应多个物理池，分布在同一个或者不同的盘机多个应用可以部署在同一个虚拟资源池基于SDScontroler策略，一个应用数据部署在一个盘机，或多个盘机（考虑到应用的可靠性、维护等因素）瘦供给/分层/QoS瘦供给特性在创建虚拟资源池时定义ThinLUN或者ThickLUN分层特性是在创建物理资源池时指定QoS？盘机初始化需要定义LUN类型（SSD、SSD+SAS、SSD+SATA、SAS、SAS+SATA、SATA）物理池NC物理池NA物理池NB虚拟资源池可以按照需求创建，如高可靠、高性能、容量等等14创建卷流程及调度策略Cinder-SchedulerCinder-apiCreateVolumeDeleteVolumequeryVolumeattachVolumeDettachVolumeDettachVolumeCreateConsistencyGroup…容量调度端口流量调度多路径兼容调度亲和性调度非亲和性调度池IOPS调度容灾能力调度AZ调度VolumeType调度CinderVolumeCinderVolumeCinderVolumeCinderVolumeCinderVolumeCinderVolumeCinderVolumeCinderVolumeCinderVolumeCinderVolume高端性能池中端性能池中端容量池HWHDS15HUAWEIENTERPRISEICTSOLITIONSABETTERWAY异构存储池化与资源分配资源池容量占用可视化，不同容量消耗情况一目了然资源池端到端构成情况分层、分级可视化形象展现设备注册•卡片形式展现各个注册设备信息•注册管理：注册、删除虚拟资源池管理•卡片形式展现各个资源池基本信息•资源池管理：创建、删除虚拟资源池详情•资源池构成分层、分级展现•资源池跟踪、分析、容量预测资源分配•资源池分配情况跟踪•资源池资源自主申请资源池分配情况一目了然资源池有助于提升资源利用效率，SLA服务水平，简化资源分配。Openstack整合提供更开放的存储管理平台。16典型应用场景：Oracle资源分配VerySmallSmallMediumLargeVeryLargeOLTP(GB)400500100020002500OLAP(GB)100025005000750010000不同业务规模的数据库容量参考SAPERP/BWSizingTool和OracleDatabaseApplianceSizeing文档数据数据日志系统性能要求OLTP10G0.625G/天100G（用于系统表空间）10G（用于RAC集群仲裁）120IOPS（最小240）OLAP10G0.2G/天2.5MBPSSSD15KHDD10KHDD7.2KHDD单盘IOPS值500503417单盘MBPS值40302010使用RAID6计算单盘支持的主机IOPS或MBPS数据数据日志系统日志OLTP每4800IOPS或每400G最少2个LUN最大2T的LUNSATARAID6一个100G一个10GSASRAID6OLAP每250MBPS或每1000G分LUN策略数据量及性能对应关系业务规模：OLTPOLAPAGB√启用日志归档日志保留期：G天业务类型：Oracle存储服务申请用户服务VirtualPoolOracleInstance1数据Volume日志Volume系统VolumePhysicalPool1(SAS)PhysicalPool2(SATA)PhysicalPool3(SAS)PhysicalStorage物理设备SDS盘类型盘数量RAID设备提供的原子能力信息CreateVolumeMountVolume设备提供的原子操作调度算法：1.创建Oracle实例2.根据A计算数据Volume数量3.根据A、G计算日志Volume数量4.找到合适的Pool5.到相应物理设备上分配Volume申请Oracle实例SDS提供的服务操作179:0018:0000:00备仹仸务生产系统：Oracle云桌面时间IOPS8:30到9:30调配最大读Cache17:30到18:30调配较高读Cache9:00到18:00调配最大读写Cache0:00后调配最大读写Cache典型应用场景–根据Workload动态调度，提升业务Qos响应HUAWEIENTERPRISEICTSOLUTIONSABETTERWAYCopyright©2015HuaweiTechnologiesCo.,Ltd.AllRightsReserved.Theinformationinthisdocumentmaycontainpredictivestatementsincluding,withoutlimitation,statementsregardingthefuturefinancialandoperatingresults,futureproductportfolio,newtechnology,etc.Thereareanumberoffactorsthatcouldcauseactualresultsanddevelopmentstodiffermateriallyfromthoseexpressedorimpliedinthepredictivestatements.Therefore,suchinformationisprovidedforreferencepu