存储技术之存储虚拟化

学习目标什么是存储虚拟化为什么要存储虚拟化存储虚拟化实现模式存储虚拟化的应用难点1234什么是存储虚拟化SNIA(存储网络工业协会)对存储虚拟化的定义：Theactofabstracting,hidingorisolatingtheinternalfunctionofastorage(sub)systemorservicefromapplications,computeserversorgeneralnetworkresourcesforthepurposeofenablingapplicationandnetworkindependentmanagementofstorageordata.Theapplicationofvirtualizationtostorageservicesordevicesforthepurposeofaggregating,hidingcomplexityoraddingnewcapabilitiestolowerlevelstorageresources.Storagecanbevirtualizedsimultaneouslyinmultiplelayersofasystem,forinstancetocreateHSM-likesystems.参考译文：通过对存储(子)系统或存储服务的内部功能进行抽象、隐藏或隔离，使存储或数据的管理与应用、服务器、网络资源的管理分离，从而实现应用和网络的独立管理。对存储服务和设备进行虚拟化，能够在对下一层存储资源进行扩展时进行资源合并、降低实现的复杂度。存储虚拟化可以在系统的多个层面实现，比如建立类似于HSM(分级存储管理)的系统。什么是存储虚拟化虚拟化的原理16857管理2客户管理员物理资源逻辑资源为什么要存储虚拟化存储虚拟化的原动力虚拟存储池复制空间资源整合镜像快照统一数据管理迁移标准化接入存储虚拟化的目的抽象Abstract统一数据管理功能“Virtualization”降低管理难度数据跨设备流动提高可扩展性提高设备使用效率隐藏Hide隔离Isolate设备构件化1、融合：技术基础（更可靠、更可控、更灵活、更易扩展、更低成本）2、开放：个性化基础（SOA的标准中间件架构和应用开发接口）3、面向应用：以应用为先导，资源动态分配、统一管理用虚拟化简化IT架构存储系统计算节点互连网络虚拟信息架构VirtualInformationInfrastructure应用Applications(ERP,SCM,CRM,OA…)WhatyouhaveWhatyouwant基础架构技术融合；面向应用的计算、网络、存储的IT资源池开放中间件，实现可定制应用与基础架构分离ESG报告表明，早期采用虚拟化技术平均每年可节约:24%硬件成本16%软件成本19%管理成本如果预算共$1，000，000，花费$500，000于硬件，$200，000于软件和$300，000于管理。存储虚拟化的价值每年可节约$209，000存储虚拟化实现模式一、存储虚拟化实现的结果存储虚拟化磁盘虚拟化块虚拟化磁带、磁带驱动器、磁带库虚拟化文件系统虚拟化文件/记录虚拟化基于主机的虚拟化基于网络的虚拟化基于存储设备、存储子系统的虚拟化带内虚拟化带外虚拟化实现结果实现位置实现方式1.磁盘扇区的物理地址一般用C-H-S(柱面号-磁头号-扇区号）表示2.磁盘虚拟化就是将扇区地址用LBA（逻辑块地址）表示，屏蔽底层物理磁盘的概念3.磁盘虚拟由磁盘自身固件完成4.磁盘虚拟化的结果是使磁盘的使用者无须了解磁盘的内部硬件细节，通过块地址就可以访问磁盘磁盘虚拟化001002003004005006007…磁盘虚拟化LBA1、块虚拟化是指对多块硬盘建立RAID，划分逻辑卷（LUN）。2、每个逻辑卷对于使用者都完全等同于一块物理硬盘。物理上来说，这个逻辑卷的所有数据块，都是通过RAID处理，分布在不同的物理硬盘上。3、块虚拟化的结果是使存储的使用者无须关心RAID实现的具体过程，只要象读写普通硬盘一样读写这个逻辑卷，就能获得RAID对数据的保护功能。块虚拟化物理磁盘Raid、磁盘分区逻辑资源块虚拟化1.采用类似RAID的技术对多盘磁带进行条带化和校验，以期提高磁带使用的可靠性和性能2.由于磁带读写缓慢，难以满足条带和校验的需要，因此RAIT技术很少使用磁带、磁带驱动器、磁带库虚拟化VTL虚拟磁带库磁带虚拟化RAIT条带化功能多个磁带驱动器一个逻辑驱动器磁盘1.提高磁带驱动器使用效率2.加快数据备份的速度VTL将磁盘阵列虚拟为磁带库，使用户在无须改变备份习惯和现有备份软件配置的情况下，获得以下优点：1、大幅度提高性能，缩短数据备份和恢复窗口2.获得磁盘阵列的RAID保护功能，避免磁带介质故障3.持续扩展备份的性能和容量文件系统虚拟化NASNAS的特点支持异构主机成熟的网络拓扑结构高度集成的存储子系统设备简单化虚拟文件系统NFS/CIFS客户端文件文件LANNAS设备•虚拟硬盘•提供专用文件系统二、存储虚拟化实现的位置存储虚拟化磁盘虚拟化块虚拟化磁带、磁带驱动器、磁带库虚拟化文件系统虚拟化文件/记录虚拟化基于主机的虚拟化基于网络的虚拟化基于存储设备、存储子系统的虚拟化带内虚拟化带外虚拟化实现结果实现位置实现方式基于主机的存储虚拟化主要用途：使服务器的存储空间可以跨越多个异构的磁盘阵列，常用于在不同磁盘阵列之间做数据镜像保护。优点：支持异构的存储系统。缺点：占用主机资源，降低应用性能。存在操作系统和应用的兼容性问题。导致主机升级、维护和扩展非常复杂，而且容易造成系统不稳定性。需要复杂的数据迁移过程，影响业务连续性。常见产品：SymantecVeritasVolumeManagerAgentAgentAgentAgentDAS或SAN存储网络实现方式：一般由操作系统下的逻辑卷管理软件完成（安装客户端软件），不同操作系统的逻辑卷管理软件也不相同。基于存储设备的存储虚拟化主要用途：在同一存储设备内部，进行数据保护和数据迁移。优点：与主机无关，不占用主机资源。数据管理功能丰富。AgentAgentAgentAgentSAN存储网络虚拟化引擎实现方式：在存储控制器上添加虚拟化功能，常见于中高端存储设备。缺点：一般只能实现对本设备内磁盘的虚拟化。不同厂商间的数据管理功能不能互操作。多套存储设备需配置多套数据管理软件，成本较高。常见产品H3CIX/EX系列HPEVAHDSTagmaStorSUN6920系列基于网络的存储虚拟化主要用途：异构存储系统整合和统一数据管理。优点：与主机无关，不占用主机资源。能够支持异构主机、异构存储设备。使不同存储设备的数据管理功能统一。构建统一管理平台，可扩展性好。SAN+虚拟化引擎实现方式：通过在存储域网（SAN）中添加虚拟化引擎实现。缺点：部分厂商数据管理功能弱，难以达到虚拟化统一数据管理的目的。部分厂商产品成熟度较低，仍然存在和不同存储和主机的兼容性问题。常见产品H3CIV系列IBMSVCEMCInvistaNetAppGFiler系列存储虚拟化实现技术比较主机影响主机兼容性存储兼容性业务功能性能影响可扩展性实施影响基于主机基于存储基于网络好较好较差很差三、存储虚拟化实现的方式存储虚拟化磁盘虚拟化块虚拟化磁带、磁带驱动器、磁带库虚拟化文件系统虚拟化文件/记录虚拟化基于主机的虚拟化基于网络的虚拟化基于存储设备、存储子系统的虚拟化带内虚拟化带外虚拟化实现结果实现位置实现方式带内虚拟化主机层网络层存储层虚拟化引擎①逻辑读写指令②物理磁盘指令SAN数据读写流用途：异构存储系统整合统一数据管理，在业务运行同时完成复制、镜像、CDP等各种数据管理功能优点：服务器、存储设备的兼容性好虚拟化和数据管理功能由专用硬件实现，不占用主机资源丰富的数据管理功能配置简单，易于实施缺点：虚拟化设备发生故障，整个系统将中断逻辑指令转换物理指令带外虚拟化主机层网络层存储层SAN①注册请求②存储列表②注册响应③建立连接，进行读写AgentAgentAgent控制信息流虚拟化引擎数据读写流用途：一般用于不同存储设备之间的数据复制优点：虚拟化设备发生故障，整个系统将不会中断缺点：主机资源占用较大大部分产品缺乏数据管理功能主机和存储系统需要严格的兼容性认证数据初始化同步复杂配置复杂，实施难度高存储虚拟化的应用难点原数据卷磁盘阵列Question：如何保证虚拟化之后的数据状态不变，同时避免复杂的数据备份和迁移？Answer：SSE(存储服务使能）实现对已有数据的卷的虚拟化：数据状态不变访问路径不变无需数据迁移丰富的数据管理功能应用主机虚拟化之后的数据卷虚拟化信息无缝接入用户原有环境！难点一：数据状态的一致性保证难点二：多存储访问协议支持应用服务器DAS设备IPSAN设备FCSAN设备FCiSCSINFSCIFS虚拟化引擎Question：虚拟化如何同时支持IPSAN、FCSAN、NAS等多种存储访问协议？Answer：虚拟化设备内置高效的多协议数据转换引擎，将来自前端服务器的多种主机数据访问单元，与后端存储阵列的存储数据访问单元，进行解析和转换，保证数据的正确读写访问。多协议数据转换引擎存储设备难点三：存储多链路负载均衡Question：针对多样化的存储阵列，如何部署多链路负载均衡软件，保证后端存储访问路径的高可用？Answer：MultiPath是一种多路径软件,安装在虚拟化管理设备上后，可为虚拟化引擎到后端存储提供多路径功能支持负载均衡支持故障切换LUN0LUN1存储系统LUN0LUN0LUN0LUN0LUN1LUN1LUN1LUN1LUN0LUN1LUN0虚拟化虚拟化虚拟化引擎MultiPathFC交换机FC交换机控制器2控制器1难点四：主机多链路负载均衡FCHBA卡1FC交换机FCHBA卡2FC交换机LUN1LUN0应用主机IV5000LUN0LUN0LUN1LUN1LUN0LUN1虚拟化虚拟化DynaPathQuestion：针对不同的应用主机，如何部署多链路负载均衡软件，保证前端主机访问路径的高可用？Answer：DynaPath是安装在主机端，为了实现FC环境下的多路径的一种软件支持负载均衡支持故障切换难点五：统一数据管理功能虚拟存储池•HA功能•镜像•连续数据保护•跨设备数据保护•跨设备数据迁移•远程数据复制应用服务器虚拟化引擎存储设备Question：虚拟化存储资源整合后，能否提供统一的丰富的数据管理功能，实现跨设备、跨地域的全面数据保护？Answer：H3CNeocean虚拟化数据管理平台，在提供数据虚拟化整合的基础上，提供镜像、快照、网络复制等数据管理功能，提供丰富的数据保护解决方案。