存储虚拟化技术在图书馆存储管理中的应用

存储虚拟化技术在图书馆存储管理中的应用［摘要］介绍了存储虚拟化技术的概念、特点及实现类型，探讨了该技术在图书馆存储管理中的应用。通过利用存储虚拟化技术，可简化存储系统管理、提高存储设备利用率和有效解决图书馆存储管理所面临的问题。［关键词］存储虚拟化技术;图书馆;存储管理;存储区域网络［中图分类号］TP333;Ｒ－058［文献标志码］A［文章编号］1671－3982(2015)04－0056－05ApplicationofstoragevirtualizationtechnologyinstoragemanagementoflibrarySONGXin，MAJun－tao，SUYe，XUEXiao－fang(MedicalLibraryofChinesePLA，Beijing100039，China)［Abstract］Aftertheconcept，featuresandimplementationtypesofstoragevirtualizationtechnologyweredescribed，itsapplicationinstoragemanagementoflibrarywasstudied．Storagevirtualizationtechnologycansimplifythemanagementofstoragesystem，improvetheutilizationrateofstorageequipments，andeffectivelysolvetheproblemsinstoragemanagementoflibrary．［Keywords］Storagevirtualizationtechnology;Library;Storagemanagement;Storageareanetwork随着图书馆业务系统对存储容量需求的增加，存储系统的规模变得越来越庞大，管理越来越复杂。图书馆通常会根据存储技术的发展选用多个厂商的存储设备，甚至采用不同的存储架构。这些来自不同厂商的存储系统会给图书馆带来“存储信息孤岛”、管理成本高、资源利用率低以及难以扩展等困扰。利用存储虚拟化技术，打破了实体存储设备间的界限，是解决图书馆存储管理中所面临问题的有效方法［1］。1存储虚拟化技术的概念存储虚拟化技术就是通过一定的手段将多个物理上独立存在的存储介质进行整合，形成一个逻辑上的虚拟存储单元供主机访问。所有的存储资源在一个存储池中得到统一管理，从服务器端看到的不是多个硬盘或多个存储设备，而是一个分区或者卷，就好像是一个超大容量的硬盘［2］。因此，存储虚拟化技术是一种将不同存储设备整合再分配的虚拟化方式。2存储虚拟化技术的特点存储虚拟化技术能够有效克服物理存储设备的局限性，屏蔽具体物理存储设备的物理特性，将物理设备整合成一个逻辑存储池来实现对具体物理存储设备的管理和使用。通过存储虚拟化，物理设备的自身优势不但能够被充分利用，而且物理设备本身不可避免的局限性得到有效克服。2．1易于管理通过存储虚拟化技术，能够实现大容量存储系统简单、有效的集中管理，用户能够以自主、自动的方式在磁盘上存储数据和方便地划分、扩展、缩小存储空间。在虚拟化环境中，所有的存储管理操作，例如建立和分配虚拟磁盘、扩充存储空间、系统升级等都可以自动实现，存储管理变得轻松简单［3］。存储虚拟化技术能够有效地提高存储资源的利用率，最大限度满足用户对存储资源的空间需求。用户不必再关心后端存储系统的硬件容量、类型等物理特性，只需将注意力完全集中在存储的空间管理上。2．2整合资源存储虚拟化技术屏蔽了具体物理设备，将不同类型、不同特性的异构存储资源整合成一个统一的存储空间加以利用，从而实现了对存储资源的充分利用和有效规划［4］。存储虚拟化技术通过整合不同类型的存储设备，实现存储资源集中管理使用，为存储资源管理提供了更好的灵活性。存储虚拟化技术不仅能够简化存储管理的复杂度，提高存储效率，还能够有效降低存储管理中的总拥有成本(TotalCostofOwnership，TCO)，增加投资回报(ＲeturnOnInvestment，ＲOI)。2．3负载均衡存储虚拟化技术在存储层上能够实现负载均衡，将数据平均合理地分配到存储池中具体的物理设备上，避免了因负载不均导致各磁盘和各存储设备利用不均衡的问题。虚拟化技术通过不同存储设备存储区域的共享提高了存储系统的访问性能，有效解决了不同存储间访问的不均衡，实现了差异化存储的合理利用。尤其是对于高数据量进行传输的服务应用，通过存储虚拟化技术能提高数据传输的整体带宽，即把每一次数据访问所需的带宽合理地分配到各个存储模块上，不再需要根据各个业务应用的压力高低进行调节，从而提高了系统的整体访问效率［5］。2．4高可用性存储虚拟化技术把不同类型的异构存储设备虚拟成一个高性能、大容量的虚拟存储池，各类数据都存放在这个虚拟存储池中，所有基于网络的ＲAID分布式I/O、数据冗余、硬盘组、逻辑卷、动态的多个路径、分层存储、在线的高速备份等有关问题，都由虚拟存储管理系统处理，实现了无缝的存储和数据管理［6］。存储虚拟化技术可以对单一数据在多个存储介质上创建副本，避免了因存储环境发生故障引起的数据损坏丢失等问题，防止因个别存储介质的损坏对整个系统的影响，确保系统的高可用性。2．5高级功能存储虚拟化技术能够提供一些更高级的功能，逐步成为共享存储管理的主流技术。例如存储虚拟化技术能够提供基于指针的快照和克隆技术，实现在虚拟环境下异构存储设备逻辑卷的数据复制、镜像以及数据交互。在虚拟设备级别实现的快照功能［7］，不仅可以使数据在不同种类的平台之间相互迁移，而且具有更快的备份速度等。3存储虚拟化技术的实现类型3．1基于主机的虚拟化基于主机的虚拟化，也称为基于系统卷管理器的虚拟化，其实现一般由操作系统下的逻辑卷管理软件为物理存储映射到逻辑上的卷提供一个虚拟层。该方法需要在一个或多个主机上安装代理或管理软件，因此会占用主机资源，降低应用性能。而且基于主机的存储虚拟化技术存在操作系统和应用的兼容性问题，不同操作系统的逻辑卷管理软件也不相同，这使虚拟化移植性和可扩展性较差，难以应用在异构服务器环境上。但是，由于基于主机的存储虚拟化技术不需要任何硬件支持，也不影响现有存储系统的基本架构，因此基于主机的虚拟化方法最容易实现，其设备成本也最低［8］。3．2基于存储设备的虚拟化基于存储设备的虚拟化，也称为基于存储控制器的虚拟化，其实现方式是在存储设备内部的控制器上添加虚拟化功能。基于存储设备的虚拟化方法依赖于提供相关功能的存储模块［9］。如果没有第三方的虚拟化软件，这种方法通常只能虚拟单一存储供应商的特定系列产品，无法支持包含多厂商设备的存储系统虚拟化，是一种不完全的存储虚拟化解决方案。但是，基于存储的虚拟化技术比较容易实现，并且它对用户和管理人员都是透明的，因此更容易管理。3．3基于网络的虚拟化基于网络的虚拟化是在主机和存储之间的网络设备上实现存储虚拟化功能。根据其数据通路和管理通路的耦合情况可分为带内虚拟化技术和带外虚拟化技术。所谓带内即InBand，是指控制信令和数据走的是同一条线路。带内虚拟化设备安装在主机和存储之间的数据通道中间，所有的控制信息和数据访问都必须通过这个设备。这种虚拟化方式不会占用主机的资源，也不会影响现有的SAN架构，通常只需在SAN中加入存储虚拟化控制单元，通过利用控制单元的大容量Cache提升系统性能。该方案同时具有很好的灵活性，是最常见的存储虚拟化形式，也具有最广泛的适用范围。带外即OutBand，是指控制信令和实际数据走的不是同一条线路，控制信令走单独的通路。带外存储虚拟化设备位于主机和存储之间的数据通道之外，通过其他的网络连接方式与主机系统通信，因而在主机中需要安装专门的客户端软件。带外虚拟化技术扩展性比较好，但带外存储需要依靠代理主机和元数据控制器访问存储设备，不仅实施难度大，而且使存储虚拟化更为复杂。4存储虚拟化技术在图书馆的应用随着业务的不断发展，图书馆会在不同时期分批采购不同的存储设备。每套存储设备容量、性能都有很大差别，且不易于管理，图书馆正在存储基础架构中寻求一种全新的变革方式处理和大数据相关的日益增长的数据容量［10］。通过存储虚拟化技术能够将多个异构存储资源整合成一个大的存储池，为图书馆提供统一的数据存储，对存储资源进行集中管理和分配，消除不同品牌存储间的隔阂和限制，最大限度地发挥各存储设备的性能。4．1系统架构根据存储虚拟化技术的发展并结合图书馆应用的实际需求，采用目前主流的基于网络层的带内存储虚拟化技术实现对图书馆异构磁盘阵列的整合，从而实现存储资源共享，消除应用服务器与底层磁盘阵列之间的硬件依赖性，提高存储系统利用率。通过采用存储虚拟化技术，所有的信息存储、信息管理及信息共享均集中存储在统一的平台之上，实现对图书馆所有信息资源的统一管理和分配。存储资源整合系统架构如图1所示。图1存储资源整合系统架构如图1所示，利用存储虚拟化技术对图书馆的异构存储系统进行整合，首先需要将原有的磁盘阵列及应用服务器接入到SAN网络中，然后采用带有存储虚拟化功能的存储虚拟化控制器实现对所有磁盘阵列的整合。为了保证系统的可靠性，采用冗余SAN网络构建。在SAN网络中同时部署2台存储虚拟化控制器，实现硬件上的冗余，消除单点故障。将2台存储虚拟化控制器构成一个组，具有更高的可靠性。异构的磁盘阵列由存储虚拟化控制器掩盖物理差异，虚拟化成一个统一的存储资源池，为应用服务器提供存储服务。服务器不直接访问存储设备，而是通过存储虚拟化层提供的虚拟存储空间存取数据。存储虚拟化层完成存储虚拟化工作，为系统提供存储虚拟化的功能，管理各存储设备。4．2工作原理存储虚拟化技术采用3层映射机制将存储网络上不同品牌的存储设备进行整合，第一层映射把异构存储资源的所有物理硬盘分成多个存储块池，第二层映射将所有存储块映射成逻辑磁盘，第三层映射使一个或多个逻辑磁盘映射成不同大小的虚拟卷，并将这些虚拟卷按一定的读写授权分配给存储网络上的各种应用服务器。存储虚拟化工作原理如图2所示。图2存储虚拟化工作原理由图2可以看出，存储系统中的一个或多个存储单元被映射为存储虚拟化控制器内部的存储单元，一个或多个存储单元可以被虚拟化为一个存储池(DiskPool)，所有的存储池对SAN网络中的存储虚拟化控制器均可见。DiskPool是一个存储池，基于这个存储池可以按需创建任意数量的虚拟存储单元(VDisk)，VDisk的容量可以超过存储池的容量。存储虚拟化控制器以VDisk为单位对服务器提供存储单元映射(LUN－Mapping)服务，使服务器可以访问被提供LUN－Mapping服务的VDisk。4．3关键技术4．3．1广泛的异构支持能力存储虚拟化技术是一种具备强大扩展能力、全面开放的虚拟化技术，具有磁盘阵列无关性、存储协议无关性、操作系统无关性以及应用无关性。也就是说，采用存储虚拟化技术可以搭配任何品牌的磁盘阵列，可以与光纤通道(FC)、SCSI、iSCSI、Infiniband等存储协议轻松连接，彻底消除了存储厂商的品牌限制。在采购存储设备时不再受限于特定品牌，用户可以根据需求自由选择合适的存储设备，消除规划和构建存储网络时的兼容性障碍，让资源分配更加灵活，进而降低总体成本。基于网络层的存储虚拟化技术消除了主机相关性，可以支持Windows、Linux以及UNIX等广泛的操作系统，同时可以支持Oracle、DB2、SQL、Exchange、Notes、SAP、VMware等众多的应用。4．3．2良好的扩展性存储虚拟化技术采用先进的虚拟技术为存储资源的无缝扩展提供了可行性［11］。对不同厂家、型号规格的磁盘阵列高度兼容，使用户从存储的技术壁垒中得以解放。随着业务的增长，可往虚拟存储池中动态地添加新型的存储设备。灵活的扩展性为未·60·来业务应用部署存储打下坚实的基础。4．3．3自动精简配置技术为了避免服务器运营时发生存储空间不足，导致必须停机重新配置磁盘空间的困扰，通常会配置超过应用程序