数据分级存储

第五章数据分级存储数据分级存储，是指数据客体存放在不同级别的存储设备（磁盘、磁盘阵列、光盘库、磁带库）中，通过分级存储管理软件实现数据客体在存储设备之间的自动迁移。数据迁移的规则是可以人为控制的，通常是根据数据的访问频率、保留时间、容量、性能要求等因素确定的最佳存储策略。在分级数据存储结构中，磁带库等成本较低的存储资源用来存放访问频率较低的信息，而磁盘或磁盘阵列等成本高、速度快的设备，用来存储经常访问的重要信息。数据分级存储的工作原理是基于数据访问的局部性。通过将不经常访问的数据自动移到存储层次中较低的层次，释放出较高成本的存储空间给更频繁访问的数据，可以获得更好的总体性价比。5.1分级存储的必要性IT企业总是要面对增长起来无休无止的数据量。各种应用都在创建越来越大的文件。用户也很少删除数据和存档，这就导致要访问旧一些的文件已经变得非常困难。因此，目前的潮流是购买更多的软件。然而，这种解决方案产生了非常复杂和笨拙的存储环境，不仅需要更多的维护和管理，而且需要更多的金钱来维持。事实上，数据具有生命周期，不同的时期有其存在的不同意义。在数据刚生成的数日内，访问频率最高，为企业产生效益和收入，带来的价值也最高；随着时间的推移，访问频率降低，数据的价值也随之下降，低访问频率的数据量远远超过高访问频率的数据量，如果全部用企业级存储产品来存储所有数据，费用非常高，也没有必要。不同生命周期的数据，由于提供给企业不同的服务目的，企业应考虑如何以最低的成本获得最高的价值，而不是采用以往单纯的购买更多磁盘的解决方式和态度，徒增存储费用和管理复杂程度。总之，企业业务数据从产生到存储、利用、归档，最后超过存储期限被删除，数据被读取的频率会逐渐下降，数据存储的位置也应该随之变化，以提高存储设备的使用率，降低存储成本。因此有必要进行分级存储，企业在存储其关键业务数据时，采用昂贵的存储技术和方式，如RAID磁盘、复制、定时拷贝、多级备份等，确保数据高可用；当数据已经不再为企业带来效益时，将这类数据迁移到较便宜的存储介质上；最后，当数据老化到不再被访问时，应考虑将其删除或者迁移，如果是法律要求或政府规定等要保留多年的数据，应将其迁移到近线磁带库或者离线存储介质上进行归档，既安全又节省费用。同时，信息量的急剧增长，也使存储管理复杂性增加，数据的分级存储也是简化存储管理的需要。通过设定优化的数据迁移规则，能使重要数据和常用数据在最短的时间内访问到，使极少使用的数据备份在廉价的海量存储器中。5.2分级存储的优点数据分级存储之所以重要，是因为它既能最大限度地满足用户需求，又可使存储成本最小化。数据分级存储的优点具体表现在：1．减少总体存储成本不经常访问的数据驻留在较低成本的存储器中，可综合发挥磁盘驱动器的性能优势与磁带的成本优势。2．性能优化分级存储可使不同性价比的存储设备发挥最大的综合效益。3．改善数据可用性分级存储把很少使用的历史数据迁移到辅助存储器中，或归档到离线存储池中，这样就无需反复保存，减少了存储的时间；同时提高了在线数据的可用性，使磁盘的可用空间维持在系统要求的水平上。4．数据迁移对应用透明进行分级存储后，数据移动到另外的存储器时，应用程序不需要改变，使数据迁移对应用透明。分级存储的存储方式传统的数据存储一般分为在线(On-line)存储及离线(Off-line)存储两级存储方式。所谓在线存储就是指将数据存放在磁盘系统上，而离线则是指将数据备份到磁带上。但随着数据量的猛增，这种只使用在线和离线两级存储的策略已经不能适应企业的需求。近线存储市场近来成为热点，出现了一些存取速度和价格介于高速磁盘与磁带之间的低端磁盘设备，作为近线存储设备。5.3.1在线存储总体上讲，在线存储多采用高速磁盘阵列等存储设备，存取速度快，当然价格昂贵。在线存储一般采用高端存储系统和技术如：SAN、点对点直连技术、S2A等。高端存储系统具有一些“高端”属性，比如，高容量、高性能、高可用性、冗余性等，现在存储工程师看到，这些特点已经不再是高端特有的了，许多中端产品也大都采取了这些设计。SAN技术的高性能依赖于三个重要领域的性能支持：存储容量、计算能力和传输能力。在传统SAN存储系统中，存储容量这一环节由于存储介质技术的快速发展已经得到了很好的解决。存储容量通过多磁盘容量的叠加已经能够达到数千TB的水平。而在计算能力与传输能力两个环节上，传统SAN却存在很多先天的弱点。最近在高端存储领域出现了两种新技术--点对点直连技术与并行存储技术。具体如下：点对点直连技术是EMC近期推出的一种全新的点到点互联架构，在性能方面，由于它采用了点对点对接，消除了总线或交换机方式造成的延迟，专用的数据通道意味着不会出现交换机竞争的情况，减少数据从存储位置传输到目标位置的延迟。它还具有32个独立高速缓存区，而且每个高速缓存区都具有独立的逻辑访问，可以为用户提供更强大的处理和访问能力。S2A是DataDirectNetworks公司推出的并行存储技术。S2A没有采用传统的光纤通道交换机的交叉矩阵交换机制，它所采用的高度并行端口技术消除了交换机制所带来的不可避免的时间延迟，能够持续不变地提供充满端口带宽的数据吞吐量。S2A控制器内部的四个主机通道之间采用虚拟的并行体系结构，通过提供并行处理和并行数据读写的途径，使得在多主机的存储区域网络环境中具有非常高的不受多主机环境影响的使用性能。5.3.2离线存储离线存储采用磁带作为存储介质，其访问速度低，但能实现海量存储，同时价格低廉。以前用户有这样的想法：反正数据存放在磁带上面，性能都不高，只要在灾难发生时能够使用它们将需要的数据恢复回来就可以了。其实，这是很不正确的。要知道，用户的数据越来越多，原有的数据也不能丢弃，当这些数据逐年累积以后管理它们就成了一件十分困难的事情，而且还要进行磁带定期维护的工作。因此，许多磁带库厂商在这方面进行了加强，提供了完整的数据生命周期管理，专为数据密集型SAN环境而设计，尤其适用于高强度、大容量的数据访问和数据存储，减少了管理SAN数据的时间和成本，从数据生成到其生命周期结束，其中的每一步骤都提供了相应的功能。这也说明磁带库管理更注重“智能”。5.3.3近线存储随着用户需求的日益细分，人们越来越发现原有的两级模式（在线与离线）已经不能很好地满足用户的存储需求，在这两个“极端”之间有大量的空白，于是就产生了近线存储的概念。近线存储的概念一产生就得到了厂商与用户的赞同，定位于此领域的产品很快就纷纷出现，形成了近一时期最为活跃的中间层。NetApp推出的R100近线存储设备，获得巨大成功，仅1年时间在全球就拥有了100多个用户，总部署容量超过3PB。Quantum推出的基于磁盘的产品DX30，能够模拟各类磁带库，保留了与存储管理软件的兼容性，而又具有比磁带库更高的速度，用户可以先将数据备份到DX30中，然后再转移到磁带上。以磁带产品知名的StorageTek公司在业界较早提出了数据生命周期管理的概念，并拥有针对数据的不同生命周期提供的相应的解决方案，包括磁带设备和磁盘系统及软件产品，以帮助用户“将适当的数据，在适当的时间，存储到适当的设备上”。Legato公司备份软件的最新版NetWorker7.0，引入了磁盘备份与磁带备份相结合的新方式，通过磁盘备份可以为用户提供更多性能优势。采用磁盘进行备份避免了一些磁带备份的弊端：磁带只能进行顺序读写，而且每盘磁带都需要完全倒回才可取出，加载卸载时间很长。磁盘备份解决方案还完全包括了“虚拟带库”的功能，而且可以在读一部分内容的同时进行写另一部分内容，因而可以实现了在设备进行备份时的恢复、搬移/克隆操作。5.4分级存储的管理存储实现分级以后，在线、近线与离线存储存放的数据价值不同，在同一级别存储内部（比如在线和离线存储），存放的数据也应该不同，实现每一级别内的分级存储。如何将各个级别存储中数据统一管理起来便成了最为关键的问题。分级存储管理（HierarchicalStorageManagement，HSM）起源于1978年，首先使用于大型机系统。近10年来，HSM被广泛应用于开放系统的Unix和Windows平台。分级存储管理是一种将离线存储与在线存储融合的技术。它将高速、高容量的非在线存储设备作为磁盘设备的下一级设备，然后将磁盘中常用的数据按指定的策略自动迁移到磁带库等二级大容量存储设备上。当需要使用这些数据时，分级存储系统会自动将这些数据从下一级存储设备调回到上一级磁盘上。对于用户来说，上述数据迁移操作完全是透明的，只是在访问磁盘的速度上略有怠慢，而在逻辑磁盘的容量上明显感觉大大提高了。通俗地讲，数据迁移是一种可以把大量不经常访问的数据存放在磁带库、光盘库等离线介质上，只在磁盘阵列上保存少量访问频率高的数据的技术。当那些磁带等介质上数据被访问时，系统自动地把这些数据回迁到磁盘阵列中；同样，磁盘阵列中很久未访问的数据被自动迁移到磁带介质上，从而大大降低投入和管理成本。HSM应用也具备监测磁盘容量并在关键容量情况下作出反应的能力。这种软件经过配置后可以为某个卷设定一个最小的剩余空间，如20%。如果软件发现该卷的剩余容量已经不足20%，数据就会被从该卷移动至备用存储介质。这样便可以立即释放空间，管理员也可以在今后有空闲时再来解决空间的问题。由此可见，分级存储管理更多从降低成本、不影响数据应用效果的角度解决数据的存储问题。事实上，降低成本、提高效率已成为IT厂商追逐技术进步的一个目标。近线存储就是这种进步的产物。伴随单盘成本的下降，近线存储市场渐热，有业内专家预测，不久的将来，近线存储技术将取代数据迁移技术，用户将以模拟海量空间的、更为安全可靠的磁盘介质保存历史数据。而成熟完善的数据迁移软件技术将更为恰到好处的融入到近线存储设备中，为近线存储技术的发展起到推波助澜的作用。5.5信息生命周期管理现在着重介绍与分级存储管理密切相关信息生命周期管理。目前，许多厂商和用户都认为，数据是具有生命周期的。Legato公司将信息生命周期划分为7个阶段，包括了数据从产生直至灭亡的全部过程。具体为：业务需求、采集/组织、保护/恢复、复制/镜像、共享、迁移/归档、删除。由于是一个周期的管理，因此，在这个周期的每个环节都要有相应的产品来满足需求，包括系统咨询、信息采集、数据保护、迁移、归档等等产品。在一定的时期，用户可能只会应用到其中的某个或某几个环节，但是，把整个信息系统作为一个整体来管理是一个必然的趋势。信息生命周期管理（InformationLifecycleManagement，ILM）是StorageTek公司针对不断变化的存储环境推出的先进存储管理理念。ILM不是某个硬件或软件产品，而是评估和管理信息的存储方式。它教育客户平衡信息价值和管理费用，根据数据对企业生存的关键性以及企业发展带来的价值决定存储费用。信息从产生到使用直到灭亡，其全部过程都需要进行管理，因此，信息生命周期管理是用户发展到一定阶段的存储需求，只不过它是一种很复杂的需求，具体来说，就是如何建立一个更完整、更具有价值的信息系统，能够完全满足用户对于数据的以下五种需求：随时访问、按时间恢复、方便的共享、所有数据受到适当的保护以及按照一定的时间规定（比如法律规定）管理数据。ILM的核心是理解信息在其不同生命阶段中对企业的不同价值，帮助企业从战略高度来管理信息。那么，管理信息和管理存储设备有何不同？从管理设备的角度出发，CIO会不切实际地期望不断降低存储费用，同时要求高性能。随着数据量的不断增加，可用的磁盘容量不断减少，企业不得不无计划、被动地增加存储，导致系统环境越来越复杂，难以管理。从管理信息的角度出发，企业会根据信息生命周期的特点，将其存储在与自身价值相符、并与拥有者所需要的交流方式和服务方式相符的不同层次的架构里，通过有计划、主动地增加存储，不断降低复杂性并增加整个存储系统的可用容量。ILM通过存储、保护、管理、集成四个组成部分实现信息管理费用与业务需求之间的平衡，从而达到降低企业的风险和费用的目的。因此，ILM使企业实现了适当的信息