中国移动云服务发展战略研究

分级存储技术基础分级存储简介三种存储方式分级存储的实现分级存储解决方案目录分级存储简介——分级存储出现（1）分级存储管理（HierarchicalStorageManagement，HSM）起源于1978年，首先使用于大型机系统。近10年来，HSM被广泛应用于开放系统的Unix和Windows平台。分级存储简介——分级存储出现（2）众所周知，企业的应用系统在线处理大量的数据，随着数据量的不断加大，如果都采用传统的在线存储方式，就需要大容量本地一级硬盘。这样一方面投资会相当较大，而且管理起来也相对较复杂；另一方面由于磁盘中存储的大部分数据访问率并不高，但仍然占据硬盘空间，会导致存取速度下降。分级存储简介——分级存储出现（3）在企业中，由于存储的数据重要性级别不一样，关键数据所占比例通常不到整个存储数据容量的一半。如果将所有的数据都用价格昂贵的磁盘阵列来进行存储，其代价有些过高。对于企业关键数据选择高性能的存储方案，而对于不是很重要的可以选择一些性能和成本都相对较低的其它存储方案。这样就既可以使得整个存储系统性能得到充分发挥，又不至于造成投资浪费。分级存储简介——分级存储意义数据分级存储，是指数据存放在不同级别的存储设备（磁盘、磁盘阵列、光盘库、磁带库）中，通过分级存储管理软件实现数据在存储设备之间的自动迁移。数据迁移的规则是可以人为控制的，通常是根据数据的访问频率、保留时间、容量、性能要求等因素确定的最佳存储策略。在分级数据存储结构中，磁带库等成本较低的存储资源用来存放访问频率较低的信息，而磁盘或磁盘阵列等成本高、速度快的设备，用来存储经常访问的重要信息。分级存储简介——分级存储优势（1）减少总体存储成本传统的在线存储中，数据都存储在一线磁盘存储设备上，而由于绝大多数数据的访问率并不高，占用大量的磁盘空间，在一定程度上是一种浪费。如果把这些数据转移到存储性能稍低的磁盘（如IDE或SATA接口磁盘）或光盘存储设备上，存储成本可得以大幅降低。分级存储简介——分级存储优势（2）提高整体系统性能由于绝大部分数据转移到下级存储设备上，需要时刻保持在线的数据就少了，系统资源的占用也就少了许多，整体系统性能的提高了也有帮助。如果采用了分级存储方式，按需求和访问频率数据进行存储，一方面提高系统性能，同时还可确保数据的安全性。分级存储简介——分级存储优势（3）改善数据可用性把很少使用的历史数据迁移到辅助存储器中，或归档到离线存储池中，这样就无需反复保存，减少了存储的时间；同时提高了在线数据的可用性，使磁盘的可用空间维持在系统要求的水平上。分级存储简介——分级存储目的控制存储成本并简单化存储管理，其精髓在于满足不同类型数据的独特需求。节约了企业的运营成本，使我们不会因为不断增长的数据量而不断购买昂贵的存储设备。分级存储简介三种存储方式分级存储的实现分级存储解决方案目录三种存储方式分级存储通常分为如下三种存储方式：在线存储（OnStore）离线存储（OffStore）近线存储（NearStore)三种存储方式——在线存储（1）在线存储又称工作级的存储，存储设备和所存储的数据时刻保持“在线”状态，是可随意读取的，可满足计算平台对数据访问的速度要求，通常使用FC或SAS磁盘。如：PC机上数据（虽然不是FC磁盘）存取方式都是采用在线存储。三种存储方式——在线存储（2）在线存储多采用高速磁盘阵列等存储设备，存取速度快，价格昂贵。在线存储一般采用高端存储系统和技术如：SAN、点对点直连技术、S2A等。高端存储系统具有一些“高端”属性，比如，高容量、高性能、高可用性、冗余性等。三种存储方式——在线存储（3）SAN技术SAN技术的高性能依赖于三个重要领域的性能支持：存储容量、计算能力和传输能力。在传统SAN存储系统中，存储容量这一环节由于存储介质技术的快速发展已经得到了很好的解决。存储容量通过多磁盘容量的叠加已经能够达到数千TB的水平。而在计算能力与传输能力两个环节上，传统SAN却存在很多先天的弱点。最近在高端存储领域出现了两种新技术----点对点直连技术与并行存储技术。三种存储方式——在线存储（4）点对点直连技术点对点直连技术是EMC近期推出的一种全新的点到点互联架构，在性能方面，由于它采用了点对点对接，消除了总线或交换机方式造成的延迟，专用的数据通道意味着不会出现交换机竞争的情况，减少数据从存储位置传输到目标位置的延迟。它还具有32个独立高速缓存区，而且每个高速缓存区都具有独立的逻辑访问，可以为用户提供更强大的处理和访问能力。三种存储方式——在线存储（5）S2AS2A是DataDirectNetworks公司推出的并行存储技术。S2A没有采用传统的光纤通道交换机的交叉矩阵交换机制，它所采用的高度并行端口技术消除了交换机制所带来的不可避免的时间延迟，能够持续不变地提供充满端口带宽的数据吞吐量。S2A控制器内部的四个主机通道之间采用虚拟的并行体系结构，通过提供并行处理和并行数据读写的途径，使得在多主机的存储区域网络环境中具有非常高的不受多主机环境影响的使用性能。三种存储方式——在线存储示意图三种存储方式——离线存储离线存储主要是用于对在线存储的数据进行备份，以防范可能发生的数据灾难，因此又称备份级的存储。离线海量存储的典型产品就是磁带和磁带库，价格相对低廉。离线存储介质上的数据在读写时是顺序进行的。当需要读取数据时，需要把带子卷到头，再进行定位。当需要对已写入的数据进行修改时，所有的数据都需要全部进行改写。因此，离线海量存储的访问是低速度、低效率的。三种存储方式——近线存储随着用户需求的日益细分，人们越来越发现原有的两级模式（在线与离线）已经不能很好地满足用户的存储需求，在这两个“极端”之间有大量的空白，于是就产生了近线存储的概念。近线存储，就是指将那些并不是经常用到，或者说数据的访问量并不大的数据存放在性能较低的存储设备上。因此，近线存储对性能要求相对来说并不高，但由于不常用的数据要占总数据量的大多数，这也就意味着近线存储设备首先要保证的是容量。三种存储方式——近线存储图复制软件（Replication）时间点快照（TimeMark）IX1000LAN数据复制TM2TM1IX1000IX5000主数据记录区复制软件（Replication）SANClient×N数据库服务器×MN台服务器SnapShotAgent×MActive/Active副本IV5100IV5100分级存储简介三种存储方式分级存储的实现分级存储解决方案目录分级存储的实现——如何进行分级存储（1）信息生命周期管理（InformationLifecycleManagement，ILM）根据信息的不同时期将企业信息进行分层存储，信息处于最重要时期将他放在价格昂贵的快速存储设备上，等一段时间后信息变得不再重要就将他放在价格低廉的存储设备上，通过这种分层原则达到对信息的分层存储目的。分级存储的实现——如何进行分级存储（2）信息生命周期管理（InformationLifecycleManagement，ILM）针对这种价值变化，将自动化网络存储基础设施与综合服务和解决方案结合在一起，并根据信息和应用对企业的价值对其分类，然后制定相应的策略和技术手段对信息进行贯穿其整个生命过程的管理，从创建、使用到归档、处理，帮助企业确定最优的服务水平和最低成本。目的在于帮助客户在信息生命的各个阶段以最低的整体拥有成本获得最大的价值。分级存储的实现——分级存储原理分级存储是从在线系统上迁移数据的一种方法。文件由数据迁移（HSM）系统选择进行迁移，然后被拷贝到HSM介质上。当文件被正确拷贝后，一个和原文件相同名字的标志文件被创建，但它只占用比原文件小得多的磁盘空间。以后，当用户访问这个标志文件时，HSM系统能将原始文件从正确的介质上恢复过来。分级存储的实现——分级存储原理图分级存储简介三种存储方式分级存储的实现分级存储解决方案目录分级存储解决方案——部署在分级存储方案中我们必须要部署HSM管理服务器、在线数据存储器、近线/二级存储设备、离线存储设备、客户端。分级存储解决方案——HSM管理服务器数据迁移服务器顾名思义就是负责整个存储网络中数据迁移的服务器。它主要担当整个存储网络中的数据管理员身份，当数据达到某一事先规定的标准时，此服务器便将数据从一级存储设备（磁盘阵列）向下一级存储设备（光盘库和磁带库）复制，并且释放出一级存储设备中的存储空间。同时，此服务器管理所有数据迁移策略的制定和磁带库设备驱动和管理。分级存储解决方案在线数据存储管理器一般采用速度快、存储量大的磁盘阵列，所谓在线存储就是提供实时的数据存储的设备。近线/二级存储设备一般采用NAS（网络附加存储）、虚拟带库等设备，此类设备也是属于在线的存储设备，不过由于它的速度要稍慢于磁盘阵列所以它一般存放访问频率不是很高的数据。分级存储解决方案离线存储设备一般采用磁带库或者光盘库存储介质。此类设备由于存储量大所以一般被用做数据归档用。由于其离线的特点我们只能存放访问频率很低的数据。客户端其实就是在网络中的一台应用服务器系统。而这台计算机上有许多数据需要通过数据迁移服务器来完成数据从其本地磁盘复制到数据迁移服务器上，并释放其本地磁盘空间。分级存储解决方案——分级存储运行过程将所有可移动的存储设备，逻辑捆绑在一起进行管理，它将某个逻辑硬盘与磁带库连在一起，并对该逻辑硬盘实行分级存储。分级存储解决方案——分级存储具体操作（1）根据各种数据迁移策略进行选择。如上次访问以来的最短时间、最短文件长度、文件类型、磁带设备容量与硬盘容量的比例等。条件可有复合的选择，在满足条件的前提下，系统会自动进行迁移操作。转移后的文件被用很小的“占位”文件取代，由该占位文件指向原文件被转移后的新位置。因此该文件对于应用和用户仍是可见的。分级存储解决方案——分级存储具体操作（2）一旦系统接收到对被转移文件的请求，它会从最快捷的途径进行检索，以透明的方式恢复该文件。部分文件高速缓存使应用可以立即访问文件中的某一部分；而同时系统则取回整个文件。当用户需要访问被迁移的文件时，系统会将磁带设备上的相应数据调回到原始位置（硬盘）供用户访问。文件系统的备份只需写入被转移文件的占位文件即可。同时，也可以对系统进行配置，使文件在转移时被写入备份系统。这样，所有的数据都可以随时恢复，而且备份的速度大大提高。分级存储解决方案——结构图分级存储解决方案——业内主流分级存储模式最低的整体拥有成本Create生成Protect保护Access访问Migrate迁移Archive归档Dispose处理动态迁移InformationLifecycleManagement(ILM)分级存储解决方案——原理示意图OnlinePrimarydataNearline/ArchiveOffline/ArchiveExpiredTimeDataCriticality•磁带/光盘库•存储介质复制•离线/脱机入库•主存储•数据镜像、远程复制保护•数据快照•近线存储•数据Raid5保护•磁带备份在线关键数据近线/归档数据离线/归档数据失效数据时间数据对业务影响分级存储解决方案——存储策略在线数据存储归档数据存储附加磁盘暂存可移动介质迁移,归档减少归档存储空间•随着数据价值的变化而改变存储位置•自动检索和管理数据以适应企业的变化和业务需要减少归档存储空间分级存储解决方案——通常方案（1）在线业务系统系统采用一级存储（通常采用高性能FC磁盘阵列）；近线存储采用二级存储（通常采用相对便宜、性价比高的SATA磁盘阵列）用来对一级存储中的数据进行备份，以使备份效率高，恢复速度快；离线存储采用三级存储（通常采用磁带库）用来对二级存储中的数据进行备份，以确保整个系统的数据存储安全可靠，并降低系统的整体成本；分级存储解决方案——通常方案（2）分级存储方案，不仅仅实现了多业务系统共享存储空间、数据的动态迁移，并为开展查询、统计等增