云计算之云存储概要

•云存储1560105张德丰云存储存储方式存储技术存储可靠性技术之RAID存储可靠性技术之备份快照技术云存储云存储是在云计算(cloudcomputing)概念上延伸和发展出来的一个新的概念，是一种新兴的网络存储技术，是指通过集群应用、网络技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。存储包含两个方面的含义：•数据临时或长期驻留的物理媒介。•保证数据完整安全存放的方式或行为。存储技术网络存储设备根据存储技术的不同，主要分为三类：DAS（DirectAttachedStorage）、NAS（NetworkAttachedStorage）和SAN（StorageAreaNetwork）。存储技术DAS开放系统的直连式存储(Direct-AttachedStorage，简称DAS)。这种存储方式与我们普通的PC存储架构一样，外部存储设备都是直接挂接在服务器内部总线上，数据存储设备是整个服务器结构的一部份，DAS存储方式主要适用于小型网络、地理位置分散的网络和特殊服务器上。依赖服务器主机操作系统进行数据的IO读写和存储维护管理，数据备份和恢复要求占用服务器主机资源(包括CPU、系统IO等)，数据流需要回流主机再到服务器连接着的磁带机(库)，数据备份通常占用服务器主机资源20-30%，因此日常数据备份常常在深夜或业务系统不繁忙时进行，以免影响正常业务系统的运行。直连式存储的数据量越大，备份和恢复的时间就越长，对服务器硬件的依赖性和影响就越大。存储技术NASNAS（NetworkAttachedStorage：网络附属存储）是一种将分布、独立的数据整合为大型、集中化管理的数据中心，以便于对不同主机和应用服务器进行访问的技术。按字面简单说就是连接在网络上,具备资料存储功能的装置，因此也称为“网络存储器”。它是一种专用数据存储服务器。它以数据为中心，将存储设备与服务器彻底分离，集中管理数据，从而释放带宽、提高性能、降低总拥有成本、保护投资。其成本远远低于使用服务器存储，而效率却远远高于后者。存储技术、SAN存储（光纤存储）SAN（StorageAreaNetwork）是一个集中式管理的高速存储网络，由多供应商存储系统、存储管理软件、应用程序服务器和网络硬件组成。SAN的概念是允许存储设备和处理器（服务器）之间建立直接的高速网络连接，通过这种连接实现只受光纤线路长度限制的集中式存储。SAN可以被看作是存储总线概念的一个扩展，它使用局域网（LAN）和广域网（WAN）中类似的单元，实现存储设备和服务器之间的互连。这些单元包括：路由器、集线器、交换机和网关。SAN可在服务器间共享，也可以为某一服务器所专有，既可以是本地的存储设备也可以扩展到地理区域上的其他地方。SAN的接口可以是企业系统连接（ESCON）、小型计算机系统接口（SCSI）、串行存储结构（SSA）、高性能并行接口（HIPPI）、光纤通道（FC）或任何新的物理连接方法。存储方式存储方式：对象存储块存储文件存储存储方式对象存储对象存储OBS（ObjectBasedStorage）是以对象（Object）为基本单元的存储方式，如图下图所示。对象存储基于文件系统，通过文件系统来存储访问数据。对象存储系统由以下几个部分组成：◦对象每个对象都是数据和数据属性集的综合体。数据属性可以根据应用的需求进行设置，包括数据分布、服务质量等。对象维护自己的属性，简化了存储系统的管理任务，增加了灵活性。对象的大小可以不同，可以包含整个数据结构，如文件、数据库表项等。存储方式◦基于对象的存储设备OSD每个OSD（Object-basedStorageDevice）都是一个智能设备，具有自己的存储介质、处理器、内存以及网络系统等，负责管理本地的对象，是对象存储系统的核心。OSD的主要功能为数据存储和安全访问。OSD同块设备的不同不在于存储介质，而在于两者提供的访问接口。◦元数据服务器MDSMDS（MetadataServer）为客户端提供元数据，主要是文件的逻辑视图，包括文件与目录的组织关系、每个文件所对应的OSD等。同时为客户端提供高速缓冲存储器Cache一致性保证及客户端认证服务。◦文件系统文件系统对用户的文件操作进行解释，并在元数据服务器和OSD间通信，完成所请求的操作。存储方式块存储块存储是以块为基本单元的存储方式，如下图所示。块泛指底层磁盘上的扇区组合，某个文件可以对应一个或者多个这样的块。块设备需要记录每个存储数据块在设备上的位置，增加了存储系统的管理任务。块存储设备也称为裸设备，通过SCSI、SAS或FCSAN与服务器连接。服务器直接通过SCSI、SAS或FCSAN协议控制和访问数据。块传输方式不存在数据打包/解包的过程，可提供更高的传输性能。绝大多数数据库使用块存储设备，如FC磁盘存储系统。存储方式文件存储是以文件为基本单元的存储方式，如图所示。文件存储设备通过以太网与服务器连接。服务器通过NFS、CIFS、HTTP、FTP等协议进行数据访问。数据通过以太网传输，数据有打包/解包的过程。文件存储设备以NAS为主，主要用于用户文件共享。文件存储主要应用于以下场景：•针对虚拟服务器的存储•文件服务•数据保护•归档和内容目录•高性能计算存储方式几种存储方式的比较及典型产品存储可靠性技术之RAID云计算项目交付时，不可避免的需要考虑存储磁盘采用何种RAID。例如：项目工程师可能会建议大家链接克隆虚拟机系统盘组RAID10，完整复制虚拟机数据盘使用RAID5或者RAID6等。RAID概念RAID是RedundantArrayofIndependentDisk的缩写，独立磁盘冗余阵列。它是一种数据保护技术，它通过把多块独立的硬盘（物理硬盘）按不同方式组合起来形成一个硬盘组（逻辑硬盘），提供比单个硬盘更高的存储性能和提供数据冗余。RAID的优点•提高传输速率RAID通过在多个磁盘上同时存储和读取数据来大幅提高存储系统的数据吞吐量。在RAID中，可以让很多磁盘驱动器同时传输数据，而这些磁盘驱动器在逻辑上又是一个磁盘驱动器，所以使用RAID可以达到单个磁盘驱动器几倍、几十倍甚至上百倍的速率。存储可靠性技术之RAID•提供容错功能普通磁盘驱动器无法提供容错功能，RAID可提供容错功能，RAID容错是建立在每个磁盘驱动器的硬件容错功能之上的，所以它提供更高的安全性。在很多RAID模式中都有较为完备的相互校验/恢复的措施，甚至是直接相互的镜像备份，从而明显提高了RAID系统的容错度，提高了系统的稳定冗余性。RAID分类•RAID0理论上讲，一个由N个磁盘组成的RAID0系统，它的读写性能将是单个磁盘读取性能的N倍，且磁盘空间的存储效率最大（100％）。由于总线带宽等多种因素的影响，实际的提升速率会低于理论值。但是，大量数据并行传输与串行存储可靠性技术之RAID传输比较，性能必然大幅提高。RAID0有一个明显的缺点：不提供数据冗余保护，一旦数据损坏，将无法恢复。RAID0至少需要2块硬盘才能实现。•RAID1也称为镜像（Mirror），它将数据完全一致的分别写到工作磁盘和镜像磁盘。RAID1系统的磁盘空间利用率为50％，对数据写入时间会产生影响，但是读的时候没有任何影响。RAID1提供了非常好的数据保护，一旦工作磁盘发生故障，系统自动从镜像磁盘读取数据，不会影响用户工作。而且RAID1支持“热替换”，即不断电的情况下对故障磁盘进行更换，更换完毕只要从镜像盘上恢复数据即可。RAID1至少需要2块硬盘才能实现。存储可靠性技术之RAID•RAID5采用分布式奇偶校验的独立磁盘结构。数据校验的信息被均匀的分散到阵列的各个磁盘上。阵列的磁盘上既有数据，也有数据校验信息，数据块和对应的校验信息会存储于不同的磁盘上。校验位即P位是通过同一带区的数据做异或求得的。当一个数据盘损坏时，RAID5系统可以根据同一带区的其他数据块和对应的校验信息来重构损坏的数据。RAID5至少需要3块硬盘才能实现。存储可靠性技术之RAID•RAID6采用两种奇偶校验码的磁盘结构。RAID6在RAID5的基础上，进一步加强了数据保护，实际上是一种扩展RAID5等级。RAID6的数据冗余性能相当好。但是由于增加了一个校验，所以写入的效率较RAID5还差。而且控制系统的设计也更为复杂，第二块的校验区也减少了有效存储空间。RAID6至少需要4块硬盘才能实现。存储可靠性技术之RAID•RAID10是一个RAID0与RAID1的组合体。RAID10的结构非常简单，首先创建2个独立的RAID1，然后将这两个独立的RAID1组成一个RAID0，当往这个逻辑RAID中写数据时，数据被有序的写入两个RAID1中。RAID10以RAID0为执行阵列，以RAID1为数据保护阵列。具有与RAID1一样的容错能力，用于容错处理的系统开销与单独的镜像操作基本一样，由于使用RAID0作为执行等级，因此具有较高的I/O宽带。RAID10至少需要4块硬盘才能实现。存储可靠性技术之RAID使用场景•RAID0使用场景RAID0不提供容错能力，但是它的读取性能很高。故RAID0应用于对读取性能要求较高但所存储的数据为非重要数据的场合。•RAID1使用场景RAID1提供了非常好的数据保护，一旦工作磁盘发生故障，系统自动从镜像磁盘读取数据，且支持热替换，故RAID1应用于对数据保护极为重视的场合。•RAID5及RAID6的使用场景RAID5是一种存储性能、数据安全和存储成本兼顾的存储解决方案。RAID5可以为系统提供数据安全保障，但保障程度要比RAID1低而磁盘空间利用率要比RAID1高。RAID6两个独立的奇偶系统使用不同的算法，数据的可靠性比RAID5高，即使两块磁盘同时失效也不会影响数据的使用。故对于数据的保存所需级别要求并不是不是很高的情况下我们只需要使用常规的RAID5即可。就现在而言，对于那些数据中心，信息中心等对数据安全级别要求比较高的企业，使用RAID6保护数据还是有必要的。存储可靠性技术之RAID•RAID10使用场景RAID10适用于数据库存储服务器等需要高性能、高容错但对容量要求不大的场合。实际项目中，需要综合考虑客户对数据存储的安全要求，价格要求等各项因素选择合理的RAID形式。存储可靠性技术之备份备份是指为防止系统出现操作失误或系统故障导致数据丢失，而将文件系统或数据库系统中的全部或部分数据集合从应用主机的硬盘或阵列复制到其他存储介质，从而方便、及时地恢复系统的有效数据和正常运作！备份方式的分类可以从不同的纬度，对备份进行划分：存储可靠性技术之备份存储可靠性技术之备份数据处理技术在实施备份的过程中，可以对数据进行各种处理，以便改善备份速度，恢复速度，增加数据安全性，提升存储介质的利用率。常见的数据处理技术如下：•数据压缩技术•数据重复删除技术（源端去重：在客户端计算待传输数据的指纹并通过与服务端进行指纹比对发现和消除重复内容；宿端去重：直接将客户端的数据传输到服务端,并在服务端内部检测和消除重复内容。两种部署方式都能够提高存储空间效率,其主要区别在于源端去重通过消耗客户端计算资源换取网络传输效率的提升。）•数据复制技术•数据加密技术•数据缓冲技术存储可靠性技术之备份FusionSphere虚拟机备份方案介绍FusionSphere解决方案使用华为HyperDP软件实现虚拟机备份与恢复。HyperDP通过与FusionCompute配套使用，当虚拟机数据丢失或故障时，可通过备份的数据进行恢复。数据备份的目的端为本地虚拟磁盘或HyperDP外接的共享存储设备，支持对虚拟机进行完全备份、差异增量式备份和累积增量式备份。存储可靠性技术之备份华为FusionSphere概述FusionSphere是华为自主知识产权的云操作