分布式对象存储技术和应用

配色参考方案：以下为三组配色方案。（仅供参考）分布式对象存储技术和应用2011.102研究总体思路分布式对象技术解析支撑云相关工作汇报公众服务云相关工作汇报下一步工作建议目录3研究思路概述What：首先搞清楚是什么分布式存储、对象存储技术核心实质Why：然后追寻为什么技术产生原因背景，旨在解决何种问题How：最后落实怎么做技术架构、技术方案，以及具体应用案例；4研究总体思路分布式对象存储技术解析支撑云相关工作汇报公众服务云相关工作汇报下一步工作建议目录5分布式CAP理论：·C:Consistency一致性·A:Availability可用性(指的是快速获取数据)·P:ToleranceofnetworkPartition分区容忍性(分布式)CAP原理告诉我们，这三个因素最多只能满足两个，不可能三者兼顾。对于分布式存储系统而言，分区容忍性是基本需求，因此只有CP和AP两种选择。CP模式保证分布在网络上不同节点数据的一致性，但对可用性支持不足;AP模式主要实现”最终一致性”来确保可用性和分区容忍性，但弱化了一致性需求。分布式存储系统，它们的基本实现都是非结构化P2P存储系统，通过一个服务器充当索引服务器，然后节点之间相互通信。6对象谈到“面向对象”这个词，人们一定会马上联想到计算机程序设计中的面向对象，在编程中它的本质是把数据和处理数据的过程当成一个整体——对象；而我们今天要谈的面向对象存储技术，本质上也是把待处理的数据当成一个整体——对象，但是却不能把它等同于前者。每个Object是数据和数据属性集的综合体。数据属性可以根据应用的需求进行设置，包括数据分布、服务质量等。在传统的存储中，块设备要记录每个存储数据块在设备上的位置。Object维护自己的属性，从而简化了存储系统的管理任务，增加了灵活性。Object的大小可以不同，可以包含整个数据结构，如文件、数据库表项等。因此，对象是数据存储的基本单元7对象存储基本存储单元名字空间：对象ID数据元数据元数据类似于inode，描述了对象在磁盘上的块分布属性根据需要而定义E.g.多媒体对象的延迟和吞吐请求因此，对象存储就是实现对象具有高性能、高可靠性、跨平台以及安全的数据共享的存储体系，是块和文件之外的存储形式对象(Object)包含了文件数据以及相关的属性信息，可以进行自我管理8研究总体思路分布式对象存储技术解析分布式对象存储技术必然性公众服务云相关工作汇报下一步工作建议目录9网络存储需要解决的主要问题随着网络技术的发展，网络化存储逐渐成为主流技术。其需要解决的主要问题如下：提供高性能存储，在I/O级和数据吞吐率方面能满足成百上千台集群服务器访问请求；提供安全的共享数据访问，便于集群应用程序的编写和存储的负载均衡；提供强大的容错能力，确保存储系统的高可用性。10主流网络存储结构的问题存储区域网（SAN）：高性能容错性安全共享？附网存储（NAS）：扩展性共享性能？对象存储体系结构提供了一个带有NAS系统的传统的文件共享和管理特征的单系统映象（single-system-image）文件系统，并改进了SAN的资源整合和可扩展的性能11必然趋势目前对象存储系统已成为Linux集群系统高性能存储系统的研究热点，如Panasas公司的ObjectBaseStorageClusterSystem系统和ClusterFileSystems公司的Lustre等。对象存储：块和文件之外的存储形式对象存储体系结构提供了一个带有NAS系统的传统的文件共享和管理特征的单系统映象（single-system-image）文件系统，并改进了SAN的资源整合和可扩展的性能12研究总体思路分布式对象存储技术解析分布式对象存储技术必然性分布式对象存储技术结构应用案例13对象存储结构传统块存储与对象存储对象存储（Object-BasedStorage,OBS)综合了NAS和SAN的优点，同时具有SAN的高速直接访问和NAS的数据共享等优势，提供了具有高性能、高可靠性、跨平台以及安全的数据共享的存储体系结构。14对象存储结构传统的访问层次和虚拟数据访问模型15对象存储设备（OSD）对象是数据存储的基本单元提供类似文件的访问接口SeagateOSD设备CPU+磁盘+NIC16对象存储系统组成对象(Object)包含了文件数据以及相关的属性信息，可以进行自我管理•OSD（Object-basedStorageDevice)–一个智能设备，是Object的集合•文件系统–文件系统运行在客户端上，将应用程序的文件系统请求传输到MDS和OSD上•元数据服务器(MetadataServer，MDS)–系统提供元数据、Cache一致性等服务•网络连接171.对象(Object)对象存储的基本单元。每个Object是数据和数据属性集的综合体。数据属性可以根据应用的需求进行设置，包括数据分布、服务质量等。在传统的存储中，块设备要记录每个存储数据块在设备上的位置。Object维护自己的属性，从而简化了存储系统的管理任务，增加了灵活性。Object的大小可以不同，可以包含整个数据结构，如文件、数据库表项等。18对象分类192、OSD（Object-basedStorageDevice)每个OSD都是一个智能设备，具有自己的存储介质、处理器、内存以及网络系统等，负责管理本地的Object，是对象存储系统的核心。OSD同块设备的不同不在于存储介质，而在于两者提供的访问接口。20OSD的主要功能数据存储和安全访问OSD使用Object对所保存的数据进行管理。它将数据存放到磁盘的磁道和扇区，将若干磁道和扇区组合起来构成Object，并且通过此Object向外界提供对数据的访问。每个Object同传统的文件相似，使用同文件类似的访问接口，包括Open、Read、Write等。但是两者并不相同，每个Object可能包括若干个文件，也可能是某个文件的一部分，且是独立于操作系统的。除了具体的用户数据外，OSD还记录了每个Object的属性信息，主要是物理视图信息。将这些信息放到OSD上，大大减轻了元数据服务器的负担，增强了整个存储系统的并行访问性能和可扩展性。21应用程序应用程序系统调用层系统调用层文件系统用户组件文件系统存储管理LBA层I/O块管理器介质文件系统用户组件OSD层OSD存储管理I/O块管理器介质传统模型OSD模型223、文件系统文件系统对用户的文件操作进行解释，并在元数据服务器和OSD间通信，完成所请求的操作。现有的应用对数据的访问大部分都是通过POSIX文件方式进行的，对象存储系统提供给用户的也是标准的POSIX文件访问接口。接口具有和通用文件系统相同的访问方式，同时为了提高性能，也具有对数据的Cache功能和文件的条带功能。同时，文件系统必须维护不同客户端上Cache的一致性，保证文件系统的数据一致23文件系统读访问实例：1)客户端应用发出读请求;2)文件系统向元数据服务器发送请求，获取要读取的数据所在的OSD;3)然后直接向每个OSD发送数据读取请求；4)OSD得到请求以后，判断要读取的Object，并根据此Object要求的认证方式，对客户端进行认证，如果此客户端得到授权，则将Object的数据返回给客户端；5)文件系统收到OSD返回的数据以后，读操作完成。244.元数据服务器(MetadataServer)为客户端提供元数据，主要是文件的逻辑视图，包括文件与目录的组织关系、每个文件所对应的OSD等。254.元数据服务器(MetadataServer)在传统的文件系统中，元数据由本机或者文件服务器负责维护，每次对数据块的操作都要获取元数据。在对象存储系统中，由于每次操作只有一次对元数据的访问，具体的数据传输都由OSD和客户端通过直接连接进行，大大减少了元数据的操作，降低了元数据服务器的负担，从而为系统的扩展提供了可能性。264.元数据服务器(MetadataServer)特点客户端采用Cache来缓存数据当多个客户端同时访问某些数据时，MDS提供分布的锁机制来确保Cache的一致性。为客户端提供认证为了增强系统的安全性，MDS为客户端提供认证方式。OSD将依据MDS的认证来决定是否为客户端提供服务。27对象存储与传统存储的对比存储接口存储系统优点缺点块级存储块块存储设备如:SAN,提供高性能的随机I/O和数据吞吐率可扩展性和可管理性较差、价格较高、不能满足成千上万CPU规模的系统文件储存文件块存储设备＋文件系统如:NAS,扩展性好、易于管理、价格便宜开销高、带宽低、延迟大,不利于高性能集群中应用对象存储对象块存储设备＋文件系统＋定位逻辑＋应用程序支持高并行性、可伸缩的数据访问,管理性好、安全性高、适合高性能集群使用处于发展阶段,相应的硬件、软件支持有待进一步完善28对象存储的特性（总结）性能优势存储设备的智能化数据的共享更容易管理更方便更好的安全性29总结：关于分布式对象存储对象存储是一个分布式系统，对象特别适用于那些需要无限规模的应用对象存储技术非常适用于PB级存储应用，尤其是视频和影像对象的存储。对象存储可以完成文件系统存储所无法完成的工作。它可以用来储存大量非结构化数据，而那正是当今世界上需要储存的大多数数据（在未来的十年里，需要储存的数据数量将增加50倍，模块存储系统根本无法储存那么多的数据）分布式文件系统是实现非结构化数据存储的主要技术，说到分布式文件系统就不得不提GFS（GoogleFileSystem），以及HDFS（HadoopDistributedFileSystem）30产生的背景数据存储在多个可能出故障的普通PC机集群上和传统文件系统相比文件很大(GB级别)多数文件在写操作时为追加内容而不是重写主要负担为文件持续或随机读取,同步写,连续写等功能特性可扩展的分布式文件系统用于访问大量数据的大型应用高效运行在廉价硬件的集群上容错:集群中的机器可热拔插2020年4月16日3031请领导指示！