您好,欢迎访问三七文档
云存储的源起大数据挑战数据单位Yotta10**24septillionZetta10**21sextillionExa10**18quintillionPeta10**15quadrillionTera10**12trillionGiga10**9billonMega10**6millionKilo10**3thousand数据的估量1B=一个字符或一粒沙子1KB=一个句子或几撮沙子1MB=一个20页的PPT/一本小书或者一大汤勺沙子1GB=书架上9米长的书或者一鞋盒子沙子1TB=300小时优质视频、美国国会图书馆存储容量的1/10或者一个操场的沙箱1PB=35万张数字照片或者一片1.6公里长的沙滩1EB=1999年全世界生成的信息的一半或者上海到香港之间的沙滩1ZB=无法想象,或许全世界的沙滩总和60秒的数据Video&GraphicsGeneticSequencingSatellitePhotosComputerModelingSeismicExplorationMusic/AudioPDFsMedicalImaging文件,非结构化数据….“大数据”文件,非结构化数据….“大数据”数据的三种分类结构化数据:数据结构字段含义确定,清晰,典型的如数据库中的表结构.可以用二维表结构来逻辑表达实现的数据半结构化数据:是介于完全结构化数据(如关系型数据库、面向对象数据库中的数据)和完全无结构的数据(如声音、图像文件等)之间的数据,具有一定结构,但语义不够确定,HTML文档就属于半结构化数据。它一般是自描述的,数据的结构和内容混在一起,没有明显的区分。非结构化数据:杂乱无章的数据,很难按照一个概念去进行抽取,无规律性。包括视频、音频、图片、图像、文档、文本等形式I/O调用模式应用系统操作系统文件管理系统RAID控制磁盘读写数据结构结构化数据半结构化数据非结构化数据数据的三种分类大数据特征Volume,数据体量巨大。Variety,数据类型繁多。Veracity,数据真实性。Velocity,处理速度快。Value18可视:结构化资料15%DB/DW未视:半/非结构化数据85%主管们看的战情数位仪表板,其实是残缺的…BIGDATA带来的挑战大数据正在改变企业存储20092010基于文件:60.7%CAGR201120122013基于块:21.8%CAGR20149080706050403020100到2012年,80%存储空间用于基于文件的数据来源:IDC大数据来源10万GB10万TB计算更快存储更省需要更高性价比的数据计算与储存方式20数据库数据仓库2185%半/非结构化的Log/Webpage/Email/PDF/Image/Full-text/MS-Officefile想要扩充时,才发觉:•架构只能scale-up,scale-out不易•处理时间过长,time-to-value受限•成本过高,cost-efficiency受限15%结构化的DB/DW不同的数据管理策略集群存储:横向扩展………………….……………………….F…………………………………………TRAINKEEPSGOING!!Slower……………………………………TRAINSTOPS!!!!!!!!!!!!aster传统存储:纵向扩展垂直扩展与横向存储性能容量峰值存储设备性能低峰值存储设备性能中峰值存储设备性能中高峰值存储设备性能高痛苦的系统迁移复杂的系统管理重复的系统投资性能容量性能扩展适合快速增长单一文件系统单一系统管理灵活双向扩展海量数据存储垂直存储与横向存储在过去的十多年中集群网络的重要进展之一是可以将成千上万的节点连起来,同时保证高可扩展性和相对较低的通讯开销。传统存储技术!L.17.05!lLofl.CO.\):l_fJ/t..\.s.{)早期存储设备:纸带存储技术的发展早期存储设备:磁鼓IBM650计算机上的16英寸长磁鼓,有40个磁道,容量10KB,每分钟12,500转•第一只软式软盘是由IBM于1971年开发出的,直径8吋•第一个5.25英寸的软驱,是1976年的时候由ShugartAssociates公司为IBM的大型机研发的。后来才用在IBM早期的PC中。•1980年,索尼公司推出了3.5英寸的磁盘,容量不足1MB•到90年代初时到现在,3.5英寸、1.44MB的软盘一直用于PC的标准的数据传输方式。早期存储设备:软盘磁盘是一种机电混合设备。在过去的十多年中,磁盘的区域密度、轨密度和线密度分别获得了100%,50%和30%的增长。存储设备:磁盘驱动器存储角色的演变数据的增涨导致了以“计算”为中心到以“数据存储”为中心的的观念革新。存储领域的两个重要转折点:•并行存储:比如磁盘阵列技术(RAID)。•网络存储:NAS,SANRAID的基本概念RAID0RAID0RAID1RAID1RAID2RAID3RAID3RAID4RAID5RAID5RAID10常用RAID级别的比较RAID的应用场景热备盘热备(HotSpare):当冗余的RAID阵列中某个磁盘失效时,在不干扰当前RAID系统正常使用的情况下,用RAID系统中另外一个正常的备用磁盘顶替失效磁盘。热备通过配置热备盘实现,热备盘分为全局热备盘和局部热备盘。热备盘要求和RAID组成员盘的容量,接口类型,速率一致,最好是采用同一厂家的同型号硬盘。驱动器n驱动器1热备盘……RAID1/RAID5/RAID6/…预拷贝预拷贝:系统通过监控发现RAID组中某成员盘即将故障时,将即将故障成员盘中的数据提前拷贝到热备盘中,有效降低数据丢失风险。驱动器2驱动器1热备盘RAID1/RAID5/RAID6/…重构重构:RAID阵列中发生故障的磁盘上的所有用户数据和校验数据的重新生成,并将这些数据写到热备盘上的过程。D5D3D1驱动器2D4D2D0校验驱动器D0,D1,D2,D3,D4,D5P3P2P1热备盘驱动器D0D2D4驱动器1RAID与LUNRAID由几个硬盘组成,从整体上看相当于由多个硬盘组成的一个大的物理卷。在物理卷的基础上可以按照指定容量创建一个或多个逻辑单元,这些逻辑单元称作LUN,可以做为映射给主机的基本块设备。物理卷物理卷逻辑卷逻辑卷单个物理卷上创建1个逻辑卷单个物理卷上创建多个逻辑卷LUN1LUN2LUN3RAID、逻辑卷的形成过程Page43物理磁盘逻辑卷RAIDLUN1LUN2LUN3分割RAID与LUNRAID由几个硬盘组成,从整体上看相当于由多个硬盘组成的一个大的物理卷。在物理卷的基础上可以按照指定容量创建一个或多个逻辑单元,这些逻辑单元称作LUN,可以做为映射给主机的基本块设备。物理卷物理卷逻辑卷逻辑卷单个物理卷上创建1个逻辑卷单个物理卷上创建多个逻辑卷LUN1LUN2LUN3RAID、逻辑卷的形成过程Page45物理磁盘逻辑卷RAIDLUN1LUN2LUN3分割试验Linux扩展硬盘物理卷(PV)卷组(VG)逻辑卷(LV)练习题多选题1、以下阵列类型中,具有冗余功能的有()A.RAID0B.RAID1C.RAID5D.RAID10判断题1、在RAID10中,任意两块磁盘出故障都不影响读取数据。(TorF)思考题1.RAID5和RAID1的应用场景有区别吗?有哪些?2.在客户更关注可靠性和性能的情况下,给客户推荐合适的RAID方案有哪些?3.RAID与LUN的关系是什么?基于网络的存储将网络引入存储系统,改变主机与外部存储节点间的连接模式,产生了若干新型存储体系结构:•直接联网存储DAS(DirectAttachedStorage)•网络附加存储NAS(NetworkAttachedStorage)•存储区域网SAN(StorageAreaNetwork)。存储系统必须要从少数的存储引擎向连在网络上的成千上万的商用化存储设备进行转变。新型存储体系结构三种典型的存储系统附网存储NAS存储区域网SAN直连存储DAS直连存储•DAS是指将外置存储设备通过连接电缆,直接连接到一台计算机上•外部数据存储设备采用SCSI技术,或者FC技术,直接挂接在内部总线上的方式,数据存储是整个服务器结构的一部分,在这种情况下往往是数据和操作系统都未分离JBODJBOD(JustaBunchOfDisks)isanarchitectureusingmultipleharddrives,butnotinaRAIDconfiguration,thusprovidingneitherredundancynorperformanceimprovements存储区域网络,是一种通过网络方式连接存储设备和应用服务器的存储构架,这个网络专用于主机和存储设备之间的访问。当有数据的存取需求时,数据可以通过存储区域网络在服务器和后台存储设备之间高速传输。SAN中,存储设备通过专用交换机到一群计算机上。在该网络中提供了多主机连接,允许任何服务器连接到任何存储阵列,让多主机访问存储器和主机间互相访问一样方便,这样不管数据置放在那里,服务器都可直接存取所需的数据。优点:服务器共享存储系统,降低异构化,成本降低,数据集中便于维护,提高存储资源利用率。SAN(STORAGEAERANETWORK)是一种文件共享服务。拥有自己的文件系统,通过NFS或CIFS对外提供文件访问服务。NAS包括存储器件(例如硬盘驱动器阵列、CD或DVD驱动器、磁带驱动器或可移动的存储介质)和专用服务器。专用服务器利用NFS或CIFS,充当远程文件服务器,对外提供文件级的访问。NAS(NETWORKATTACHSTORAGE)统一存储是一个可以支持基于文件的网络附加存储(NAS)以及基于数据块的SAN的网络化的存储架构。由于其支持不同的存储协议为主机系统提供数据存储,因此也被称为多协议存储。块访问通过使用类似光通道、SAS、或者以太网承载的iSCSI等接口来实现。基于文件的访问是通过以太网上的CIFS或者NFS来访问存储系统上的文件系统。几种存储方法的对比几种存储方法的对比试验linux软RAID配置、测试、删除分组讨论用自己的话来描述三种存储模式最大的差别最主要的应用场景云存储的定义云存储服务:按照指定的具有可扩展性的服务水平,通过网络将虚拟的存储和数据服务以按需使用、按量计费的方式提供的服务交付方式。该交付方式无需配置或以自服务方式配置。云存储与云计算的关系云存储是云计算的一个子集云存储是一个以数据存储和管理为核心的(特别的)云计算系统(通用)云计算系统可以认为是以数据处理、数据运算为中心的系统(通用)云计算系统不但能对数据进行处理和运算,系统中还有大量的存储阵列设备,以实现对计算数据的保存和管理。在云计算系统中配置相应的存储设备,该计算系统即拥有了云存储系统功能。云存储与传统存储的不同功能需求云存储系统面向多种类型的网络在线存储服务传统存储系统则面向如高性能计算、事务处理等应用性能需求首先要考虑数据的安全性、可靠性、效率等指标;由于用户规模大、服务范围广、网络环境复杂多变等特点,实现高质量的云存储服务必将面临更大的技术挑战;数据管理云存储系统不仅要提供传统文件访问,还要能够支持海量数据管理并提供公共服务支撑功能,以方便云存储系统后台数据的维护。59备份服务存储容器服务记录管理服务归档服务STORAGECLOUD通用目的性能或成本优化数据保护变量恢复在高可用性、可靠性、连续性或增量备份很重要的场合,为业务连续性进行数据备份。可能会包括场外和镜像备份。数据保持长期和安全为长期的资产或信息管理建立归档。能为诸如医疗影像或记录、M&E视频归档、政府记录/归档、保健药剂研究、气象预测归档等垂直行业提供特定实施。记录优化合规和永恒性数据存档和保持,用于法规遵从、风险缓释,或在成本和信息生命周期管理很重要的场合留作参考。在$/GB基础上的存储可用性,通过丰富的SLAs来提供辅助的即需即供的存储容量。云存储服务类型房间规划和设施共享60
本文标题:云存储概述
链接地址:https://www.777doc.com/doc-5682805 .html