IT行业存储基础知识培训

IT行业存储基础知识培训RAID技术RAID基本概念——定义RAID（RedundantArrayofIndependentDisks）即独立磁盘冗余阵列，RAID技术将多个单独的物理硬盘以不同的方式组合成一个逻辑硬盘，从而达到提升存储容量、读写性能和数据安全性的目的。根据不同的组合方式可以分为不同的RAID级别RAID0数据条带化，无校验RAID1数据镜像，无校验RAID2海明码错误校验及校正（不常用）RAID3数据条带化读写，校验信息存放于专用盘（不常用）RAID4单次写数据采用单个硬盘，专用盘存放校验数据（不常用）RAID5数据条带化，校验信息分布式存放RAID6数据条带化，分布式校验并提供两级冗余可靠性未使用RAID01020304050607080901stQtr2ndQtr3rdQtr4thQtr一旦硬盘损坏，资料将丢失!作业将停顿!资料仍然存在!使用RAIDRAID出现原因一提高容量未使用RAID使用RAID硬盘容量单块硬盘容量硬盘容量=单块硬盘容量xNRAID出现原因二一旦硬盘损坏，资料将丢失!作业将停顿!提升速度未使用RAID使用RAIDI/O1I/O2I/O1I/O2(Disk1)(Disk2)节省时间速度@Nx单块硬盘的速度TotalrequestexecutiontimeSoftwaresetupAccessTimeDataTransferSoftwareCompletionRAID出现原因三•CPU运算速度飞速提高，数据读写速度不应该成为计算机系统处理的瓶颈RAID基本概念——条带分条条带硬盘0硬盘2硬盘1硬盘3大数据块写入RAID时会被分成多个数据块并行写入多块硬盘，这些大小一致的数据块就称为条带。同时数据读取时会并行从多块硬盘读取条带数据，最后完整输出。条带无疑会大幅度提升整体读写效率。RAID基本概念——重建（Rebuild）数据盘A1A0PA0A1PXOR故障数据盘校验盘A2A2XOR数据盘更换某块硬盘出现故障后，一旦将其更换为正常硬盘，RAID便会通过其他硬盘数据计算出坏盘上原有的数据，再将数据重建回新添硬盘上。RAID热备盘-HotSpare•热备份是在建立RAID磁盘阵列系统的时候，将其中一磁盘指定为热备磁盘，此热备磁盘在平常并不操作，当阵列中某一磁盘发生故障时，热备磁盘便取代故障磁盘，并自动将故障磁盘的数据重构在热备磁盘上。•热备盘分为：全局热备盘和局部热备盘全局热备盘：针对整个磁盘阵列，对阵列中所有RAID组起作用。局部热备盘：只针对某一RAID组起作用。•因为反应快速，加上快取内存减少了磁盘的存取，所以数据重构很快即可完成，对系统的性能影响不大。•对于要求不停机的大型数据处理中心或控制中心而言，热备份更是一项重要的功能，因为可避免晚间或无人守护时发生磁盘故障所引起的种种不便。热备与重构•在线操作特性系统中需设置一个热添加的备份盘或用一个新的替代磁盘替代故障磁盘当满足以下条件时开始数据自动重构有一个热备份盘存在独立于故障磁盘的所有磁盘都配置为冗余阵列(RAID1,3,5,0+1)•所有的操作都是在不中断系统操作的情况下进行的RAID5setofdrives:4active,1hot-spareCOPYBACK完成某个磁盘损坏，重构过程开始重构过程结束，RAID5可靠性恢复冗余插入新磁盘，COPYBACK开始RAID基本概念——物理卷和逻辑卷RAID10RAID5•RAID由几块硬盘（物理卷）组成•RAID可以多个硬盘按照指定容量创建一个或多个逻辑卷，便通过LUN（LogicUnitNumber）来标识。一个逻辑卷对于主机来说就是一块硬盘（物理卷）物理卷物理卷逻辑卷逻辑卷多个物理卷上创建1个逻辑卷多个物理卷上创建2个逻辑卷LUN1LUN2LUN3RAID0条带存储(Striping)原理：又称数据分条，即把数据分成若干相等大小的小块，并把它们写到阵列上不同的硬盘上，这种技术又称“Stripping”（即将数据条带化），RAID0在读写时是以并行的方式对各硬盘同时进行操作。优点磁盘空间利用率最高在所有的级别中，RAID0的速度是最快的缺点无冗余功能，如果一个磁盘损坏，则所有的数据都无法使用不适合关键业务应用媒体编辑图像编辑需要高带宽的应用RAID1镜像/双工•优点数据安全性相对其它RAID级，是最好的•缺点磁盘利用率只有50%，是所有RAID上磁盘利用率最低的一个级别原理：即每个工作盘都有一个镜像盘，每次写数据时必须同时写入镜像盘，读数据时只从工作盘读出，一旦工作盘发生故障立即转入镜像盘，从镜像盘中读出数据。当更换故障盘后，数据可以重构，恢复工作盘正确数据应用财务金融需要高数据可用性的应用RAID3(条带分布+专用盘校验)原理：使用至少三块硬盘配置，在其中的一块硬盘上存贮专用的校验数据，当某块硬盘出现故障时，其它硬盘可以通过校验数据将有故障的硬盘的数据重新恢复出来。特点：数据以位或字节的方式存于各盘（分散记录在组内相同扇区的各个硬盘上）•优点高可用性磁盘利用率较高(N-1)并行I/O传输，顺序读性能较高•缺点校验盘成为性能瓶颈每次读写牵动整个组，每次只能完成一次I/O应用流媒体服务器图像编辑视频编辑RAID5(条带技术+分布式校验)原理：RAID5将所有校验的数据分别存贮在所有的硬盘上,每一个硬盘的不同地方既存贮数据，也存贮校验数据。当某块硬盘出现故障时，其它硬盘可以通过校验数据将故障的硬盘的数据重新恢复出来。•优点高可用性磁盘利用率较高(N-1),没有固定的校验盘，奇偶校验信息均匀分布在阵列所属的所有磁盘中随机读写性能高允许在同一组内并发进行多个写操作•缺点异或较验影响存储性能应用文件及应用服务器数据库服务器Web,E-mail局域网服务器RAID6（Doubleparitydrive）高级数据保护特点：较高的数据冗余性能；超强的数据保护能力，可以应付多颗盘同时出错；优点：允许在同一组内并发进行多个写操作缺点：计算校验地址占用较多的处理时间；较低的写入速率。RAID6P+Q•RAID6P+Q会根据公式计算出P和Q的值，当有两个数据同时丢失时，仍可以计算出原数据磁盘1磁盘2磁盘3磁盘4磁盘5条带1数据1a数据1b数据1cP1Q1条带2数据2d数据2eP2Q2数据2f条带3数据3gP3Q3数据3h数据3i条带4P4Q4数据4j数据4k数据4l条带5Q5数据5m数据5n数据5oP5RAID级别比较项目RAID0RAID1RAID10RAID5、RAID3最小配置1243性能HighestLowestRAID5RAID10RAID0RAID1RAID5RAID10特点无容错最佳的容错最佳的容错提供容错磁盘利用率100%50%50%(N-1/N描述不带奇偶效验的条带集磁盘镜像RAID0与RAID1的结合带奇偶效验的条带集其中RAID3与RAID5的区别为：RAID3更适合于顺序存取，RAID5更适合于随机存取。需要根据具体的应用情况决定使用那种RAID级别。RAID性能比较RAID级*RAID-0RAID-1RAID-5RAID-10RAID-50RAID-6别名条带镜象分布奇偶位条带镜象阵列条带分布奇偶阵列条带分布奇偶条带容错性没有有有有有有冗余类型没有复制奇偶位复制奇偶位两种奇偶位热备盘选项没有有有有有有需要的磁盘数一个或多个只需2个三个或更多只需4个不小于6的偶数（6，8，10，12，14，16）（因为RAID5最少3个，再做镜像，就是6个）四个或更多可用容量NN/2N-1N/2N-2N－2RAID组建方式一：SoftwareRAIDOS無RAID專用CPU作業系統無法安裝在RAIDLogicalDisk速度較小、硬碟擴充性較小安裝主機內部，需RAID程式，維護複雜NT,Unix,Linux,,,SCSIBusRAIDSCSICardRAID组建方式二：RAIDCard提供RAID專用CPU作業系統可安裝在RAIDLogicalDisk速度快、硬碟擴充性大安裝主機內部，需驅動程式，維護複雜,,,SCSIBusNT,Unix,LinuxRAIDRAIDCardRAID组建方式三：RAIDControllerRAID提供RAID專用CPU作業系統可安裝在RAIDLogicalDisk速度快、硬碟擴充性大與主機分離，不需驅動程式，維護容易可接多主機(Cluster)與雙控制器(ControllerFailOver)NT,Unix,LinuxHostChannelDiskChannelHOSTandO.S.Independent,,,Fibre,SCICardRAID优点•硬盘容错(faulttolerance)•提高I/O处理速度(highperformance)•提升传输速率(fastdatatransfer)•提高资料使用率(highavailability)•维护方便(easymaintenance)DASNASSAN存储体系架构介绍DirectAttachedStorage(DAS)直接外挂存储服务器直接后挂存储设备，最经济的一种结构。NetworkAttachedStorage(NAS)网络连接存储网络上直接挂接的存储设备，相当于一个网络文件共享服务器。StorageAreaNetwork(SAN)存储区域网络应用光纤技术的SAN网络，传输介质为光纤，性能最高，目前使用较广ISCSI(IP-SAN)iSCSI-利用TCP/IP协议连接存储设备,可以理解为SCSIoverIP,是将SCSI命令封装到TCP/IP数据包中,通过IP网络传输SCSI数据。DAS-直连存储Client2ServerAApplicationAServerBApplicationBServerCApplicationCDisksforServerADisksforServerBDisksforServerCClient3Client1LocalAreaNetworkSAN-存储局域网络Client2Client3Client1ServerAApplicationAServerBApplicationBServerCApplicationCDisksforServerADisksforServerBDisksforServerCSANLocalAreaNetworkDiskArrayNAS-网络附加存储DisksforFileSystemADisksforFileSystemBNASDeviceAFileSystemANASDeviceBFileSystemBInternal/ExternalconnectivitytodisksorarraysServerAFileSystemAServerBFileSystemBClient1Client2Client3LocalAreaNetworkSAN、iSCSI、NAS的特点•NAS为解决数据共享问题和优化文件（File）存储而产生的存储技术文件管理系统在存储设备端，是文件服务+IP的一种技术多应用于非结构化数据（文件）•SAN为解决DAS的问题而产生的存储技术是DAS+网络的一种技术多应用于OLTP系统（如：ERP）•iSCSIiSCSI也叫IPSAN多应用于PC服务器平台、Windows（SQLServer、Exchange）、Linux、小型数据库应用系统NASSAN/iSCSI操作系统文件管理系统RAID控制磁盘读写应用系统IO调用模式存储架构适用分类SAN:•提供可用性、可管理性和扩展性目标应用:•数据库/ERP/OLTP•灾难恢复•数据仓储NAS:•易于安装和管理，低价位,目标应用:•文件服务器集中/更换•PDM/CAD•文件共享DAS:只适用于小型商务IP-SAN与FC-SAN比较•IP-SAN适用环境：异地间的数据交换及容灾，备份，非关键应用的集中存储。•FC-SAN适用环境：关键应用的集中存储、备份及容灾。优点缺