信息存储与管理

信息存储与管理Page2第二章存储系统环境主机、连接、存储设备块级别和文件级别访问存储介质和设备磁盘部件逻辑块寻址Page3存储系统环境的组成存储系统环境由主机、连接、存储设备三部分组成。物理部件：总线、接口、电缆、光纤等逻辑部件（协议）：PCI、IDE/ATA、SCSI连接存储设备内存外存RAMROM硬盘、软盘、磁带（磁性介质）CD-ROMDVD-ROM（光学介质）Page4物理磁盘的结构磁盘以N级、S级表示0、1不同于数据流以高低电平表示0、1磁头悬浮Page5物理磁盘的结构磁道：一组同心圆环，一个盘面可容纳几千个磁道。扇区：存储系统中可单独被寻址的最小单位，容量为512k。Page6磁盘定位CHS编号：早期的磁盘利用物理地址，包含了柱面（Cylinder）、磁头（Head）、扇区（Secor）的编号，在磁盘上进行定位。以扇区为寻址单位LBA（逻辑块寻址）：使用线性地址访问逻辑块的数据，简化寻址过程。逻辑块：将几个扇区组合成整体并编号作用操作系统掌握LBA，磁盘控制器负责将LBA转化为CHSPage7磁盘驱动器的性能磁盘服务时间外部数据传输时间磁盘服务时间并发系数IOIOPS寻道时间+旋转延迟+数据传输速率内部数据传输时间旋转延迟寻道时间磁盘服务时间Page8寻道时间读写头在盘面上移动（沿着盘面半径方向）进行定位的时间，也就是移动驱动臂将读写头移动到正确的磁道上所需要的时间。平均寻道时间为3—15msPage9旋转延迟盘片旋转，定位读写头下方的数据（扇区）所消耗的时间转速5400r/min的磁盘，平均旋转延迟约5.5ms转速15000r/min的磁盘。平均旋转延迟约2.0msPage10数据传输速率DataTransferRate，指每个单位时间内磁盘能够传输到主机总线适配器（HBA）的平均数据量数据传输ATA的传输速率：133MB/sPage11公式分析寻道时间：ms级旋转延迟：ms级外部数据传输：ns级要提高IOPS，需在寻道时间上下功夫Page12如何提高IOPS传统的磁盘写操作：先将一张磁盘写满，然后写下一张。RAID0的思路：肉夹馍法。将一串磁盘看作整体，先将最外层的扇区填满数据，然后磁头往里推进。就像肉夹馍，先将最外层肉剐下来，接着往里剐。减少磁头移动的次数，从而减少寻道时间。Page13数据访问方式块级别访问（Block-levelAccess）是磁盘访问的基本机制。数据通过指定逻辑块地址进行磁盘存储和数据查询。文件级别的访问（File-levelAccess）是块级别访问的一个抽象。通过指定文件名和路径来访问数据。它通过底层进行块级别访问，对上则为应用程序屏蔽了逻辑块编址（LBA）的复杂性。对象级别访问（Object-levelAccess）是数据访问向智能化发展迈出的第一步。这里的对象是访问和存储数据的基本单位。数据通过分类的方式来组织和管理，并通过唯一的对象标识符加以区别Page14第三章数据保护：RAID硬件和软件RAID分条、数据镜像、奇偶校验RAID的写代价热备用Page15RAID的实现软件RAID：在操作系统层次上实现对RAID阵列的管理优点：成本低，实现简单缺点：带来额外的CPU开销无法支持所有的RAID级别存在兼容性问题硬件RAID：通过集成在主机或存储阵列上的专用硬件控制器（Controller）来实现（如右图）Page16分条一个RAID集由一组磁盘构。我们将磁盘上一块由若干地址连续的磁盘块构成的、大小固定的区域定义为条带（Strip）。位于RAID集所有磁盘上相同位置的条带构成了分条（Stripe）条带深度（Stripedepth）：描述了构成条带的磁盘块数目。分条尺寸：是条带深度与硬盘数量的乘积（剐下来的肉馅总量）分条宽度：一个分条所包含的数据条带的数目，其值与硬盘数量相等Page17一个典型的RAID0系统Page18RAID级别比较级别简要描述RAID0无容错性的分带阵列RAID1磁盘镜像RAID2条带深度为1bit，已淘汰RAID3带专用校验磁盘的并行访问阵列RAID4带独立磁盘和专用校验磁盘的分带阵列RAID5带独立磁盘和分布式校验的分带阵列RAID6带独立磁盘和双重分布式校验的分带阵列嵌套的以上RAID级别的组合，如RAID10、RAID01Page19第四章智能存储系统前端命令队列缓存镜像和跳跃逻辑设备编号（LUN）LUN屏蔽高端存储系统中档存储系统Page20组成部分前端命令队列算法：FIFO：命令队列的默认算法，性能最差寻道时间优化：重新安排命令的执行顺序访问时间优化：综合考虑寻道时间和旋转延迟以达到最佳性能智能存储系统前端缓存后端物理磁盘Page21缓存数据保护缓存管理：最近最少访问算法（LRU）：假设：如果一个页面很久未被访问，那么以后也不会被访问，于是释放它。最近访问算法（MRU）：假设如果一个页面已经被访问过，那么在之后一段时间可能不会再被访问，于是释放此页面。缓存镜像：每次写入缓存的数据都被保存在互相独立的内存条的不同位置上缓存跳跃：停电时，将缓存中的数据暂存到某固定磁盘，而不是将数据存到难以计数的目标磁盘，在有限时间内保存所有数据。等恢复供电后再将数据写入目标磁盘Page22逻辑设备编号LogicalUnitNumber（LUN）：作用：提高物理磁盘利用率。举例：如果没有LUN，一个只需要200G的主机可能被分配一个1T的物理磁盘；而使用了LUN后，只有一个200G的逻辑磁盘会分配给主机，物理磁盘上另外800G可以分配给其他主机。就像揉面团，将所有物理磁盘揉成一团，主机需要多少空间，就从面团里摘出多少面给它。将摘出的小面团用LUN编号。LUN屏蔽：一种数据访问控制，针对数据安全性而设。做饺子的面团不能拿去做包子，财务部的数据不能被销售部获得。Page23第五章直连存储和SCSI介绍Page24DAS直连存储（DAS）是一种存储器直连到服务器的架构.。优点：前期投资少、配置简单、容易部署缺点：不易扩展DAS使用的协议：IDE/ATA、SATA、SAS、SCSI、FC等磁盘驱动接口IDE/ATA：IDE部分定义了连接到主板上的控制器的规范，用于与连接的设备进行通讯；ATA部分规定了连接存储设备到主板的接口。常见的有40针、34针。SATA：IDE/ATA的串行版本，目标是取代并行ATA技术SCSI：指并行SCSISAS：串行连接SCSIFC:FibreChannel,网状通道。一台只有最基本功能的8端口FC交换器起价就要30万元，使用者也必须具备FC协议相关知识才能有效管理Page25SCSISCSI：小型计算机系统接口。SCSI的演化SCSI和IDE的比较：SCSI占用CPU很小，性价比很低，适合多任务、传输大量数据的场合IDE占用CPU很大，性价比高，适合普通用户Page26SCSI通信模型SCSI通信模型：应用层（SAL）：包含了客户端和服务器的应用程序，通过SCSI应用程序协议发起和处理SCSI的I/O操作。传输协议层（STPL）：包含发起方和目标方进行通信的服务和协议。互联层：实现发起方和目标方之间的数据传输功能。互联层也被称作服务交互子系统，包含服务、信号机制和互联数据传输等。Page27SCSI指令模型比特字节765432100分组码，确定指令指定参数的长度（字节数）指令码，确定SCSI指令，如READ、WRITE1指令指定参数n-1n厂商指定保留NACA已废弃链接字段CDB结构操作码控制码Page28第六章信息存储与管理的介绍存储整合光纤通道（FC）结构FC协议栈FC端口FC寻址全球唯一名称分区FC拓扑Page29SAN组件SAN节点端口：全双工传输模式MMF：500m以内传输SMF：10km光纤铜缆：线缆互联设备存储阵列SAN管理软件用于短距离的后端连接集线器：交换机：控制器：节点共享带宽比集线器强大，节点有专用信道比交换机强大Page30FC连接FC互联方案点对点：FC仲裁环（FC-AL）：fabric（FC-SW）：最简单，两个设备直接相连，与SAN一样设备连到一个共享的环，争用信道fabric是一个虚拟空间，可通过交换机网络构建，作用是在源和目标之间进行帧的路由转发Page31FC协议栈FC-4高层协议FC-3未实现FC-2传输层FC-1传输协议FC-0物理接口定义了应用程序接口和高层协议（ULP）映射到底层FC协议层的方式。本层的协议包括：SCSI、HIPPI组帧协议、企业存储连接（ESCON）、ATM、IP等包含有效载荷、源和目的地址、链路控制信息提供光纤通道编址、结构和数据组织形式（帧、序列和交换）定义fabric服务、服务类、流量控制以及路由等定义了传输协议，包括串行编码和解码规则：将8位字符编码成10位字符，然后传输到目的地定义了物理接口、媒介（电气/光学）和原始比特的传输规则指定线缆、连接器等参数Page32FC端口N端口节点端口NL端口节点端口，支持仲裁环拓扑E端口扩展端口用于交换机之间的连接F端口fabric端口，用于连接N端口，不能用于FC-AL中FL端口fabric端口，可用于FC-AL，连接FC-AL环上的NL接口G端口通用端口，可用作E端口和F端口Page33FC地址－端口接入fabric时分配232221201918171615141312111098765432102322212019181716151413121110987654321023222120191817161514131211109876543210域ID分区ID端口IDN端口FC地址环IDAL-PAID未使用AL-PAIDＮＬ端口公共环ＮＬ端口私有环Page34FCSAN的演化孤立SANFC-AL互联SANFC交换Fabric企业SANFC交换FabricPage35第七章网络连接存储NAS设备远程文件共享NAS连接和协议NAS性能和可用性MTU和Jumbo帧Page36NAS设备通用服务器可运行任何应用程序NAS设备只用于提供文件服务NAS的优点：支持全面信息存取提高效率：将通用服务器从文件服务操作中解放出来增强灵活性：兼容Unix和Windows系统集中式存储：降低客户工作站的数据冗余管理简单化：提供一个集中化的控制平台，使文件管理更高效可扩展性：兼容不同的商业应用类型高可用性：提供高效的备份和恢复选项安全性：工业标准安全模式Page37NAS组件网络接口NFSCIFSNAS设备OS存储接口NAS头存储阵列NAS组件UNIXWindowsIPNFSCIFSPage38NAS文件共享协议NFS：基于UNIX，使用与机器无关的模型来描述用户数据使用远程过程调用（RPC）实现通信。支持以下操作：查找文件和目录；打开、读取、写入和关闭文件；修改文件属性；修改文件链接和目录。目前使用的NFS版本：NFSv2、NFSv3、NFSv4。CIFS：基于Windows，文件名用unicode字符集进行编码。确保数据完整性的措施：1、使用文件锁和记录锁，来避免用户覆盖另一个用户正在写的文件或记录；2、运行在TCP上；3、支持容错，可自动恢复连接，重新打开中断之前已经打开的文件。Page39NAS的IO操作IO过程：1、请求者将一个IO请求封装成TCP/IP报文，通过网络协议栈进行转发。NAS从网络上进行接收2、NAS设备将IO请求转换为块级IO请求，然后对物理存储池进行操作。3、当数据从物理存储池返回时，NAS设备对其进行处理并封装为相应的文件协议响应。4、NAS设备将这个响应封装为TCP/IP报文，通过网络转发给用户。应用程序操作系统IO重定向NFS/CIFSTCP/IP栈网络接口存储接口网络协议NAS操作系统NFS/CIFSTCP/IP栈网络接口①④②③IP网络客户端NAS设备存储阵列Page40在NAS上创建和共享文件操作1、创建存储阵列卷：在存储阵列上创建卷，为卷分配LUN，然后提交新创建的卷到NAS设备上；２、创建NAS卷：在NAS设备上进行探测工作，识别出新的阵列卷，并创建NAS卷（逻辑卷）。存储阵列上的多个卷可以合