存储基本知识介绍 通俗进阶版

浙江宇视科技有限公司存储是什么？————存储基础学习StepbyStep日期：密级：对内公开2目录认识存储01存储控制器与RAID02网络存储概念03几点技术043认识存储当我们想到存储……磁带光盘软盘U盘移动硬盘存储卡硬盘4认识存储那么，让我们来看看我们平时怎么使用存储————一段场景:以笔记本使用移动硬盘的过程为例:插上移动硬盘的USB线（画面暂停，线路闪烁，出现文字：连接，笔记本屏幕显示：“找到新硬件”、“安装驱动”、“硬件可以使用”随后打开我的电脑，看到新增加的“D盘”。此时，鼠标点击D盘，屏幕弹出“未格式化，无法访问”5格式化是什么意思？为什么需要做完格式化才能使用硬盘？解释：每个操作系统都会支持一个或多个文件系统。不同的文件系统要求数据按不同的格式进行组织和存取。格式化就是选择一种文件系统格式，对硬盘进行划分和组织。这样，操作系统就能根据硬盘的文件系统格式对硬盘进行数据存取了。没有用文件系统格式化的硬盘，我们称为“裸硬盘”或“裸设备”。认识存储6认识存储“在了解文件系统之前，让我们先来看看硬盘是什么怎么存放数据的”硬盘的Sector、Byte、Bit树形结构。每个Sector（扇区）是512个字节，硬盘就是以sector为单位进行数据的存取。一块普通的40GB硬盘，一共有近8千万个这样的sector，硬盘就像一个巨大的图书馆，每个Sector就是一个书架，每一个bit就是一本书。“我们仍然可以用图书馆来做类比。如果我们在存放图书的时候，既不登记，也不标记，就随便往一个书架上一扔，其结果肯定是在需要取这本书的时候根本无法找到”所以，图书馆一个最主要的职能就是编目、分类和索引，对书架位置、书架类别进行编排，对存入图书馆的每一本书进行登记，建立索引。这样在我们取书的时候，根据书的编号就可以很快找出我们需要的书。编目7文件系统就是相当于一个图书馆的管理系统，硬盘就是存放书的书库。而格式化的过程，就是按照管理系统的要求，对书库进行编号、分类、建立索引的过程。当然，不同的文件系统就像不同国家的图书馆，编号、分类和建立索引的方法是不一样的。所以，我们一定要在使用硬盘之前，选择一种特定的文件系统格式来对硬盘进行“格式化”认识存储8认识存储我们来看一个文件“我爱北京天安门.txt”写入文件系统的过程。。。文件分区表数据区我爱北京天安门.txt文件地址分配文件地址写入数据9认识存储我们再来看从文件系统读取文件“我爱北京天安门.txt”的过程。。。文件分区表数据区我爱北京天安门.txt文件地址找到文件地址找到数据读取数据10刚才我们演示了一个简单的文件系统，也就是咱们windows常说的‘FAT32格式’。NTFS分区的存取方法比FAT32要复杂一些，但容量大、存取效率也比较高。(NTFS是新技术文件系统的缩写。微软推出NTFS文件系统就是为了弥补FAT文件系统的一些不足，其中最大的改进是容错性和安全性能。)了解了文件系统，我们可以来格式化这个硬盘啦。我们可以在windows下做一个实验，右键点硬盘，在菜单中选择“格式化”，在弹出的屏幕中选择“NTFS”格式，选择快速格式化，“快速格式化”就是不检查硬盘的磁道好坏，直接建立NTFS文件系统，所以速度较快。硬盘格式化完毕，尝试打开并拷贝、读出数据。好了，到现在，我们已经完成了一个“裸硬盘”变成一块可使用的存储空间的过程。认识存储11认识存储“让咱们来回顾一下使用的过程，做一个小结”咱们在使用这个硬盘时，有这么几个步骤：连接：使用一种接口标准（USB和USB转IDE接口）找到新硬件：操作系统扫描发现硬件（确定硬盘连接的位置和硬件地址）安装驱动程序：操作系统安装接口驱动程序`选择文件系统对硬盘进行组织划分（NTFS）实际上，不管是WindowsPC、Linux服务器还是IBM、SUN、HP的UNIX小型机，大家使用存储的基本过程都是一样的。Unix服务器的硬盘使用过程：连接：使用一种接口标准（SCSI、FC、SATA、SAS）找到新硬件：操作系统扫描发现硬件安装驱动程序：操作系统安装接口驱动程序格式化：选择文件系统格式对硬盘数据块进行组织划分（IBMAIX一般是JFS，SUNSolaris是UFS或VxFS，HP是HFS等）12认识存储“我们知道了计算机怎么使用硬盘，再来看看下面的几个小实验”“这是我们刚才用NTFS格式化了的硬盘，我们写一个‘我爱北京天安门.txt’到这个硬盘中。然后把设备中止，删除设备。这个时候Windows弹出对话框‘你可以安全地断开该设备了’”“为什么我们需要中止设备才能‘安全地断开设备’呢？”“这里需要给大家介绍一个重要的概念——文件系统的Buffer（缓存）机制”“文件系统为了能够快速响应操作系统的读写操作，并不需要每次写入数据时都是“真实”地写到硬盘上，而是内部设立了一个叫Buffer（缓存)的机制，取用内存或硬盘中的一些连续空间作为“缓存”，这样在硬盘写数据的时候，可以迅速地写到Buffer中，文件系统再适时将Buffer中的内容写到硬盘上去”。操作系统硬盘缓存写操作读操作写操作读操作Writeback与Writethrough13认识存储这就像图书馆并不是每次把读者的还书都直接送回书库，而是在接待台这里先办理完手续，等累积到一定数量，再成批送回书库。“Buffer机制是所有文件系统都普遍使用的一种提高文件系统性能的方法，但存在一种危险：即如果突然断电、或者存储突然断开连接，有可能Buffer中的数据就来不及写到硬盘上，导致一部分数据丢失，严重的甚至导致文件系统损坏，整个空间无法读写。大家都有系统死机或突然断电的经历，重新启动后Windows往往需要Checkdisk，这个Checkdisk就是在Buffer数据丢失后，文件系统自我修复的方法。这样，大家就很容易理解为什么断开U盘、外置硬盘这样的外置存储设备时，最好先“停用设备”，这个时候，文件系统实际上是自动在后台做了一个将buffer数据“刷”到硬盘上的操作，这样就保证了文件系统和数据文件的数据完整和正确。14目录认识存储01存储控制器与RAID02网络存储概念03几点技术0415存储控制器与RAID在存储设备中，存储控制器是一个非常重要的概念。在介绍“存储控制器”在存储系统中的功能之前，我们先简单介绍一下与存储控制器诞生紧密相关的另一个概念——RAID事实上，人们对数据安全和可靠性的关注，远远早于网络存储的诞生。早在xxxx年，即使人们仅仅在以DAS，甚至只是简单实用服务器内部的硬盘作为存储的时候，由于担心硬盘损坏导致的数据丢失，人们开发了一种叫做RAID的技术，英文全称是“RedundancyArrayofInexpensiveDisks”翻译为“廉价磁盘冗余阵列”。大家可能会想，一个技术里面怎么会出现“廉价”这样的字样？这是因为在此之前，有过其他一些非常昂贵的磁盘容错技术，但因其实现成本高昂，影响了技术的普及使用。人们在寻找一种不通过磁盘本身的昂贵改造，而是直接利用市场上的普通“廉价”硬盘，也能够提供不错的硬盘数据保护的方法。16存储控制器与RAID从根本上来说，RAID技术就是通过多块硬盘，以某种方式形成一定的数据冗余。这样，当一块或多块硬盘损坏时，数据还能够依靠这样的冗余保存下来，不至于丢失。大家可能都经常听说过RAID0、RAID1、RAID5，RAID10，偶尔听到RAID2、3、4甚至RAID6的应用。不同的RAID级别，就是不同的冗余方法。RAID0并不是一种真正的RAID技术，因为它并不提供数据冗余，只是一种把整块数据分成若干小块，分散在多块硬盘上保存的方法（这种方法叫Stripe，条带化），目的是在读写时可以同时读写多块硬盘，提高读写性能。RAID1就是用一块硬盘和另一块硬盘建立镜像关系，始终保持两块盘数据完全一致，这样当一块硬盘损坏后，数据仍然保留在另一块硬盘中。RAID10就是用一组盘做成RAID0后与另一组盘做镜像。RAID5的做法是在条带化的时候，同时将条带的奇偶校验结果写到另一个位置。这样，数据校验作为数据的冗余信息就被记录下来。如果一块硬盘损坏，可以通过其他硬盘上的校验信息“反算”出丢失部分的数据。其他RAID技术基本原理都比较接近，只是具体处理方法上有些差异。17举例:硬盘故障时数据读写过程Parity1part1Disk1数据位校验位Parity2part2Parity3part3Parity4part4Parity5part5一次写操作一次读操作Disk2Disk3Disk4Disk5读操作时，根据校验位Parity1----Parity4，按照算法可计算出Part5的值18举例:硬盘故障,RAID5重建过程Parity1part1Disk1数据位校验位Parity2part2Parity3part3Parity4part4Parity5part5Disk2Disk3Disk4Disk5Parity5part5根据Disk1—Disk4的校验位进行计算后重建Disk5的数据19存储控制器与RAIDRAID技术不仅带来了数据安全性的提高，还意外地带来了性能的提高，因为“条带化”使得数据的读写可以同时对多块盘进行，大大提高了数据的读写效率。由于RAID技术很好地在成本、安全性、性能各方面取得了很好的平衡，推出之后迅速成为了业界标准，并成为存储设备的基础技术。因为RAID需要在读写数据时进行计算（尤其是RAID5），尤其当硬盘损坏时，计算工作量更加巨大。因此，虽然大部分主机操作系统也提供软件的RAID功能（比如WindowsNT/2000/2003Server），但为了不占用宝贵的主机CPU计算资源，往往都是通过在存储端设计专用于RAID计算的功能模块，这就使存储控制器的最初来源。到今天仍然有很多人把它称之为RAID控制器。20LUN(卷)在硬盘都采用RAID方式管理之后，控制器的另一个作用就是将RAID组“虚拟”成一块逻辑硬盘提供给主机，这样，主机就不需要关心硬盘RAID的细节，只要把这块逻辑硬盘当成一块普通硬盘进行读写，数据就得到了RAID保护，同时也提高了性能。当然，由于RAID组是把多块硬盘组合成一个组，形成了一个很大的容量。在实际管理中，往往并不是一个RAID组提供成为一块硬盘。存储控制器提供了将一个RAID组任意切分成不同大小分配给主机是用的功能。这些在RAID组上切出来分配给主机的空间，我们一般称之为LUN(LogicalUNit），中文一般也称之为“卷”。从主机的角度来看，分配给自己的LUN，实际就是完全把它当成一块硬盘。21LUN的切割分配和主机端操作Disk1Disk2Disk3Disk4对四块磁盘做RaidRAID服务器1服务器2服务器3LUN1LUN2LUN2SAN22存储控制器的功能RAID组管理、LUN的划分是一个存储控制器最基本的功能。除此之外，存储控制器还有几个非常重要的功能：1、配置1个或多个连接端口，提供足够的前端服务器访问带宽支持。2、因为主机的I/O速度，一般要快于后端硬盘的读写速度。同时优化读写过程，将前端不同大小的I/O数据块批量写到硬盘。需要在存储控制器中设置缓存(Cache）来进行I/O流量的调节，达到性能优化的目的。3、随着网络存储的发展，今天的存储控制器的功能越来越丰富，针对各种应用需要，很多产品增加了象“数据快照”、“远程复制”等多种多样的功能。23目录认识存储01存储控制器与RAID02网络存储概念03几点技术0424什么是网络存储？我们已经了解了计算机使用硬盘过程、文件系统、文件系统的Buffer机制、RAID、LUN、存储控制器等概念。现在咱们进入一个奇妙的世界——网络存储。在介绍网络存储之前，咱们再做两个小实验，对象仍然是咱们前面写了“我爱北京天安门.txt”的这块硬盘。实验1、这个时候，另一台笔记本想要读取这个文件。我们把移动硬盘重新连接到这一台笔记本上，我们再次看到“发现硬件”、“安装驱动”这个熟悉的过程。这个时候，“我的电脑”里出现了D盘。我们再去尝试用鼠标点击这个硬盘。提醒一下大家，上一次