存储基础培训

Infortrend存储基础知识培训——磁盘阵列Infortrend广州办事处什么是磁盘阵列•磁盘阵列简称RAID(RedundantArraysofInexpensiveDisks)，是由很多便宜、容量较小、稳定性较高、速度较慢磁盘，组合成一个大型的磁盘组，利用个别磁盘提供数据所产生的加成效果来提升整个磁盘系统的效能。•磁盘阵列柜就是装配了众多硬盘的外置的RAID(简称阵列、盘柜、磁盘阵列)磁盘阵列发展1——内部存储ServerHDDRAIDCard磁盘阵列发展2——外部存储(JBOD)ServerRAIDCardHDDJBOD磁盘阵列发展3——模块化存储(双控)ServerHBA卡ServerHBA卡HDD控制器AStorage控制器B磁盘阵列发展4——多处理器(Scaleup)HDD控制器AStorage控制器B控制器n……ServerHBA卡ServerHBA卡ServerHBA卡……HDDJBODHDDJBOD……虚拟化磁盘阵列发展5——虚拟化(Scaleout)ServerHBA卡ServerHBA卡HDD控制器AStorage控制器BHDDJBOD……HDD控制器AStorage控制器BHDDJBOD……HDD控制器AStorage控制器BHDDJBOD…………ServerHBA卡……ServerHBA卡常见磁盘阵列系统FANFANFAN*PSUDrivePlaneDiskDrivesPSURAID磁盘阵列系统装置—前视图磁盘阵列系统装置—后视图磁盘阵列系统装置—背板阵列控制器内部结构BlockDiagramServer/ServersorSwitch/SwitchesorZonesononeSwitchRAIDControllerBDrive-PlaneRCCCOMInfortrendASIC400RAID64GFCSASSASDriveChannelsHostChannelsPCI-X#1SATAPCI-X#2RAIDControllerACH0CH1PowerPCCPUCACHEMEMORYPCI-X#3RedundantFansRedundantPSUsInfortrendASIC400RAID64GFCSASSASDriveChannelsHostChannelsPCI-X#1SATAPCI-X#2CH0CH1PowerPCCPUCACHEMEMORYPCI-X#3阵列控制器外部结构iSCSI主机控制器面板光纤主机控制器面板SAS主机控制器面板Infortrend控制器缓存保护技术CBM(缓存备份模块)•BBU+Flash备份模块•CacheSafe技术–Cachesafe技术可在突然断电的情况下将缓存中数据永久保存在FlashSSD中，不受传统的72小时保护机制限制.典型中端磁盘阵列扩展数据存储架构DASNASSANDAS(DirectAttachedStorage)•存储设备直接连接到服务器；•传统的、最常见的连接方式，容易理解、规划和实施；•没有独立操作系统，不能提供跨平台的文件共享，各平台下数据需分别存储；•各DAS系统之间没有连接，数据只能分散管理；备份软件不能离开服务器支持；DAS的前期投资比较少；文件服务器存储设备应用服务器存储设备数据库服务器存储设备LAN数据流数据流数据流NAS(NetworkAttachedStorage)•NAS本身装有独立的OS，通过网络协议可以实现完全跨平台共享，支持WinNT、Linux、Unix等系统共享同一存储分区；NAS可以实现集中数据管理；一般集成本地备份软件，可以实现无服务器备份功能；NAS系统的前期投入相对较高。•NAS内每个应用服务器通过网络共享协议（如：NFS、CIFS）使用同一个文件管理系统；NAS关注应用、用户和文件以及它们共享的数据；磁盘I/O会占用业务网络带宽。文件服务器应用服务器NAS存储设备LAN数据流数据流SAN(StorageAreaNetwork)•SAN是独立出一个数据存储网络，网络内部的数据传输率很快，但操作系统仍停留在服务器端，用户不直接访问SAN的网络；SAN关注磁盘、磁带以及联接它们的可靠的基础结构；•高可用性，高性能的专用存储网络，用于安全的连接服务器和存储设备并具备灵活性和可扩展性；SAN对于数据库环境、数据备份和恢复存在巨大的优势；SAN是一种非常安全的，快速传输、存储、保护、共享和恢复数据的方法。文件服务器应用服务器存储设备LAN数据流SAN存储设备存储设备数据流存储网络的三种形态比较DASNASSAN传输类型SCSI、FCIPIP、FC、SAS数据类型数据块文件数据块典型应用任何文件服务器数据库应用优点磁盘与服务器分离，便于统一管理不占用应用服务器资源广泛支持操作系统扩展较容易即插即用，安装简单方便高扩展性高可用性数据集中，易管理缺点连接距离短数据分散，共享困难存储空间利用率不高扩展性有限不适合存储量大的块级应用数据备份及恢复占用网络带宽相比NAS成本较高安装和升级比NAS复杂存储架构适用分类SAN:•提供可用性、可管理性和扩展性目标应用:•数据库/ERP/OLTP•灾难恢复•数据仓储NAS:•易于安装和管理，低价位,目标应用:•文件服务器集中/更换•PDM/CAD•文件共享DAS:只适用于小型商务多路径冗余路径管理软件能够解决哪些问题？•避免存储链路单点故障•保证在磁盘阵列控制器切换时数据访问的不间断•多链路负载均衡提升存储系统访问性能交换机磁盘阵列控制器1控制器2HBA01HBA02主机A主机BFC交换机FC交换机HACMPPPIBMDS4700InfortrendF16F-R4031IBMAIXIBMAIX岳麓区财政局信息化建设第一期PPFC交换机FC交换机千兆以太网HACMP乡财1乡财2SQLDB公务卡财补InfortrendS16F-R4031DAABCBCDEEFFPABCDEFPPP工作站工作站扩展……扩展……SSSOOO集群NASABCDEFPIBMDS4700（利旧）岳麓区财政局信息化建设第二期InfortrendS16F-R4031InfortrendS16S-J1000R数据存储需求挖掘？广州原创动力数据集中存储、管理一体化解决方案数据分层与数据分级？备份/恢复技术•备份（Backup）•收集数据存储在非易失性的存储介质上（通常为可移动的介质），万一当原先的数据丢失或不能访问时，可以用来进行恢复。•备份就是创建备份副本的操作,应用和用户不能直接访问备份副本。•备份方式：LAN备份、LANFree备份、ServerFree备份。什么是备份？文件服务器数据库服务器备份服务器磁带库磁带RTO(恢复时间目标)—在业务中断后的某一个时间点，业务的进程或应用服务必须恢复，确保业务正常进行（你能接受多长的宕机时间）RPO(恢复点目标)—在已确定的RTO内，应用数据或文件系统信息必须恢复到某一个时间顺序点(你能接受丢失多少数据）什么是RTO/RPO？数据保护时间轴Failure出错时刻12hrs12hrs12hrs12hrs12hrs12hrsRecoveryPointObjectiveBUBURecoveryTimeObjectiveRecover全备份...........全备份全备份是在某一个时间点上所有数据的一个完全拷贝Fullbackup（全备份）备份类型-全备全备份...........增量全备份增量备份即对上次备份以后的最新变化数据的备份IncrementalBackups（增量备份）备份类型-增量全备份差分全备份差分备份即对上一次全备份以后的所有变化数据的备份...........DifferentialBackups（差分备份）备份类型-差分合成全备份合成全备份：将增量备份或差异备份合成一份全备文件LAN环境下数据流走向ApplicationServerLANRAIDorJBODTapeLibraryBackupServerLAN－free备份数据流的走向LocalAreaNetworkMetadataReadWriteBackupServerBackupClientServer－free数据流走向DiskFibreChannelLocalAreaNetworkTapeStorageAreaNetwork产品背景：存储介质售价一直都在不停下降，却远远赶不上数据保存和备份的数据量的攀升速度，在这种环境下重复删除技术应运而生。重复数据删除是一种数据缩减技术，通常用在基于磁盘的备份系统，目的是为了减少存储系统中使用的存储容量。采用“重复删除”技术可以将存储的数据缩减为原来的1/15，从而让出更多的备份空间，不仅可以使磁盘上的备份数据保存更长的时间，而且还可以节约离线存储时所需的大量的带宽。用更少的空间存更多的数据。重复数据删除依据数据处理方式的不同，分为以下两种：其一是在线处理（Inline），DataDomain就是这一技术的代表厂商，这一方式中，数据在读进来之后，在存到磁盘之前就已经进行了重复数据删除；其二是以昆腾作为代表的后处理（Post-processing），采用这一方式的话，数据在存到磁盘上后，才会进行重复数据删除，在存到磁盘前，数据没有减少。重复数据删除的处理方式•快照（Snapshot）•为指定的数据集创建一个完全可用的数据副本，它包含了副本在创建时刻（时间点）的数据映像•快照实现方法：–存储嵌入式快照：快照软件运行在网上的存储设备中–基于主机的快照：快照软件运行在服务器中，通常驻留在操作系统级别的逻辑卷中快照FileServerDatabaseServerBackupServersTapeLibraryTapesContinuousDataProtection持续数据保护是一套方法，CDP可以捕获或跟踪数据的变化，并将其独立存放在生产数据之外，以确保数据可以恢复到过去的任意时间点。持续数据保护系统可以基于块、文件或应用实现，可以为恢复对象提供足够细的恢复粒度，实现几乎无限多的恢复时间点。”从数据保护时间上分为：CDP技术分为真CDP（TrueCDP）和准CDP（NearCDP）两类CDP技术简述备份、快照、复制、CDP源文件归档后的文件归档过程移动,校验Archive(归档)将相对不重要的数据转移到速度较慢并且价格便宜的存储介质上，是一种最原始却最为有效的节约成本的方式。数据归档集成了数据迁移、管理、收集、保存以及介质管理等功能，主要用于长久保存数据和文件以备日后查询取用。数据备份手段一硬件级备份硬件级的备份是指用冗余的硬件来保证系统的连续运行。比如磁盘镜像，双机容错等方式。如果主硬件损坏，后备硬件马上能够接替其工作，这种方式可以有效地防止硬件故障，但无法防止数据的逻辑损坏当逻辑损坏发生时，硬件备份只会将错误复制一遍，无法真正保护数据。硬件备份的作用实际上是保证系统在出现故障时能够连续运行，更应称为硬件容错数据备份手段二软件级备份软件级的备份是指通过备份软件将数据保存到其他介质上，当出现错误时可以将系统恢复到备份时的状态。由于这种备份是由软件来完成的，所以称为软件备份。用这种方法备份和恢复都要花费一定时间。但这种方法可以完全防止逻辑损坏，因为备份介质和计算机系统是分开的，错误不会复写到介质上。这就意味着，只要保存足够长时间的历史数据，就能够恢复正确的数据。数据备份手段三人工手动备份人工级的备份最为原始，也最简单的备份。但如果要用手工方式从头恢复所有数据，耗费的时间恐怕会令人难以忍受。备份需求挖掘？集群基础什么是集群技术？所谓集群就是为客户机提供资源的一组计算机系统，常见集群技术一般包括三类：•高可用集群（以减少服务器中断时间为目的的集群技术）•高性能计算集群（以提高科学计算能力为目的的计算机集群技术）•高扩展集群（带负载均衡策略的服务器群集）服务器Aactive服务器Bstandby心跳连接公用网络应用A磁盘阵列客户端PC集群技术：至少将两个系统连接到一起，使两个或者以上的服务器能够像一台机器那样工作或者看起来好像一台机器。例如，一个有两台服务器生成