StorageFoundation方案

VERITAS方案——VERITASStorageFoundation™技术概述2002年8月目录简介概述：商业级别的存储需求存储管理技术VERITAS软件产品系列基于主机的存储管理特性简介主机运用的存储管理软件和控制器分区简介细分数量的限制动态的和静态的细分管理扩张和串联镜像和转接简介读取原则镜像数量的限制局部镜像再次同步条化(RAID0)简介分界指导条带存储对象扩充条带对象扩充条带与镜像相结合简介镜像化条带条化镜像RAID5选择一个合适的RAID结构多路径存储DMP的好处磁盘管理特性简介磁盘辨识磁盘组/集数据库配置自动分区和显式分区一致性校验和？？系统磁盘重新分区并发访问控制磁盘替换热备用和热再分配简介热备用选择在线磁盘管理特性性能分析简介命令行实用工具图形化性能分析在线再分配（Relocation）FILESystem特性简介日志（Journaling）简介日志的定位（LocationofJournal）同步数据的写入（LoggingofSynchronousData）块分配（BlockAllocation）简介基于范围分配VS基于块的分配Inode与目录的优化处理简介哈希目录直接目标（ImmediateObjects）缓冲存储报告（CacheAdvisories）简介数据－同步输入/输出（Data-SynchronousI/O）直接输入/输出（DirectI/O）被发现的直接输入/输出（DiscoveredDirectI/O）分配报告（AllocationAdvisories）配额（Quotas）安全性和完整性数据块初始化Sync-on-close错误限制在线文件系统管理特性简介稳定的备份支持简介镜像vs.锁定vs.快照vs.检查点使用检查点进行用户驱动的文件恢复使用检查点进行只读克隆在线调整容量在线磁盘清理用户界面介绍配置文件介绍新配置修改配置命令行界面——高级操作命令行界面——一步式操作菜单界面图形界面介绍管理环境出错消息操作分类图形比喻总结附录一、简介现在，保持系统和数据持续可用的需求更胜以往，同时，IT部门只能利用更有限资源管理日益复杂的环境，如何充分利用对硬件的投资也给我们带来了更大的压力。随着更多业务关键商业应用系统的商品化，以及向开放平台（特别是UNIX,MicrosoftWindows和它们的派生产品）的迁移，这些系统的处理能力和I/O性能之间的不平衡越来越明显。因此有必要增强拥有硬件阵列的开放系统的I/O性能，加强基于主机的存储管理。另外，有效管理关键业务开放系统中的文件和目录结构要求提高恢复速度，改善传统UNIX文件系统的I/O性能。虽然可靠性和性能的增强减少了计划外停机，增强了开放系统的I/O性能（profile），但是并不能充分地改善系统和数据访问的可用性。系统管理人员的调查表明，在实际的开放系统中，绝大多数的停机（通常表现为无法访问系统、软件和数据）并不是无法预料的灾难恢复，而是定期的维护，如数据的恢复、转移和备份。为了简化系统管理员执行的任务，也有必要安排停机，以便在最短的停机时间内完成这些管理任务。VERITAS软件公司能为其客户提供一个存储套件，包括一个存储管理产品、VERITAS卷管理器（VERITASVolumeManager）和商业化的VERITAS文件系统（VERITASFileSystem）。二、概述：商业级别的存储需求大多数典型关键业务数据管理系统（DBMS）都是大型在线数据库，管理员要保证这些数据库和在线事务处理（OLTP）系统中的数据的高可用性，或者接近99.999%可用，并且还要保证高性能的数据存取能力。计划内的停机主要是日常管理任务造成的，而计划外的停机是由于硬件和软件的故障造成的，因此必须尽量排除。依靠管理资源来满足数据可用性的需求是不可能的，只有采用连贯且完整的在线存储管理程序才能解决这个问题。因为DBMS和OLTP软件需要一个默认的操作系统环境，所以无论是运行/管理环境上还是性能上的强化，都需要在应用系统和中间件以上的层面表现出来。无论怎样，存储管理程序都可以提高DBMS/OLTP环境的性能特征。使用该程序可以达到以下几个目的：增加可用性通过提供冗余，在存储介质出现故障时保持可用性；由于它允许在线稳定备份，在线文件系统磁盘碎片整理，在线数据恢复、转移和相关的任务，因此减少了日常系统维修，增强了可用性；通过加速恢复过程，可以在系统出现故障或重起后增强可用性。提高性能通过磁盘池的负载均衡增强性能；通过使用监控和在线的重新配置优化性能和有效性；通过智能缓冲算法增强性能。提高管理效率在复杂的、多产商的环境下，通过一个通用的界面来简化管理任务，提高生产效力。与DBMS/OLTP软件的集成在不影响裸磁盘性能的条件下，扩展了DBMS存储的文件系统管理性能；增强DBMS的恢复功能；可以通过Oracle磁盘管理器（ODM）之类的应用程序界面（API）进行高级的集成。另外，在线的存储管理方案还可以为未来的需求提供支持，如集群、高可用性的程序管理、用于灾难恢复的远程在线冗余，多媒体存储和多操作系统的整合。通常情况下，只有某些具备单一功能的产品分别满足这些存储管理需求的细节。IT部门迫切需要一种用来管理服务器存储的综合性软件，来满足当前和未来的存储需求。三、存储管理技术1．VERITAS软件产品系列VERITASStorageFoundation提供异构环境下的磁盘和文件解决方案，它用来满足商业级别的存储需求。VERITASFoundationSuite由VERITAS卷管理器（VERITASVolumeManager）和VERITAS文件系统（VERITASFileSystem）两部分组成。卷管理器（VolumeManager）是一个磁盘管理产品，使用它可以避免磁盘分区。它实现了主机级别的存储，让操作系统跨越了磁盘空间、性能和可靠性上的局限，它结合RAID0（条化），RAID1（镜像），RAID0+1（条化镜像），RAID1+0（镜像条化）和RAID5（奇偶分布式条化）等多种方式。卷管理器（VolumeManager）可以用于在线空间分配和结构管理，错误处理，技术性能分析和操作追踪，让管理员能够确保存储资源的应用达到最优化。卷管理器（VolumeManager）还可以用来增强文件系统服务的功能，包括网络文件系统（NFS）和在线DBMS引擎（包括Oracle，Sybase和Informix）。它是一个整合物，类似于一对可承载的设备驱动程序、一个库或一个应用程序集，不需要替换任何标准的操作系统组件。文件系统（FileSystem）是一个基于范围（extent-based）的日志式文件系统。它的日志或有目的的日志可以加速系统故障的恢复，并增强NFS和DBMS应用程序的性能。该文件系统的存储规划采用了连续分配的块集或范围（extent）。通过优化应用程序对物理I/O的读写请求，并减少访问数据所需要的索引的数量，这种规划改善了性能。另外，它整合了在线应用程序的功能，允许执行常见的管理任务，如时间点备份、碎片整理和恢复，并且不会降低数据的可用性。VERITASDatabaseEdition™是一个由文件系统提供的机制的合并体。它可以在保证性能的条件下，让DBMS应用程序在文件系统上运行，同时通过文件系统命名空间来简化管理任务。DatabaseEdition™forOracle将数据库和操作环境紧密结合起来，它集成了ODM，充分提升了性能和管理性。它是一个可安装的文件系统，采用了标准的虚拟文件系统接口和命令替换机制，可以提供所有标准的文件系统而不用替换标准的软件。它还包含了几个在其他文件系统中找不到的应用程序类型，以便管理范围（extent）规划并提供在线的管理功能。两种产品都可以用VolumeManager自带的VERITASVolumeManagerStorageAdministrator™来管理。这种图形化的工具具备图标、菜单、表单和拖拽等操作方式，提供了可视化的磁盘管理，方便配置和管理VolumeManager和FileSystem。目前已经有40多个电脑制造商提供StorageFoundation产品。四、基于主机的存储管理特征1．简介为了在那些商用磁盘（如SCSI和IDE驱动器）和系统接口（如ISA，EISA，Sbus和PCI）上满足商业级存储性能和大型机磁盘子系统的可靠性要求，开发了将多种磁盘整合成单一的存储对象的技术，这些技术常用来构建RAID。伯克利的加利福尼亚大学的Pattersonetal.在他的论文中提出了好几种RAID结构（通常被称为RAID级别，但是严格来说不同级别见没有表现出层次高或低的关系）。RAID除了以奇偶计算来提供冗余的级别2到5，另外两个磁盘结构逆向标记了RAID。条带化、或在没有附加冗余的磁盘上交叉存取数据，被标记为0级别的RAID；镜像，也就是维持所有多余的数据副本，被标记为1级别的RAID。（RAID级别通常简写为RAIDx，如，5级别的RAID被简写为RAID5。）这种RAID结构以及它们的相关价值将在以下内容中详细的讨论。需要指明的是，并不是所有的RAID级别都在本文讨论的范围之内，比如RAIDS在本文中就不涉及。2．主机上的存储管理软件和阵列控制器通常情况下，使用主机的I/O总线上或独立机柜上的硬件阵列来提高可靠性和性能，它也可以为基于主机的软件提供相同的功能。（硬件阵列的详细比较不在本文论述的范围内，请参阅“ComplementingHardwareRAID”一文）一般来说，基于主机的存储管理可以让管理变得更轻松，让配置变得更灵活。例如，它使在不同磁盘设备上构建存储对象成为可能，可以为同一种设备上的不同数据提供不同级别的可靠性和性能（基于应用需求），还可以使用混合镜像、条带化存储和奇偶校验RAID。基于主机的存储管理允许使用普通商用的控制器和磁盘，可以更简单地达到最理想的性价比。另外，多样的控制器或存储子系统常用来增加和平衡性能，而这是采用单一的控制器整合入系统的方案不可能解决的。同时，配置基于主机的存储对象一般比硬件阵列要容易。硬件阵列的配置通常需要使用专门的应用程序，这就需要脱离阵列或整个系统的运行模式。基于主机的存储管理配置（更常见是重新配置）可以在系统可用时候进行，并且可以连续在多个主机上完成。与基于主机的方案相比，硬件阵列方案具有一些性能优势。一般来说，在主机和控制器间传输的数据比在主机系统内传输的要少。例如，如果需要多次写下数据的副本，数组控制器只需要主机上的一个副本。这就缓解了系统存储总线的传输压力（当然也就增加了可用的带宽）。对于基于机柜（enclosure）的控制器，在外围连接（比较典型的是SCSI总线或光纤通道）上传输的数据数量也相应减少了。硬件阵列还减少了为了实现奇偶校验冗余技术所需要的处理要求。基于主机的存储管理软件必须使用主机的处理器来计算奇偶校验，可能会给数据传输带来一些额外的负荷。基于主机的存储管理功能可以用来补充硬件阵列的特征。例如，硬件阵列条带可以提供控制器之间或子系统之间的镜像，减少由于控制器的故障带来无法访问数据的可能性。分区，磁盘和磁盘组的管理，以及基于主机的存储管理的性能分析功能也可以简化具备硬件阵列的系统的管理。以下将研究常见的磁盘数组功能以及VERITAS卷管理器（VERITASVolumeManager）如何实施开发这些功能。3．分区（1）简介UNIX操作系统允许管理员对磁盘进行分区以达到不同的目的，包括操作系统文件、用户文件、数据库和虚拟内存空间。基于主机的存储管理可用来补充这种分区模式，并且使用它来建立更加复杂的存储对象。（2）分区数量的限制Solaris磁盘分区模式允许分成8个区。其中一个分区被定义为备份区，映射驱动器上所有可用的扇区，另外7个区可根据不同的需要来定义。卷管理器（VolumeManager）使用两个区来访问磁盘；他们通常隐藏于正常的管理行为之中。其中一个是每个磁盘上都会有的私有区域，包括卷管理器（VolumeManager）的标识和