减少ZFS文件系统ARC缓存的方法

减少ZFS文件系统ARC缓存的方法长园深瑞继保自动化有限公司第1页减少ZFS文件系统ARC缓存的方法编写：易柯楠201412081.ARC缓存简介ZFS文件系统是Solaris11系统的默认文件系统，ZFS文件系统简介可见附录。ZFS使用在内存中建立缓存的方式来提升性能，这种做法在海量数据时尤为有效。ZFS的缓存使用ARC（AdjustableReplacementCache）算法，它是基于IBM的Megiddo和Modha提出的ARC淘汰算法演化而来的。所以这个缓存通常被称为ARC缓存。Solaris系统中有两个内核参数来限制ARC缓存的大小：zfs_arc_min：确定ARC缓存的最小大小，设置单位为字节。默认64MB。zfs_arc_max：确定ARC缓存的最大大小，设置单位为字节。默认在内存少于4GB的系统上为物理内存的75%，在内存大于4GB的系统上为物理内存减去1GB。这两个内核参数都是使用容量单位来设定的，并不能根据物理内存的大小来自动调节，所以在Solaris11.2系统上增加了一个内核参数，使用百分比来设定：user_reserve_hint_pct：设置留给应用程序的物理内存百分比。查阅Oracle官方文档，并没有给出详细的说明，经试验，默认值应为0，且zfs_arc_min、zfs_arc_max参数依然有效，即user_reserve_hint_pct参数确定的ARC缓存占用量低于zfs_arc_min时，取zfs_arc_min的容量；高于zfs_arc_max时，取zfs_arc_max的容量。该参数在Solaris11.2之前的系统中不存在。2.内存占用情况及产生的问题使用以下命令可以查看内存使用明细：echo“::memstat”|mdb-k在一台16GB的机器上，进行大量IO操作后（充分建立缓存），运行以上命令，如下图：长园深瑞继保自动化有限公司第2页可以看到“ZFSFileData”一项占据了8.1GB之多，使用51%的物理内存。ARC缓存是弹性的，其设计思想是尽量多地使用空闲内存来加速（其实WindowsVista之后的版本也使用类似的思想），当有程序申请内存时，释放ARC缓存来满足程序的需求。这样的机制看上去没有什么问题，而且在大型机及海量数据的情况下的确是一个很好的解决方案。但是这都是为高性能机器准备的，在我们公司使用的四路、两路服务器上也没什么问题，但是到了E32这类低成本方案的机器（4GB内存，奔腾CPU，性能不及我们的笔记本）上就可能导致内存不足。原因是：应用程序申请较大内存时，ARC缓存来不及释放，导致应用程序申请内存失败而出现错误。如果是Oracle数据库申请内存失败，则会导致数据库退出；如果是系统核心进程申请内存失败，则会导致系统重启或卡死。3.建议的配置方法通常，仅需在4GB内存的低成本机器上进行配置。上文已经讲了相应的内核参数，所以在不同的系统上可以进行不同的设置，以下方法均已验证有效。3.1.Solaris11.2之前的版本（比如Solaris11.0）通过设置zfs_arc_max内核参数来限制ARC缓存使用量，修改/etc/system文件，在最后加入新的一行，内容如下：setzfs:zfs_arc_max=100000000含义是将ARC缓存的最大内存使用量限制在100MB（数字不是很精确）。4GB内存的机器建议使用这个限制值，其他内存的机器可以不设置，或放宽到数百兆，或几GB，视自己需求。3.2.Solaris11.2Solaris11.2提供了user_reserve_hint_pct内核参数，这是一个更好的方法。也是修改/etc/system文件，在最后加入新的一样，内容如下：setuser_reserve_hint_pct=80含义是将80%的物理内存留给程序，因为是百分比，所以在不同内存的机器上都可以这么设置。3.3.验证可以使用kstat-mzfs命令查看c_max属性的值，即zfs_arc_max，但此命令无法查看user_reserve_hint_pct内核参数的作用。最直接的验证方法为进行大IO操作（比如复制一个大文件），然后使用上文的echo“::memstat”|mdb–k命令查看“ZFSFileData”的内存使用量。4.附录4.1.ZFS文件系统简介ZFS文件系统的英文名称为ZettabyteFileSystem，是第一个128位文件系统，可以说是当前最长园深瑞继保自动化有限公司第3页先进的文件系统，在文件系统的发展史上具有划时代意义。ZFS最初是由Sun公司为Solaris操作系统开发的文件系统，之后Sun公司开放了其源代码，鉴于ZFS的优异特性，它已经被迁移至FreeBSD、NetBSD、MacOS等Unix系统，以及众多的Linux发行版本。简要来说，ZFS的先进性表现在：支持ZB级的超大容量。一个存储池支持256ZB，最大支持2^64个存储池。这也是为什么叫“ZFS”的原因。跨越了物理存储设备。在ZFS之前的文件系统都是被禁锢在物理设备之中的，而ZFS划时代地使用“存储池”的概念来管理物理存储空间。一个存储池最大可以拥有2^64个卷（比如硬盘）。使用一种写时拷贝事务模型技术以及完备的校验和技术，支持自优化，自动校验数据完整性。Sun甚至没有为ZFS提供文件系统检查工具，因为不需要。RAID-Z技术，文件系统即可组成RAID。极强的伸缩性，易于管理。优秀的性能，较ext3文件系统约有30%-40%的提升。