XX银行netapp重删功能使用报告

XX银行NetAppFAS3240A数据重删功能使用报告1，NetApp重复数据删除（Deduplication）功能介绍：a)技术原理NetApp的重复数据删除（Deduplication）技术是一项存储空间节省技术，在NetApp所有企业级FAS存储系统，包括V系列产品中都可以免费使用这项功能。不像其他供应商的Dedup技术，NetApp允许用户在任何存储环境中使用该技术，包括生产应用环境与备份归档环境。这将帮助用户以更少的存储空间来存储更多数据。NetApp的Deduplication与应用无关，无论是文件存储、数据库、SAN访问方式或者NAS访问方式，Deduplication都能够找出相同数据块并予以合并。下图是Dedup工作原理的逻辑示意图。Dedup的工作流程大致如下：当在一个数据卷上启用Dedup之后，DataOntap仍然会以正常的方式保存新写入的数据块。系统为每个新数据块生成一个对应的指纹信息，用于与数据卷中其他数据块的指纹信息进行比对。如果发现两个数据块的指纹信息相同，则会对这两个数据块进行完全的字节比对，如果仍然相同，则DataOntap就会丢弃重复的数据块并且回收对应的存储空间。Dedup进程以以下三种方式之一运行：设定计划表，进程将按时启动运行；通过命令行手动运行；当累计有20％的新数据被写入到数据卷时，自动运行；b)技术特点：粒度细，在数据块级别；作为后台进程操作，并可配置成自动运行，手动运行或计划表运行多种方式；对应用透明，可用于数据中心的各个层面；可以对卷中已有的数据进行重复删除操作；FAS全系列支持；对于不同的应用环境，节省的空间比可能达到20:1甚至更高;支持双控制器cluster结构；下图是NetApp重删技术在不同应用下的表现结果：c)技术优势：与存储协议无关Dedup对Flex数据卷中的数据块进行比对操作并删除重复数据，与通过何种存储协议写入数据无关，无论是FCP、NFS、CIFS、ISCSI的数据均可以。因此从Dedup的操作层面看，对应用完全透明。可直接用于生产环境FASDedup技术是DataOntap系统的一个软件特性，只要一个license即可激活使用（而且免费）。因此，可以方便地用于生产环境，当然也可以用于备份、归档等应用环境。特别是在服务器虚拟化等存储消耗型应用中，使用FASDedup可以节省大量存储成本和空间。性能损失最小NetApp的FASDedup技术与WAFL结构紧密集成，因此具有极高的效率。不需要复杂的哈希算法和数据表查询，相反Dedup能够利用到WAFL自身的数据结构特性来生成和比对指纹信息，重定向数据块指针，以及释放冗余数据块空间，因此将对性能的影响减至最小。与SnapMirror结合，减少WAN流量Dedup可以与SnapMirror结合，将Dedup数据卷的数据SnapMirror到远端FAS存储。由于数据在源端已经Dedup过，通过网络传输的数据量将大大减少，从而进一步降低WAN带宽的需求，节省成本并且能够实现更好的RPO。2，XXFAS3240A环境及使用效果报告：FAS3240A除了提供SnapMirror的目标端存储功能以外，还为深圳机房的部分ESX服务器提供存储空间。FAS3240A上有三个卷——SYS_A1、DATA_A1、SWAP_A1，分别存放ESXi宿主机的操作系统、数据和交换数据，以NFS方式提供服务；因为SYS_A1卷存放的是虚拟机的操作系统，会有大量的重复数据，所以我们目前仅开启了SYS_A1卷上的重删功能。通过系统命令，可以查看到重删功能为存储系统带来的收益：FAS3240A1df-sSYS_A1Filesystemusedsaved%saved/vol/SYS_A111854066420302253663%根据前文图片，可以看到这一结果，和NetApp官方数据的70%也是比较接近的。根据使用效果来看，启动重删并不会对系统的性能造成影响，也不影响前端业务运行，对节省存储空间有很大好处，因此推荐用户在其他数据卷上也开启这一功能。