集群存储技术与产品v4

TJ集群存储系统2010年01月突破性能瓶颈超越容量极限2目录TJ集群存储系统关键技术1竞争对比233解决方案及应用案例介绍3传统存储技术的特点TJ集群存储系统关键技术和优势1、TJ集群存储系统关键技术存储发展趋势1文件大小传统数据类型E-mail数据库5KBxMB非结构化数据照片地图4MB300MB研究数据60GB音乐10MB视频50MB文档25KB非结构化数据爆炸性增长，数据量GB级到TB、甚至PB级的转变存储发展趋势2Â计算技术的变迁集群计算技术发展迅速，存储资源需要在集群内共享存储发展趋势3Â协议的开放化趋势开放式的协议越来越流行存储发展趋势4Â存储介质变化的挑战Raid遭遇了性能和可靠性方面的挑战磁盘容量小，价格昂贵，数据可靠性采用Raid5来保证不失为良策存储控制器成为性能瓶颈磁盘容量变大，Raid重建时间长第二块磁盘失效几率增加单磁盘容量迅速增大存储发展趋势5Â性能瓶颈及负载的不平衡：存储资源与计算资源难以灵活调度热点数据、硬件利用率低下的问题控制器LUN1控制器控制器LUN2LUNn瓶颈据IBM发布的数据，由于LUN之间不共享，加上Raid开销，系统实际空间利用率不到30%!我扛不住了！我也没法帮你存储发展趋势6Â扩展性差系统扩展需要规划容量分配、负载分配、定义命名空间、数据迁移，还需要停机（极少数最高端设备除外），准备失败预案…Â架构复杂热数据，冷数据，在线存储，近线存储，离线备份，生命周期管理，容灾……Â成本高，TCO更高据Gartner权威统计，每TB的存储后期维护管理成本，等于初期购置成本的4倍！10解决方案-TJ集群存储ÂTJ集群存储解决方案核心为一套并行文件系统软件，通过安装在服务器上来为用户提供一个文件共享空间Â突破传统存储系统的思路，面向海量数据、高并发访问的应用环境Â采用集群化技术构建全局统一的大规模文件共享存储系统–解决性能瓶颈问题–提高扩展能力–消除单点故障–采用通用硬件构建，控制整体成本TJ集群存储系统架构图存储节点：存储用户的实际数据，系统的存储资源提供者元数据节点：管理文件系统的元数据12元数据集群1.文件访问请求2.文件访问应答3.文件读写访问访问请求获取文件相关信息数据读写…存储集群应用节点系统架构：工作流程13Â元数据管理方式–元数据操作占文件系统总操作数的60%–元数据与数据分开独立存储管理–由专门的元数据服务器管理所有的元数据内容–减少元数据操作与数据读写操作之间的互相干扰•元数据操作粒度小•数据读写操作粒度大技术理念：数据和元数据分离应用节点元数据集群存储集群数据通道元数据通道14Â元数据集群–文件系统的整个名字空间按照元数据服务器的个数进行均分–可靠性：元数据服务器两两配对，互相备份–效率：支持海量文件高速查询•单个目录下可高效存放上千万个文件或子目录•提供高效文件查询操作，支持海量文件（实际案例中单套TJ集群存储容纳了15亿文件）Â存储集群–文件被切片后被分布式的存储在存储节点集群中–可靠性：数据集群范围的冗余保护–效率：提供高并发数据访问•提供GB/s的聚合吞吐量（实际案例中单套TJ集群存储系统提供了高达5GB/s的带宽）•性能随着存储集群的扩大而增加技术理念：集群技术15TJ集群存储系统存储服务器数据性能：高效数据读写聚合NASStoragenetwork存储系统性能瓶颈应用节点network聚合带宽16Â聚合带宽随着存储集群规模扩大而线性增长─规模扩大I/O通道线性增加─规模扩大I/O控制器线性增加Â充分发挥所有存储硬件的空间资源与性能性能：线性增长17Â实现机制–将每个数据段跨物理存储服务器冗余Â实现策略–允许在一套系统中为不同应用的数据设置不同的冗余度–允许冗余度可以动态在线设置–系统内置自动故障探测机制，可动态探测故障，并自动启动数据的恢复流程Â特点–全系统规模快速数据恢复–真实数据恢复，恢复速度是RAID的5倍–恢复过程中无须管理员参与，完全自动进行–恢复流程在后台完成，极大降低对前端应用服务器的影响可靠性：跨节点文件数据冗余技术18文件A应用服务器集群存储服务器集群A3恢复动态删除A1副本设置全局策略消除单点故障交换机A2副本A1A2A1副本A2副本A3副本A4A4副本恢复…跨服务器文件数据冗余技术19Â动态在线增加存储设备–允许动态增加单块磁盘–允许动态增加存储服务器Â特点–用户在使用的过程中随时都可以进行扩容操作–扩容过程无需中断应用的正常使用，新增容量即插即用–为规划未来存储空间提供了极大的便利–节省了用户的一次性投资规模，真正做到按需扩容扩展性：卓越的平滑扩展能力扩展性：动态在线扩容和容量均衡20EMPTYEMPTYEMPTYEMPTYEMPTYFULLFULLFULLFULL平衡平衡平衡平衡平衡Â当系统在线和生产时，自动平衡系统将内容引入新的存储节点。Â不需要人工干涉，不需要重新配置，不需要服务器或客户安装点或应用程序变更。Â自动平衡：自动跨节点数据平衡减少成本以及减少复杂性和规模存储风险21Â简易的远程管理监控–单点管理、监控–内置全自动管理机制，减少管理员的参与–中英文界面切换简易管理：单点配置管理22应用服务器TJ集群存储系统TJ集群存储LeoFS协议标准IP网络兼容性：支持异构环境共享Â无需对应用系统打内核补丁Â提供类似于本地磁盘的盘符，兼容原有的应用2、竞争对比高速IP网络FC网络RAID子系统存储节点集群元数据集群SAN解决方案TJ集群存储解决方案高性能集群计算节点…VS与SAN+SANFS对比以太网络MDCSANFSClient高速IP网络…高性能集群计算节点……TJ集群存储优势：1.构建灵活2.容量和性能可扩展3.较低TCO4.无缝兼容应用实际对比结果分别运行4个节点24个线程和8节点64个线程，单位：MB与SAN+SANFS对比（续）SAN+SANFSTJ集群存储共享性能FCSAN设备本身不支持共享，需要共享文件系统支持，如StorNext，或EMC自己的MPFS，但这次文件系统都不是集群设计，性能普遍很低，支持客户端数量也很有限。硬件上，单个LUN被共享访问时性能会急剧下降。基于高效的并行存储技术，系统聚合带宽随着存储规模扩大而线性增长；单个数据对象可以被多个客户端访问保持性能不变。扩展性仅有SymmtrixDMX3/4支持在线扩展Raid阵列，其余产品扩容需要停机，重新规划空间分配；容量越大，性能越低动态无缝的扩展，扩展之后性能得到提高，容量越大，性能越高可靠性硬件HA备份设计；数据Raid5数据保护；Raid组内两块硬盘损坏，或者单台存储设备失效，会造成数据丢失硬件系统集群化；数据冗余度可调；可以允许多块磁盘同时损坏，甚至单台存储设备失效也不会影响数据的完整性故障恢复时间磁盘损坏，数据重构时间漫长，一般要5个小时以上在线系统快速重构和数据恢复，速度是SAN的数倍，对性能几乎没有影响完备性SAN设备本身只提供基本存储空间，共享、镜像、安全都需要另购EMC或第三方软件，要实现一个完整的存储解决方案，需要一个“系统集成”的过程系统提供存储、共享、自修复、负载均衡、安全、镜像等完整的功能，无需另购软件维护升级费用1、厂家私有光纤协议，需要专人学习、负责维护2、厂家专用磁盘，价格十分昂贵；3、增加客户端需要收费昂贵通用的TCP/IP协议，任何网络维护人员都能承担维护任务；系统自恢复，接近零维护；维护升级成本低总体拥有成本高低与NAS对比集群NAS设备高速IP网络应用服务器NAS方案应用服务器TJ集群存储方案VS高速IP网络存储节点集群元数据节点集群…与NAS对比（续）NASTJ集群存储带宽NAS设备数据出口少,容易成为性能瓶径.基于高效的并行存储技术，聚合带宽随着存储集群规模扩大而线性增长.可靠性硬件HA备份设计；数据Raid6数据保护；Raid组内两块以上硬盘损坏，或者单台存储设备失效，会造成数据丢失硬件系统集群化；数据冗余度可调；可以允许多块磁盘同时损坏，甚至单台存储设备失效也不会影响数据的完整性并发双Active集群文件服务器,一个数据对象同时只有一台FS服务器能够访问一单个数据对象可以同时被多个NAS访问扩展性不支持在线扩展，扩展能力有限；扩展到一定程度后会造成性能的降低.容量越大，性能越低可无限的扩展,动态无缝的扩展，扩展之后性能得到提高.容量越大，性能越高文件规模单目录百万级文件，超过百万目录出现异常单目录千万以上故障恢复时间系统重构需要中断业务，Raid重建影响性能，时间很长在线系统快速重构和数据恢复，速度是SAN的数倍，对性能几乎没有影响维护升级费用厂家专用磁盘，价格十分昂贵；技术支持由代理商完成，不能提供用户环境调优和定制开发系统自恢复，接近零维护；维护升级成本低；可进行用户定制开发总体拥有成本较高低与业内主要竞争对手的参数对比参数SANEMCCelerraNSXSymmetrixDMX4NASNetApp6080TJ集群存储(S6000)100GB/sorhigher性能NSX:4x普通NAS,约1.6GB/sDMX4：16GB/sUpto3GB/s5GB/sClusterwithnolimits最大以太网通道NSX：4x普通NASDMX4：128ESCOM，FC，GigE,orFICON52601,500,000IOPS未公布300,000500,000单卷容量NSXupto16TBUpto16TB500TB单目录文件数量NSX100,000100,0001000万以上百亿最大文件数量NSX20million20million15亿64PB单套系统容量NSX：192TBDMX4：2.4PB1.2PB500TB备注:TJ集群存储的参数红色的数据为系统设计数据，蓝色数值为实际案例中的数据(比较早的系统实测数据)303、解决方案及应用案例31石油高性能计算Â特点–上百台计算服务器并发访问，读写带宽要求非常高；–地震资料文件非常大；–要求系统性能和容量同步增加，不中断业务扩容；–提供高效、稳定的数据读写性能支持，提供99.999%的系统可靠性。32广电非编媒资Â特点跨平台共享,使用集群文件系统进行全局文件管理，多工作站点以及部门间可充分共享素材通过带外虚拟技术和数据直接读取技术带来高聚合带宽，性能具有良好的平稳性，1台存储服务器节点即可满足20个50Mbps码流无缝对系统的容量和性能进行升级，从而支持更多的非线编工作站和码流；升级过程无需停机，不需要进行数据迁移33互联网视频存储解决方案Â现有存储方案-NAS–容量扩展需要业务停机切换，过程复杂，限制用户每天上传视频的容量–原计划高清视频点播由于存储系统性能和容量限制，难以上线–管理员进行24×7小时的监控管理Â现有的TJ集群存储存储方案–放开了互联网用户的上传容量限制，视频爆炸性增长–高清视频快速上线，吸引大量用户–无停机的存储容量扩展，容量已达600TB34TJ集群存储与IBMGPFS性能比较35TJ集群存储与IBMGPFS比较•TJ集群存储与IBMGPFS相比较，并发写性能高约30%，并发读性能高约10%。•而且GPFS实测过程中，当正做并发读写的时候，在客户端无法对GPFS挂载目录进行ls（查看目录中的文件）操作，即GPFS在有负载的情况下无法查看其中的数据，这样使得系统在有任务时，就无法取出存储在GPFS中的结果数据。这种现象说明GPFS的元数据处理能力很低，在有大量文件的情况下会导致系统无法提供服务。36如左图所示：TJ集群存储在读写聚合带宽上都比StorNext要高出很多在本次对比测试中StorNext使用HDS最高端的HUSPV设备，在整个SAN架构中有32个控制器共计632块15KRPM400GB的光纤磁盘，而TJ集群存储使用17台存储服务器，总计272块7.2KRPM750的SATA磁盘与StoreNext测试结果