深信服EDS解决方案模板(1)

1概述1.1项目背景说明项目的背景情况例如：近年来，随着信息技术的迅猛发展和单位信息化改革的不断深入，信息化在单位业务管理工作中发挥了越来越重要的作用。但目前很多单位业务系统由服务器单机承载，数据也分散存放在对应的服务器硬盘上，存在着诸多风险。在信息系统建设之初，并没有针对存储系统做一整体规划，所以存储系统是伴随着应用系统的建设、服务器个数的增加而无序的发展着，存在着资源分散，管理繁琐等问题。服务器本地硬盘存储的现状既不能满足客户对信息系统的要求，也不符合当前存储技术发展的趋势。传统的服务器本地硬盘存储的模式，存储系统还是处于依附于服务器的从属设备的地位，如数据库服务器、OA服务器都直接使用本级的内置硬盘进行存储数据。经过详细的调研和分析，我们认为主要需要解决如下的问题和困难：1、存储性能、容量不足目前，本地服务器存储的方式一般只能插几块盘，在性能和容量方面较难支撑信息系统的正常运行，且数据管理和业务应用混杂在一起，数据管理效率低下，随着单位信息化的不断发展和业务数据的增加，这种形式显然是不能满足需求的。2、数据安全性差对服务器来说，内存的主要作用是暂存CPU运算中的过程数据，所以在设计时不会考虑数据的安全性问题。所以一旦服务器发生突然断电这种情况，内存中的数据就会完全丢失，导致业务系统出现故障，甚至关键性数据的丢失还会带来不可挽回的损失。3、业务连续性差此外，服务器在设计时也没有考虑设备的硬件冗余，所以存在单点故障，一旦接口、电源、内存条等部件出现故障，就会导致设备停机，影响业务系统的正常运行。4、扩展能力差服务器内置硬盘的存储方式受空间和接口数量的限制基本不具备扩展能力，要增加存储空间，必须更新或增加服务器和存储设备，造成投资浪费，而且不断产生新的信息孤岛，对单位整个业务系统的统一规划起到很大的阻碍作用。5、空间利用率低服务器内置磁盘和直接连接的方式都严重制约了存储空间的共享能力，即使硬盘有多余的空间也很难提供给其他服务器直接使用。例如，A业务系统存储容量不足，而B业务系统的服务器内即使还有许多剩余空间可用，也不能有效地将容量共享给A系统，因而花钱必须对A系统进行扩容。因此，这样的架构是实现存储资源的多主机共享的障碍，对其整合势在必行。6、管理复杂繁琐存储系统体系架构的落后，导致了存储设备重复投资较明显，每当有新的应用系统上线就需要为之配备单独的存储设备，多年下来必然导致多种类型的设备共存，各自的特性和管理方式都不相同，直接增加了管理和维护工作的难度。通过上述分析我们可以看出，当信息系统的应用系统和数据的数量已经累积到一定的水平时，必须在存储系统的体系架构层次上做出合理的调整。如果还仅仅通过增加更多的硬盘、购买更多的服务器来实现空间的扩展，只能是“头痛医头”，不但不能从根本上解决问题，还会为今后整个系统的发展带来更大的困难。应用系统的正常运行离不开数据存储等系统的支撑，为了更好的保障应用系统的运行，特别是一些重要的核心业务系统，必须对单位应用系统的特点加以分析，配置系统正常运行所需要的专业的存储设备对相关业务数据进行整合，建立一个资源共享存储平台，供前端服务器统一访问，避免投资浪费并简化系统架构。1.2现网状态对现网架构介绍时添加上结构拓扑图，说明现有设备的状态、数量及问题所在。例如：XXX客户的信息中心承载着多种类型的业务系统，包括网盘、Email、OA等，涉及的操作系统平台有windows、Linux、UNIX，产生的数据也包含结构化数据和非结构数据。目前，所有数据由一台传统SAN设备承载。此设备已连续运行5年多时间，设备面临老旧、电子元器件损坏的概率大大增加。同时，数据容量也满足不了接下来的业务发展需求。现网拓扑图如下：XXXXX1.3建设目标根据客户的需求，规划建设目标。例如：XXX客户对于接下来的业务发展提出了新的要求，目前客户的业务系统正在进行创新发展，未来每年会有30%的业务数量增长，非结构化数据每年会有50%的高速增长。现有的架构无法满足客户的需求，因此对于客户需求挖掘如下：1、新建存储平台，需同时满足客户的结构化和非结构化数据存储需求。同时可以解决新型业务系统产生的上千万小文件数据的管理和存储需求。2、每天约有500GB~800GB的数据量增长，本次建设需要考虑未来3-5年的容量需求，要求存储系统具有高扩展性，满足未来长时间的数据中心存储扩容需求。3、性能需求要求随着数据量增长而实现近线性增长，满足未来业务增多而带来的存储性能需求增加。4、该系统能够支撑块、文件、对象三种存储服务支撑，满足未来存储的结构化和非结构化数据存储需求。2、解决方案设计及建设原则2.1方案设计原则根据客户单位要求，描述方案涉及原则。例如：针对XXX场景，深信服软件定义存储Astor-EDS设计的主要思路“稳定、开放、安全、可靠、技术前瞻性及管理便捷性”等原则。技术前瞻性：软件定义分布式存储设计架构必须与行业特点进行深度融合，进而针对行业特性进行深度优化，包括对数据的处理和查询。另一点，针对存储集群化部署、资源虚拟化整合、分布式高带宽处理等技术都运行到本次Astor-EDS软件定义存储系统中。同时考虑未来行业发展方向，针对大数据处理、BI、AI、人脸识别等前沿技术，Astor-EDS软件定义存储都将完美支撑，充分展现了深信服在云计算发展情况下的软件定义存储的前瞻性和技术先进性。兼容性、开放性原则；存储系统针对上层的业务应用要实现无缝对接，满足各类型应用平台的支撑，具备灵活可靠的系统升级和扩展性，对未来业务系统发展的需要，技术可实现二次开发和对接。可扩展性原则：现阶段信息中心的数据增长也越来越快，存储系统设计要充分考虑到其容量和性能的在线灵活扩展能力。稳定性原则：要充分保障存储系统的稳定可靠性运行，避免硬盘或者设备的故障造成业务停顿。要充分考虑硬盘和节点甚至机柜的停电、故障所带来的风险问题。经济性原则：要充分考虑视频数据的长期保存和快速增长的投资成本问题，针对未来PB级甚至数十PB级数据时，要提供充分的扩展性和低成本方案。2.2解决方案设计本节对设计方案做详细描述，各段根据实际情况描写。随着IT的发展，云数据中心的建设成为数据中心的发展趋势，云数据中心承载的业务系统也由原有的单纯数据库、OA、ERP、CRM建设转为互联网型业务系统，业务种类日新月异，非结构化数据的急剧增多，也对存储的系统可靠性、可扩展性、性能都提出了更高的要求。传统存储已经无法满足其需求，深信服科技针对客户的需求做了深入分析，推出了新一代软件定义统一存储aStor-EDS，帮助客户解决正在面对的或者即将面对的存储问题。深信服EDS软件定义存储真正实现了存储云化，一套平台提供块、文件、对象三种存储服务，最大支持数千节点部署、EB级的单一文件系统，可承载多种业务接入。与应用结合，适配云数据中心规划。该项目的方案如下：2.2.1解决方案描述根据深信服对于XXX客户的调研和分析，深信服提供出采用aStor-EDS的分布式存储解决方案，该方案面向多类型业务系统，为客户同时提供块、文件、对象存储服务。该方案要求与上层虚拟化及多类型业务平台对接，方案具体描述如下：1、aStor-EDS提供高性能块存储服务，满足云数据中心数据库等结构化数据的存储需求。同时通过SSD及HDD的联动解决高性能IO需求。2、aStor-EDS提供统一命名空间的存储系统，多种业务的数据都可以存储在这个统一存储空间中，包括文件、图片、视频、音频等多种类型的业务数据。3、本次方案，采用4节点EDS3600-S存储设备，每节点配置SSD480GB*6配置SATA8TB*30块硬盘，4节点裸容量实现960TB的存储空间。采用全对称分布式架构设计，轻松实现容量扩容，满足日益发展的数据存储需求，与业务需求匹配。4、支持在线扩容，容量扩展的同时，保证不会中断业务，并且支持多个节点批量扩容；5、对外提供NAS接口，支持NFS和CIFS协议共享，适应多种应用场景，例如：支持和文件业务对接，和图片业务对接等6、对外提供S3接口，可实现数据对接上云，提供API接口及二次开发本次方案，主要业务匹配XXX应用场景，根据实际业务需求，存储系统需要提供100TB裸容量块存储空间，业务核心2匹配XXX应用场景，根据业务数据规划，存储系统需要提供500TB的可用NAS空间。根据该容量和性能要求，本次配置：EDS3600-SXX台EDS1210XX台存储硬盘配置资源XXXGBSSDXX块XXTBSATAXXX块2.2.2存储解决方案拓扑图EDS存储系统支持多种组网方式，内外网均支持千兆、万兆、4万兆组网，可根据项目和业务需求进行灵活部署。本次项目规划，采用2台万兆交换机，通过双网络进行内外网隔离得方式进行组网搭配，后期可直接通过增加节点平滑扩展至PB级容量空间。拓扑图如下：方案一方案二2.2.3配置说明地点设备名称型号配置数量3、方案特点及优势3.1统一承载用户多业务可根据实际情况进行增删，符合客户对方案的预期。EDS本身提供多种类型存储服务，以提供对用户多业务所带来的结构化、半结构化、非结构化数据存储服务。块存储服务:EDS通过存储虚拟化技术创建基于本地通用硬件的SAN存储，提供iSCSI(VMware虚拟化场景)，支持广泛的虚拟化平台及数据库应用，提供高性能与高扩展能力，满足高性能SAN场景存储需求。对象存储服务：兼容S3标准对象接口,为用户提供高可靠、低成本、自修复、多租户PB级别的弹性云存储平台，适用于文件归档、备份、视频应用、数字图书馆、网盘、大数据分析、混合云数据部署等多种场景。文件系统存储服务:EDS提供POSIX语义兼容的文件系统，提供标准NFS(NFSv3)、SMB协议的接口，以大规模横向扩展能力及超大统一命名空间的文件系统为企业用户提供非结构化数据共享存储资源的能力，具有高吞吐特性，主要应用于视频/音频、高性能计算、视频监控、数据备份等多业务场景。EDS针对用户核心业务进行针对性的智能I/O路径规划，从用户核心业务出发，提供明确的可靠解决方案，确保具备承载用户核心业务的能力。EDS分布式部署条件下，具备多中心数据存储能力，所以不会存在性能至上，牺牲可靠性的问题。并通过大屏数据展示为用户赋予运维可视能力，降低用户人力运维成本，提高运维效率。3.2智能存储简化数据管理EDS提供精确到每一块磁盘的智能故障诊断能力，对其进行智能亚健康检测，确保整体存储集群的健康稳定。并针对用户数据实现冷热分层，提供智能数据管理服务，让用户存储集群发挥最大优势，性能不打折扣。3.2.1故障自修复为了减少客户数据丢失的风险，EDS在分片的基础上自研了故障自动恢复机制，实现集群内任意一个数据盘上的多个分片副本文件，其另外的副本打散分布到其他主机的多个硬盘上，并且可以提供智能限速，智能化感知业务IO，保证重建不会影响正在使用的LUN的性能。一般的，在业务IO空载情况下，通过至少12个HDD的并发IO提升平均重建速度达到600M/s以上，数据重建速度可以达到1TB/30min，利用故障自动恢复技术可以帮助用户有效降低数据丢失或者损坏的风险。3.2.2智能亚健康检测系统运行状态检测系统运行状态检测主要是对当前存储集群的NTP时间服务、授权服务、HTTP服务、块服务、文件服务、对象服务等进行进程级别的健康检测，确保当前存储集群业务的正常进行。系统配置检测系统配置检测通过对当前集群的服务配文件或者数据库数据正确性进行检测，确保存储网口的连接正常，存储集群的配置正常，保证整个存储集群正常通信并且可以稳定提供正常的存储服务。硬件健康检测硬件健康检测对当前EDS集群服务器进行CPU检测、内存检测、网络检测、硬盘基本功能检测，确保当前集群处于健康状态，才能够提供正常的存储服务。3.3安全存储让数据更安全更可靠EDS具备完善的文件操作鉴权管理系统，并按照相关法律政策针对用户的文件访问动作提供审计功能，并支持对用户数据加密存储，防止泄露被窃取，符合欧盟GDPR要求。3.3.1操作审计共享目录针对当前任意客户端所接入的用户均会将其对文件目录的操作以日志的形式