X-EDP企业级统一数据存储平台170615

XSKY星辰天合企业级统一数据存储平台X-EDP简介XSKY星辰天合企业级统一数据存储平台X-EDP简介是“数据”，而不仅仅是“存储”“融合架构”和“软件定义的数据中心（SoftwareDefinedDataCenter）”是大型互联网运营商近10年来基于开放架构建设IT的经验结晶⸺在通用的x86硬件平台上，以软件来调度和分配计算、网络、存储功能，摒弃“黑盒子”设备。在这样的架构下，基础设施资源的池化使利用率有效提升，分布式架构可保证无故障单点，并提高系统整体的“弹性”和“可用性”。业界IT领导厂商和主流市场分析机构皆一致认为，“软件定义存储（SDS-SoftwareDefinedStorage）“是“存储”这一历史悠久的IT基础技术门类发展的重要趋势。超融合架构，通用化硬件是软件定义存储的主要表现载体。但在物联网、大数据带来的信息量爆炸增长的时代，这些技术本身尚未直接回答企业IT决策者提出的若干问题：1、存储如何促进企业将数据变成“生产资料”，产生更多价值？2、面对以往的存储孤岛，在软件定义的新架构下，如何构建适应多种负载的一体化存储资源池？3、在数据存储层面，企业如何建立“云原生“架构，以较低成本适配多虚拟化和混合云？软件定义存储的意义最终指向数据本身。如多云管理平台给跨数据中心的计算资源带来编排和调度一样，企业需要一个统一的面向数据信息的基础设施平台，在云计算通行的时代，完成一个数据红利“赋能者“的角色：/数据解耦硬件，并解锁于特定品牌的基础架构软件，平滑流动，并无缝支持混合云。/高性能，内置多数据中心支持和持续数据保护，应对新型互联网应用模式冲击。/全面提升海量数据的在线比率，为可能发生的创新分析需求提供足够的便利。星辰天合(北京)数据科技有限公司/XSky(Beijing)DataTechnologyCo.,Ltd.|北京|上海|深圳|-01-什么是XSKYX-EDP统一数据存储平台产品X-EDP（XSKYEnterpriseDataPlatform）是星辰天合提供的分布式统一数据存储平台产品，它是主流开源技术组件，企业主要工作负载整合优化，以及互联网自动化运维实践经验集成于一身的产品。X-EDP统一数据存储平台推出的目的是为用户能实现“云原生“的一站式存储资源池管理，简化数据保护设计，并能够全面发掘既有数据的潜在价值。X-EDP围绕云基础架构设计，通过存储系统软件将通用硬件的本地存储资源组织起来，构建全分布式存储池，不但可支持运营商实现数十PB级以上容量的存储资源池，也可帮助企业实现成本可控的小规模水平扩展存储，整合或替代现有中端存储设施，或构建应用融合方案，支撑各种业务应用。X-EDP是一个真正的统一存储，实现了同一套存储系统向上层应用同时提供块、文件和对象三种数据服务，满足业务对结构化、半结构化、非结构化数据的存放需求。并且内置数据保护功能，例如：备份、复制、容灾、云分层等，同时X-EDP提供多种企业级特性，包括快照、精简配置、备份、加密、压缩、QoS等，帮助企业轻松应对业务快速变化时的信息灵活、可靠存取需求。应用层VMware虚拟化VAAI|VASA|VVOLLibRBD|SCSI|iSCSI|FC块存储接口S3对象存储接口快照、克隆海量小文件合并归档对象存储冷池休眠对象存储整池扩容精简配置数据链路HA多副本EC纠删码多资源池管理恢复QoS卷级QoS卷同步复制集群状态控制X86标准服务器SAS/SATA/SSDPCI-eSSD10GE/InfiniBandFiberChannel强一致性协议数据智能路由数据一致性校验数据并行恢复Block持久化实时归并延时归并延时删除卷跨级群备份卷云端归档桶异步复制桶跨级群备份桶云端归档资源恢复主副本位置多级故障域卷映射管理对象数据压缩加密NFS文件系统接口高级功能OpenStack虚拟化非结构化数据数据保护存储管理配置管理容量管理监控管理告警中心日志中心license管理多语言分布式网关层存储服务层数据服务层存储引擎层硬件设备层资源管理系统加速智能SSD缓存分层存储内存缓存星辰天合(北京)数据科技有限公司/XSky(Beijing)DataTechnologyCo.,Ltd.|北京|上海|深圳|-02-星辰天合(北京)数据科技有限公司/XSky(Beijing)DataTechnologyCo.,Ltd.|北京|上海|深圳|-03-支持对已接入虚拟化平台的虚拟机和卷映射关系导入，作为独立资源类型用以其他功能操作对象。支持对系统内所有资源的全部信息搜索，列表信息排序及相应字段的过滤，允许快速访问关键资源。支持物理服务器CPU、内存、网络、负载监控。支持存储介质读写IOPS、带宽和延迟监控。支持存储池读写IOPS、带宽和延迟监控。支持卷、桶、文件目录读写IOPS、带宽和延迟监控。支持上述指标统计保留天数自定义设置。X-EDP产品功能特性以下是X-EDP产品的主要功能特性汇总。产品的特定技术细节，请见产品技术手册或服务门户网站（）。特性分类多管理接口运行管理与分析云集成支持REST接口，以利于上层应用无缝整合存储系统。RESTfulAPI全局即刻搜索特性描述支持以虚拟化为粒度的IOPS、带宽和延迟统计。虚拟机存储性能监控全方位性能指标监控支持CLI命令行工具，最大化管理效率。CLI命令行工具支持可视化GUI管理接口。GUI管理接口支持OpenStack、VMWare和ZStack*接入。虚拟化平台接入虚拟机存储映射管理星辰天合(北京)数据科技有限公司/XSky(Beijing)DataTechnologyCo.,Ltd.|北京|上海|深圳|-04-特性分类运行管理与分析特性描述实时健康管理告警中心日志中心支持系统及用户产生事件通知，方便用户全方面掌控存储运行情况。事件中心支持SNMPV2，支持TRAP，GET，SET操作。SNMP支持容量预警根据智能算法预测未来容量使用增长，可以预测剩余容量将在几天后被写满，并在容量使用天数剩余30天内给与提示和告警。支持自定义告警通知，在存储系统的各级软硬件产生故障时，由管理控制台向管理员提示告警。同时支持邮件告警。包括系统日志和操作日志。系统日志记录重要的系统事件，操作日志记录操作员行为，便于排错、审计和跟踪。支持对物理服务器、存储介质、存储池数据冗余状态监控及管理。支持对象、块和文件的网关和链路健康检测。支持存储介质根据SMART信息预测设备寿命，提醒坏盘可能。块存储对象存储支持大屏膜模式实时监控集群IO流量情况，掌握系统准确情况。态势感知多协议支持KVM主机侧访问聚合VAAIVASA卷和快照管理实时调整附加在卷上的IOPS和带宽限制属性，即时生效。实时QoS支持绝大多数S3标准接口，兼容S3生态体系。数据链路HA（MPIO）S3协议支持用户管理对象压缩支持对象数据网关加密，避免数据通过其他非法途径获取，保证数据安全。对象加密小文件聚合优化对象搜索支持卷管理操作，精简配置，在线扩容。支持秒级快照，并克隆出新卷。支持将克隆卷与快照关系断链。支持iSCSI，FC，LocalSCSI和KVM(RBD)原生访问。高效支持VMware虚拟化技术。支持在KVM计算主机上聚合所有存储访问操作，大幅度降低CPU及内存相关资源消耗，提升单卷性能。灵活定义用户权限和配额限制，不同的用户拥有不同的操作权限，同时会限制不同用户的总容量、总存储桶、总对象数配额。桶管理支持存储桶的访问权限控制，使不同的用户对桶内的对象数据拥有不同的访问权限。同时支持自定义存储桶配额，包括容量、对象数。桶策略管理对不同类型的对象数据可以自定义存储策略，设定元数据、数据存放的资源池，以及不同数据存放到不同的资源池，如大对象存EC池、小对象存副本池。支持iSCSI和FC的冗余链路，最大支持4路径MPIO，业务链路更安全。支持对象数据网关层进行压缩，实现端到端的传输减少。支持针对海量小文件存取优化，同时聚合小对象为大数据块整体操作，大大提升小文件下的空间利用率。支持海量对象根据对象属性准实时查询。支持VMWare感知存储资源星辰天合(北京)数据科技有限公司/XSky(Beijing)DataTechnologyCo.,Ltd.|北京|上海|深圳|-05-特性分类对象存储文件存储数据保护特性描述NFS协议兼容支持存储桶通过NFS协议进行访问，满足对象存储直接对接NAS备份功能。整池扩容增加WORM特性桶支持一次写入，多次读取模式，对关键数据实行写保护，杜绝病毒破坏，非法篡改。接口支持支持POSIX标准接口，即将支持SMB3接口。用户管理灵活定义用户权限和配额限制，不同的用户拥有不同的操作权限，同时会限制不同用户的总容量、总文件数配额。WORM目录支持一次写入，多次读取模式，对关键数据实行写保护，杜绝病毒破坏，非法篡改。目录管理支持不同的用户对目录内的文件数据拥有不同的访问权限。同时支持自定义配额，包括容量、文件数。已创建的桶支持按池扩容，避免存储池大规模扩容导致海量数据重平衡，进而长时间影响业务可用性。支持设定可读写的“活动池”与只读的“非活动池”，存储冷数据的非活动池支持“冷池休眠”，降低电力、制冷等能源消耗。数据可靠数据安全数据缩减支持连接多种数据保护平台，如AWS、阿里云、其他XSKY存储集群等。保护平台连接资源恢复数据多副本策略驱动备份所有存取请求携带校验并连同数据存储到介质，保证数据端到端的正确性。EC纠删码*端到端校验拓扑规划及故障域隔离不中断维护数据恢复QoS控制任意存储集群只要可以认证连接到任一保护平台获取灾备资源，都轻松恢复到本地。传输加密所有数据在不同的平台间传输全部加密进行，保护数据在不可信环境的安全性。通过丰富时间频率，间隔策略，支持将保护资源备份到多个保护平台，通过跨数据中心或云端的存储提供更高数据安全性。采用优选的EC算法，以少量的冗余信息保证数据可靠性，以CPU计算时间换取空间，比多副本机制获得更多的有效存储容量。支持N+1、N+2、N+3、N+4等多种纠删保护机制。支持自主规划集群物理设备拓扑，使允许多级故障隔离，包含主机、机柜、机房三级故障隔离能力。在任何规定硬件维护、软件升级、容量扩充、介质热更换及故障窗口时间内，避免集群存取性能不受影响。在数据较长时间处于不一致状态时，例如节点丢失或副本丢失，系统会自动触发数据重建恢复。用户可设定数据恢复的带宽规则，最小化对业务的影响。延展集群支持延展集群，自定义集群主副本位置，实现本地读优先。闲时加密*支持数据在闲时加密，尽可能降低对性能影响，支持零密钥配置管理。全面审计记录所有系统操作、维护、IP信息等记录。基于角色访问控制通过权限角色划分，保护系统进入安全。在线压缩*采用高效算法在线执行，并使用可变地址管理存储空间，使得压缩效果远远超过传统固定块大小格式2-3倍。支持存储池粒度的不同副本大小存储策略，以获得不同等级的数据可靠性。同时支持在线修改副本数。星辰天合(北京)数据科技有限公司/XSky(Beijing)DataTechnologyCo.,Ltd.|北京|上海|深圳|-06-X-EDP产品功能特性*标记代表该特性只在部分存储协议中支持特性分类数据缩减数据缓存特性描述近线(深度)二次压缩*内存读缓存分层存储SSD读写缓存模式识别去除采用智能算法识别连续重复二进制流，将重复流直接去除来标记写入，减少数据流写入。通过流预测算法在内存中提前获取目标数据，大大提高读性能。支持添加介质时配置读缓存大小。在线压缩采用轻量级压缩算法来提高在线写入性能，但在数据存储后有机会从高速设备移动到低速设备，新存储引擎会使用重量级压缩算法进行深度压缩，进一步提高空间利用率。可选择将不同性能的存储池管理为分层存储池，根据数据访问频度，自动将热数据迁移至高性能存储池，将冷数据迁移至性能一般的存储池中。通过热点预测，写入合并等技术将高速设备与低速设备结合，大幅提升读写性能。支持给低速截止配备50GB到几百GB范围持久高速缓存。性能优化硬件兼容物理页对齐数据布局，全局磨损均衡。闪存优先*无损快照技术多存储介质支