云存储技术规范0810

云存储技术规范——上海电信互联网部2010年7月1、总则1.1编写目的为了更好的推进网盘项目招标和工程规范实施，特此编写此技术规范，对系统的各个特性和性能要求提出具体要求，起到规范统一的作用。1.2建设背景和目标随着互联网的急速发展和非结构化数据的爆炸性增长，公众对高效，快速，分布式存储提出了更高的要求。中国电信云存储方案基于这个需求被提出来。1.3适用范围中国电信云存储项目1.4起草单位中国电信股份有限公司上海分公司互联网部1.5解释权中国电信股份有限公司上海分公司互联网部1.6术语解释1.7参考文献1.8设计要求及使用条件1.3.1总体设计要求要求系统部署合理，提供完善的网络硬盘服务，提供完善的开发接口，提供及时有效的售后服务。1.3.2使用条件满足一般条件下的使用条件。2、技术要求及规范2.1平台架构按照解耦和，多模块的观点，要求系统各个模块结构清晰，功能相对独立，便于维护和升级。架构图可以参考如下的模型（图３－１）：（图３－１）图详解：①存储业务作为磁盘空间，为中国电信内部自有业务提供存储支撑；②存储业务为公众用户（主要是中国电信客户）提供丰富的个人存储产品和服务；③云存储系统必须提供丰富的业务接口，以支持开发丰富的上层应用。2.2组网结构按照分布式的组网需求，并充分使用中国电信ＣＮ２骨干网络，要求全国云存储采取分点组网，快速连接。整个组网结构，请参考如下图（图３－２）：③①②（图３－２）2.3功能性要求2.3.1基础存储服务云存储管理平台提供基础的存储资源池，将多个物理设备上的存储资源虚拟为统一的存储资源池，供上层使用。2.3.2存储管理设备管理：通过查询域内所有设备的磁盘、CPU、内存、电源、风扇、网口等信息。让用户实时了解域内设备运行信息，运行状态，从而可以操控设备；同时及时了解运行有误的设备，有必要可以采取适当措施保证其正常运行。资源管理：用户可以方便的了解云存储系统的各个节点的服务情况，包括MDS的主备、MDS\OSN的容量和性能（读IOPS、写IOPS、读流量、写流量）等信息，让用户实时了解域内资源信息，运行状态，从而可以操控这些资源；同时及时了解资源的异常，有必要可以采取适当措施保证其正常运行。2.3.3策略管理云存储平台提供灵活的存储策略，包括文件的副本数量、异地存储、加密存储、压缩存储、同步或异步存储。可以对用户不同目录设置不同的存储策略。2.3.4多租户管理云存储平台要求能支持对多租户的管理，可以为每个租户设定存储空间、存储带宽、存储策略、用户数。租户可以设置管理子租户和孙租户，形成目录树结构。2.3.5统计报表云存储管理平台提供统计报表接口，能够完成用户存储容量、存储数据访问量等数据的统计2.3.6多线程支持云存储管理平台提供的接口支持多线程及断点续传上传下载文件。2.3.7跨数据中心部署云存储管理平台要求支持跨数据中心的部署和管理，并支持跨数据中心的用户访问调度、数据迁移、数据异地存储备份等功能。支持集中管理，云存储管理平台部署在全国中心机房，存储节点可以部署在全国各机房中，管理平台对分点机房的存储设备可以统一管理调度。2.3.8数据写多份云存储平台要求能够针对不同应用或用户的可靠性和性能需求，灵活设置文件存储的副本数。在满足数据可靠性要求（要求支持同时坏任意两块磁盘数据不丢失）和读写性能要求的前提下，尽量提高存储空间利用效率，降低存储成本。2.3.9分级安全服务传输安全云存储系统采用HTTPS（SecureHypertextTransferProtocol）安全超文本传输协议，是以安全为目标的HTTP通道，简单讲是HTTP的安全版。Https:URL表明它使用了HTTP，但HTTPS存在不同于HTTP的默认端口及一个加密/身份验证层（在HTTP与TCP之间）。这个系统提供了身份验证与加密通讯方法，目前广泛用于万维网上安全敏感的通讯，例如交易支付方面。云存储提供的业务接口及管理接口都基于Https，从而保证数据的在传输层的安全。存储安全云存储系统在数据存储时，根据条带策略，将用户数据根据侧录进行分条，根据条带策略决定每个分条的大小，数据分条的存储物理位置等。数据的所有分条及布局信息是元数据的一部分内容，由元数据节点统一管理。即使任何一个磁盘、一个云存储节点被盗或被入侵。都无法得知具体的数据内容。入侵者无法将零散的数据恢复成完整的数据内容。从而保证数据在存储过程中的安全。保证数据在存储过程中不被窃取。支持用户指定的目录和文件加密存储。用户和权限控制云存储系统对每份数据都提供丰富的访问控制策略策略，对数据的所有操作都会进行权限检查。访问控制策略包括：用户和权限。2.3.10内容搜索支持按关键字搜索文件名和文件内容。2.3.11离线下载关机后也可以雇佣服务器下载，支持HTTP多线程下载。2.3.12维护管理设备管理、系统监控、日志、节点管理、域管理、异地灾备、负载均衡等等基础存储服务2.3.13应用接入接口云存储管理平台提供基于HTTP（SOAP/REST）的应用接入接口，包括对用户所有资源的操作接口、用户容器、用户数据的操作、数据访问控制和权限的接口。云存储管理平台提供资源分配、空间使用、空间回收等管理接口。2.3.14资源统计接口云存储管理平台提供基于用户的存储资源使用情况相关接口，满足计费要求。具体包括：用户使用空间的统计、用户上传下载的数据流量统计、用户上传下载的次数统计等。2.4扩展性要求考虑到后期扩容的需求，对系统扩展性的要求十分重要。主要体现在以下几个方面：（１）可以实时对容量进行扩充和升级；（２）支持磁盘的热插拔，新增的资源可以立即被平台辨识，管理和分配；（３）最低要求可以同时更换两块坏磁盘，更换上的新磁盘自动进行数据填充修复，以保持数据完整性、一致性；（４）新增磁盘空间要对磁盘的总体负载要起到良好的均衡作用；（５）支持新增空间的主动和被动的数据备份作用。2.5容量要求为了提供优秀的读取速度，稳定的数据存储性能，对云存储系统的整体容量和最小容量提出要求，具体如下：（１）整体支持ＰＢ级的存储能力，具有快速部署一个ＰＢ的能力；（２）最小磁盘支持1TB(7200rmp)；（３）整个云存储平台最大存储能力要求达到30PB以上；2.6性能要求（１）云存储平台的吞吐能力要求能够随着存储能力的增长而线性增长；（２）要求能够通过调整云存储平台的硬件配置，灵活调整吞吐能力与存储能力的比率，以适应业务变化对平台能力的要求；（３）要求支持客户端多线程并发上传下载文件，提供访问速度；（４）要求支持大文件分片存储在多个存储节点，各存储节点能够完成对各分片的并发读写能力，提高大文件的访问速度；2.7可靠性要求云存储一旦投入运作，是全年不断电无休系统，需要确保高度的可靠性。具体要求以下几点：（１）全年不下电，不停机，不闪断；（２）出现故障及时进行告警（声音、灯闪），告警分等级，界面可见，具有详细说明和修复手段提示；（３）要求有raid保护机制，在用户数据写单份的情况下，要求数据访问的可靠性达到99.999%，即对单个存储节点要求：可访问时长/全年时长=99.999％（４）要求用户数据可靠性可灵活配置，支持设置用户数据的副本数、是否异地存放，向用户提供不同级别的可靠性保护；（５）要求任意两块磁盘或单个存储节点损坏，不会导致用户数据丢失；（６）要求任意磁盘或存储节点故障，不影响云存储平台其他设备的正常使用和用户访问。2.8安全性要求2.3.1硬件安全性硬件安全性是指硬件在安装、调试、维护、更新等环节，对人员和环境是安全的，具体体现在以下几点：（１）产品电位接地，防止触电事故；（２）尺寸、规格、形状合理，以免倾斜倒伏，碰撞；（３）产品材质耐温，散热；（４）明确警示触电、有毒害、或其它危险发生的可能；2.3.2系统安全性系统安全性主要体现在：（１）强有力的加密手段和管理策略，确保管理员账户的安全性；（２）采取设置防火墙等手段，防止来自公网的破坏；（３）对于大规模访问量，异常访问等情况进行监控；（４）强大的系统管理能力，提供简洁，高效，互动良好的GUI界面进行系统配置，这些配置项应该包括（但不局限于）以下一些属性：管理，监视，控制硬件资源；管理网络资源（IP分配和服务）；管理每个结点（node）上运行的软件；配置每个结点服务均衡；控制整体行为；设置异常或故障的告警；释放结点或系统的资源。2.3.3数据安全性数据安全性，指用户存放的数据不可被非法访问、复制、修改等，具体如下：（１）提供加密接口，对用户数据进行加密；（２）基于角色的数据保护策略：角色级别职责备注安全管理员1系统初始安装，创建账户，分配/删除系统管理员账户系统新建时默认的管理员，对“系统管理员”进行授权系统管理员2管理整个云存储系统：网段，存储群和节点；更换坏盘和硬件；对“租户管理员”进行授权租户管理员3在给定的空间内进行策略配置，UserID分配等工作；对“子租户管理员”进行授权子租户管理员4在给定的空间内创建用户，重构策略;无（３）策略化数据管理，管理员通过可视化界面，进行策略配置，从而实现诸如：创建不同的策略等级（金牌，银牌，铜牌……）；配置不同的用户对应不同的服务等级，或者同一用户的不同数据对象拥有不同的服务等级；同步副本和异步副本数目策略配置，副本压缩，选择存储地的权限（４）采取冗余手段和版本管理，实现数据恢复和灾难备份：副本种类定义属性备注同步副本数据对象的一个完全拷贝每个数据对象都有至少一个同步副本同步副本数量，副本间距离，网络连接情况等都影响响应速度异步副本基于某种策略的数据备份“尽最大努力”进行数据恢复系统自动进行异步副本的更新，以保持数据一致2.9磁盘利用率磁盘利用率指磁盘在提供数据冗余备份功能的前提下，能提供的实际裸存储空间占总空间的比例，该指标反应系统的有效利用率，对投入产出比具有重要的参考意义。参考目前主流的技术指标，要求云存储提供≥65%的磁盘利用率。A：可以被系统管理的空间B：系统自行耗用的空间（数据恢复，系统文件等）要求：A/(A+B)≥65%要求支持重复数据删除技术，通过删除重复数据，进一步提高存储空间利用效率。2.10维护与升级保障随着未来硬件技术和服务质量的提升，考虑到产品有较长的生命周期，故在此单独提出对维护和升级保障方面的要求：（１）单个磁盘损坏或故障时需使用新磁盘替换，系统需在4小时之内恢复数据到新替换的磁盘；（２）单个存储节点损坏或故障，需在24小时内解决并恢复用户访问（３）当存储空间使用率达到一定额度时，需对存储扩容，存储扩容工作从提出到完成上线，需在2个月之内完成。（４）工程实施的质量、安全，效率有保障；（５）主动发现运行中出现的隐形问题和风险，及时提出整改方案；（６）完善的资料，包括维护手册，版本升级指导书，方案建议书等。2.11环保功耗考虑到低功耗，高节能，以获得最大的投入产出比，需要对环保功耗做出一定规格要求，详细如下：（１）产品硬件通过专业环保测试认证，标准化制作工艺，材质环保无害，使用的耗材环保无害；（２）参考主流的耗电标准，要求每PB物理存储最大功率不超过30KW；（３）随着产品生命周期的推进和未来技术发展，对功耗进行持续改进和优化，在未来功耗数据上动态体现该趋势；（４）每月给出产品功耗统计表，以便观察。