基于云存储的网盘系统架构及业界典型网盘产品调研分析

基于云存储的网盘系统架构及业界典型网盘产品调研分析姓名：XXX学号：1、背景云存储是在云计算(cloudcomputing)概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。网盘，又称网络U盘、网络硬盘，是由网络公司推出的在线存储服务。向用户提供文件的存储、访问、备份、共享等文件管理等功能。用户不需要随身携带，更不怕丢失。可以把网盘看成一个放在网络上的硬盘或U盘，不管你是在家中、单位或其它任何地方，只要你连接到因特网，你就可以管理、编辑网盘里的文件，做到随时随地读取及使用，存储等服务。2、云存储技术的基础架构2.1云存储系统的结构云存储是在云计算(cloudcomputing)概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。云存储系统的结构模型由四层组成，分别是：存储层、基础管理层、应用接口层和访问层。存储层：是云存储最基础的部分。云存储中的存储设备往往数量庞大且分布地域很广，彼此之间通过广域网、互联网或者光纤通道网络连接在一起。存储设备之上是一个统一存储设备管理系统，可以实现存储设备的逻辑虚拟化管理、多链路冗余管理，以及硬件设备的状态监控和故障维护。基础管理层：是云存储最核心的部分。基础管理层通过集群、分布式文件系统和网格计算等技术，实现云存储中多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种服务，并提供更大更强更好的数据访问性能。CDN内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问，同时，通过各种数据备份和容灾技术和措施可以保证云存储中的数据不会丢失，保证云存储自身的安全和稳定。应用接口层：是云存储最灵活多变的部分。不同的云存储运营单位可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务。比如视频监控应用平台、IPTV和视频点播应用平台、网络硬盘引用平台，远程数据备份应用平台等。访问层：任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统，享受云存储服务。云存储运营单位不同，云存储提供的访问类型和访问手段也不同。2.2网盘系统结构中云存储技术在通常情况下，可以将基于云存储实现网络硬盘的关键技术分为二个方向。可以说，云存储技术的核心就是分布式文件系统，利用分布式文件系统可以集群文件系统，并且保证其是安全和可靠的，还可以大规模地扩展支持系统。目前，有很多文件系统都被用户广泛应用，比如Sun公司的Lustre等等。不同的分布式文件系统有着不同的特点，有些分布式文件系统不是通用的，只有在处理超大数据集的应用程序时，才适用HDFS。相对来讲，较为优秀的分布式文件系统有MooseFS，它是著名的开源分布式文件系统，可以通用，并且在使用的时候，也不需要对上层应用进行修改。相对于其他的分布式文件系统来讲，这种系统有着很多优点，比如因为并没有在同一个数据节点内存储文件，那么就不会担心数据被泄露；可以在线对它的容量进行扩展，体系架构也有着十分强的伸缩性；部署也比较简单；体系架构和文件对象高可用，没有单点故障存在于所有组件中，还可以对任意文件的杂余程度进行设置；WebGU监控接口可以提供给用户；随机读与写的效率也可以得到有效的提高；并且海量小文件的读写效率也可以得到有效提高。图2.2一个分布式服务器集群架构方案以MooseFS作为分布式集群的基础结构，可以分为三个部分，分别是主控节点、存储节点、元数据目志服务器。主控节点主要是管理用户业务控制流以及各个数据存储节点，文件的读写调度、空间回收以及恢复和各个节点之间的拷贝功能也需要主控节点来负责。存储节点主要负责用户之间的数据流，主控节点对其进行调度，将必要的存储空间提供给客户，并且客户也可以在此基础上进行数据的传输。元数据日志服务器主要是对主控节点的日志文件进行备份，这样如果主控节点出现了故障，那么就可以将其工作接替过来，尽量减少损失和影响。用户在对网盘空间进行访问时，首先对主控节点发送请求，主控节点对一个存储节点服务器进行指定，来与用户交互数据，指定的标准是存储节点的负载情况，业务流在获取时依据的是访问主控节点，而通过访问存储节点则可以有效地获取数据流，这样就有效地分离了业务流和控制流，实现数据存储效率提高的目的。3网盘产品调研分析3.1国内主流网盘我们本文做网盘的调研，本文我们主要介绍国内的主流网盘。百度云网盘：是百度2012年正式推出的一项免费云存储服务，首次注册即可获得5GB的空间，首次上传一个文件可以获得1GB，登录百度云移动端，就能立即领取2048G永久免费容量。目前有Web版、Windows客户端、Android手机客户端，Mac客户端，IOS客户端和WP客户端。用户可以轻松将自己的文件上传到网盘上，普通用户单个文件最大可达4G，并可以跨终端随时随地查看和分享。百度网盘提供离线下载、文件智能分类浏览、视频在线播放、文件在线解压缩、免费扩容等功能。咕咕网盘（51咕咕网盘）：注册初始容量9GB，通过加速扩容卡可直达10TB永久空间、容量不上限，有几个特点：上下载不限速、支持网盘直链、一键外链分享、离线上传及下载，网络URL地址极速转存、外链分享不限时、且支持短信及邮件资源分享、外链分享秒速转存、音乐及视频文件在线播放、且可直接共享网盘空间建站（WEB云服务）。网盘操作模式如同电脑PC操作，简洁干净、很方便实用，专注于为用户提供安全、高效的云存储网络硬盘服务。金山快盘：是金山软件基于云存储推出的免费同步网盘服务，服务用户超过1500万。金山快盘具备文件同步、文件备份和文件共享功能，平台覆盖Windows/Mac/Android/iPhone/iPad/Web等六大平台，只要安装快盘各客户端，电脑、手机、平板、网站之间都能够直接跨平台互通互联，彻底抛弃U盘、移动硬盘和数据线，随时随地轻松访问您的个人文件。华为网盘：免费5G网络硬盘是基于网络分布式云存储技术基础上的网络硬盘，它面向于所有用户，提供各种类型文件的存储、传递、共享、同步的网络服务，通过华为网盘可以随时随地访问你的文件，支持共享、链接，可以自由自在与好友分享你的音乐、照片与文档等。该网盘推出了本地客户端。可以扩大容量，最多至30G。最大的特色就是支持迅雷一样的下载，可以直接用客户端下载网盘上的文件，或者通过转载之后下载想要的文件。360云盘：是奇虎360科技的分享式云存储服务产品。360云盘为每个用户提供36G的免费初始容量空间，可通过电脑、手机登陆获得36T空间容量。当云盘等级达到25级以上时，每升1级，空间自动增长10T。通过云盘网页版上传单个文件限制在360MB，如果需要将更大文件上传到云盘，需要安装使用云盘客户端软件，最大支持上传单文件为10G、离线下载单文件最大10G。彩云网盘：是中国移动旗下的个人云网盘，向所有用户提供安全、便捷、高效的个人网络硬盘应用服务。用户通过参与空间领取活动可以最多领取高达50T的免费网盘空间，满足个人用户存储、同步和分享的需求。彩云已经实现全平台覆盖安全高效地管理文件，极速的上传下载体验，随时随地分享、管理自己的文件。用户存在彩云网盘的视频、音乐、照片等内容，都可以进行在线播放和浏览。3.2网盘优势百度云的优势可以离线下载，在线观看视频，空间大，上传速度快。如果用来播放各种视频文档，百度云是首选。金山快盘是办公同步的利器，可以同步各种数据。华为网盘的优势在于外链方便，但是界面不是很美观而且有广告。360云盘的优势就是空间大，但是360安全性方面的信誉有待提高。彩云网盘有中移动的背景，账号可以跟手机直接免费绑定，安全性不错。4总结一般来说，云储存系统的结构模型由存储层、基础管理层、应用接口层和访问层这四层构成，而基于云存储实现网络硬盘的关键技术的核心就是分布式文件系统，以MooseFS作为分布式集群的基础结构分为三个部分，分别是主控节点、存储节点、元数据目志服务器。而在各种网盘的使用体验中，对于百度网盘的评价是最好的，百度网盘因为其可以离线下载，传输速度快，视频的在线观看而深受用户的喜爱。