网络云盘分布式文件系统

网络云盘分布式文件系统龙飞2015年1月20日系统目标大容量的文件存储和高并发访问，文件存取实现负载均衡。考虑图片、文档、音频、视频等中小文件的存储（范围在500MB以内），并解决负载均衡，冗余备份，线性扩容，和流行的webserver衔接，多线程下载，断点续传等问题。功能简介1.固定分配用户空间大小2.资料库文件夹管理3.文件上传、更新、删除4.文件搜索、下载、访问5.文件同步6.文件分享7.群组管理8.群文件共享技术点分析1.用户分配空间部署分布式、集群式存储系统，一个用户的数据可以分布在多个服务器上，为了合理保证硬盘的利用，一开始我们给用户提供0M的空间，他用多少，只要在预设值内，就给他提供多少存储空间，但用户的前端还是显示预设值空间大小。2.分布式文件服务器存储服务器群和调度服务器群（均是对等关系，不存在单点问题）存储服务器集群：采用分组存储，集群有一个或多个组构成，一个组由一台或多台存储服务器组成，同组内的服务器之间是互相备份的关系（组内同步），当需要扩容时，可以增加组来满足需求。调度服务器集群：根据请求，利用nginx的轮询切换到对应的调度服务器，再由调度服务器来分配存储服务器。3.文件上传流程客户端访问web服务器，分发到调度服务器，调度服务器返回可用存储服务器ip和端口，客户端提交文件流到存储服务器，存储服务器返回卷名和文件名，数据入库。4.文件的校验（是否校验待定）为了合理利用硬盘空间，同名的文件和不同名但内容相同的文件只存储一个，显示给前端用户的还是用户的上传文件名，删除使用假删除。校验文件是否相同可以使用计算MD5值来校验，但是每个文件都计算MD5值，会导致CPU负荷过大，后期可以考虑写个控件，由客户端来完成MD5的工作，一旦发现数据和服务器上已经存储的某个数据相同，就不用上传了，直接在用户那边标记已上传。5.文件下载流程客户端提交卷名、文件名到web服务器，分发到调度服务器，调度服务器找到并返回对应存储服务器ip和端口，客户端提交卷名、文件名到存储服务器，存储服务器返回文件内容。6.文件同步登录同一个账号，可以在不同设备上查看使用同步盘的文件。设置同步文件夹，当文件发生变化时，会自动将变化的文件同步到存储服务器，再由存储服务器同步到其他登录相同账号的电脑上。7.文件分享生成文件名称路径链接，通过链接可以直接访问文件。通过通讯录发送给好友文件服务器部署方案文件上传和删除等操作：使用FastDFSclientAPI。文件下载采用HTTP方式。不做RAID，直接挂载单盘，每个硬盘作为一个节点。