大华云存储技术白皮书(完整资料).doc

【最新整理，下载后即可编辑】大华云存储技术白皮书云计算产品线2014年7月目录目录...........................................................................................................2第一章...................................................................................................概述41.背景.......................................................................................................4【最新整理，下载后即可编辑】2.设计思想.............................................................................................43.系统架构.............................................................................................5第二章..........................................................................................关键技术71.负载自动均衡技术...........................................................................72.高速并发访问技术...........................................................................73.高可靠性保证技术...........................................................................84.高可用技术.........................................................................................8第三章...................................................................分布式文件系统设计81.数据存储功能....................................................................................92.海量存储能力..................................................................................103.统一命名空间管理.........................................................................104.节点间数据冗余.............................................................................115.数据恢复机制..................................................................................126.元数据管理的高可用性保障......................................................137.存储服务的高可用性保障...........................................................148.动态负载均衡..................................................................................149.在线扩容...........................................................................................1510.磁盘热插拔和漂移......................................................................15【最新整理，下载后即可编辑】11.高速并发访问...............................................................................15第四章............................................................................客户端接口设计161.基础SDK..........................................................................................162.流媒体SDK(可扩展).....................................................................173.RESTFUL接口(可扩展).................................................................174.POSIX接口(可扩展)........................................................................175.NFS/CIFS接口(可扩展)...............................................................18第五章.......................................................................运维管理系统设计191.设备管理...........................................................................................192.系统监控...........................................................................................193.系统维护...........................................................................................204.告警日志...........................................................................................215.故障处理...........................................................................................22【最新整理，下载后即可编辑】第一章概述1.背景随着平安城市建设的升级，智慧城市建设的兴起，视频监控高清化开始普及，视频图像信息的深度应用成为行业的趋势，如何有效存储和高效使用海量监控数据成为了新的课题。传统大型监控系统主要采用以下两种模式来实现数据存储与使用：存储服务器+IPSAN；NVR为代表的嵌入式存储设备。这两种方式都存在扩展困难，可靠性低，数据无法充分共享等弱点。针对这些问题，有必要将IT云存储技术引入到监控领域。云存储解决方案采用全新的设计理念，可从成本、容量、空间可扩展性、服务可用性、数据可靠性、接口通用性等多个维度提升监控存储的质量。由于这些明显的优势，云存储将成为未来平安城市、智慧城市系统的基石，有效的支持原始视频存储、卡口图片存储，视频图像信息库等数据集中存储与共享业务，以及智能实战系统，警务政务综合系统，大型数据挖掘系统等数据分析业务，成为便捷、统一管理和高效应用的大数据基础平台。【最新整理，下载后即可编辑】2.设计思想大华云存储解决方案采用业界领先的云存储架构思想，在系统架构和设计上，充分考虑大规模集群环境下软硬件发生故障的现实，采用先进的管理思想和软件系统，实现对大量普通存储服务器存储空间资源进行虚拟化整合，实现软硬件故障高度容错，搭建高度稳定可靠的存储集群。系统将控制流与数据流分离，以及充分优化元数据节点控制系统，使得系统具备极高的性能和良好的线性扩展能力。系统整体为应用提供统一命名空间，使得系统具备极好的数据共享能力。系统将负载均衡到集群内的各节点上，充分利用集群各节点性能，以获得很好的性能聚合能力以及保证了系统的稳定。集群采用高度灵活自组网技术，提供简易部署和维护功能。系统在数据可靠方面，采用智能冗余重建技术，保证较高磁盘利用率的前提下，提供最佳冗余策略。另外，系统在节点软硬件故障容错方面，也进行充分考虑，具备屏蔽所有可屏蔽错误能力。3.系统架构在本次系统建设中，云存储系统属于基础平台支撑层，以用于数据集中存储和共享，实现对数据的统一管理和高效应用。将数据逻辑集中物理分散，以提供多并发高吞吐带宽，最大程度降【最新整理，下载后即可编辑】低系统访问瓶颈。云存储系统采用分布式的存储机制，将数据分散存储在多台独立的存储服务器上。它采用包括元数据管理服务器（MetadataServer）、数据存储节点服务器（DataNode）和客户端以及运维管理服务器的结构构成海量云存储系统。在每个服务器节点上运行云存储系统的相应软件服务程序模块。云存储系统从功能上划份为三大部分：1)分布式文件系统分布式文件系统实现文件数据存储、可靠性容错、可伸缩性保证、高可用保证、负载均衡和流量分担等功能。2)存储访问接口提供高性能专用的API接口，支持云业务应用层程序对云存储系统的高性能直接访问。3)运维管理平台运维管理平台提供设备管理、系统监控、告警管理、故障管理等功能。系统架构框图如下图所示。【最新整理，下载后即可编辑】其中，元数据服务器集群保存系统的元数据，负责对整个文件系统的管理，MetadataServer在逻辑上只有一个，但采用主备双机热备集群方式，保证系统的不间断服务；智能存储服务器(DataNode)负责具体的数据存储工作，数据以文件的形式存储在DataNode上，DataNode的个数可以有多个，它的数目直接决定了云存储系统的规模；客户端对外提供数据存储和访问服务的接口，为云业务平台提供云存储系统的访问能力。整个方案的软件架构图如下：【最新整理，下载后即可编辑】系统包含四个层次功能，来满足最终用户、系统管理员、运营人员的日常操作需求：资源层：基于单个存储节点，管理本地的硬盘，文件和数据块。硬盘热插拔：管理节点内的硬盘动态增加和删除，和存储管理层同步硬盘内的文件信息。硬盘漂移：当节点故障时，支持把节点上的硬盘取下来放到新的存储设备上，快速恢复数据。本地文件系统：对操作系统自带的本地文件系统进行调优，作为数据存储的基础。对象数据块管理：对象存储到节点后，会形成多个数据块。管理层：提供单个集群和多域的管理能力节点管理：管理多个存储节点，支持节点上下线，搜集节点信息。负载均衡：根据节点的CPU,网络，磁盘的负载情况，动态选择负载最轻的节点参与工作。高可用HA：对两台元数据进行数据同步，在一台发生故障时快速进行主备切换。对象管理：响应客户端的对象