视频云存储解决方案简化版

视频云存储解决方案简化版（V2.0）2一、系统概述随着视频监控系统规模越来越大，以及高清视频的大规模应用，对视频监控系统中需要存储的数据和应用的复杂程度在不断提高，且视频数据需要长时间持续地保存到存储系统中，并要求随时可以调用，对存储系统的可靠性和性能等方面都提出了新的要求。在未来的复杂系统中，数据将呈现爆炸性的海量增长，提供对海量数据的快速存储及检索技术，显得尤为重要，存储系统正在成为视频监控技术未来发展的决定性因素。面对百PB级的海量存储需求，传统的SAN或NAS在容量和性能的扩展上会存在瓶颈。而云存储可以突破这些性能瓶颈，而且可以实现性能与容量的线性扩展，这对于追求高性能、高可用性的企业用户来说是一个新选择。云存储是在云计算（cloudcomputing）概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，应用存储虚拟化技术将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。所以云存储可以认为是配置了大容量存储设备的一个云计算系统。依据云存储的功能特点，海康威视公司专门针对大容量视频数据的存储和管理以及满足视频监控领域特殊的应用需求，量身设计了一套海康威视视频云存储监控系统。海康威视视频云存储系统可以同时应用于视频、图片混合存储，承担整个系统内的视频/图片的数据写入/读取工作。云存储系统一方面采用了基于云架构的分布式集群设计和虚拟化设计，在系统内部实现了多设备协同工作、性能和资源的虚拟整合，最大限度利用了硬件资源和存储空间。另一方面，通过将云存储的存储功能、管理功能进行打包，通过开放透明的应用接口和简单易用的管理界面，与上层应用平台整合后，为整个安防监控系统提供了高效、可靠的数据存储服务。二、系统架构(一)技术路线在视频云存储系统的设计中，采用的核心技术如下：1)采用存储全域虚拟化技术对具有海量存储需求的用户提供透明存储构架，可持续扩容避免瓶颈限制，可以更有效的进行资源管理，灵活增减空间，达到最大程度上合理利用空间的效果。32)采用集群技术，解决单/多节点失效问题，并利用负载均衡技术充分利用各存储节点的性能，提升系统的可靠性和安全性。3)采用离散存储技术，保障了用户高效的读写的同时保证了业务的持续性。4)采用统一完善的接口，降低对接成本、平台维护成本和用户管理的复杂度。5)采用开放的集成构架，使其可兼容业界各类iSCSI/FC存储设备，保护用户现有存储投资资源。6)采用数据备份和容灾技术，保证云存储中的数据不丢失，保证云存储服务的安全稳定。(二)逻辑架构云存储系统采用分层结构设计，整个系统从逻辑上分为五层，分别为设备层、存储层、管理层、接口层、应用层。4图1.云存储逻辑架构图1)设备层设备层是云存储最基础、最底层的部分，该层由标准的物理设备组成，支持标准的IP-SAN、FC-SAN存储设备。在系统组成中，存储设备可以是SAN架构下的FC光纤通道存储设备或iSCSI协议下的IP存储设备。2)存储层在存储层上部署云存储流数据系统，通过调用云存储流数据系统，实现存储传输协议和标准存储设备之间的逻辑卷或磁盘阵列的映射，实现数据（视频、图片、附属流）和设备层存储设备之间的通信连接，完成数据的高效的写入、读取和调用等服务。3)管理层5在管理层，融合了索引管理、计划管理、调度管理、资源管理、集群管理、设备管理等多种核心的管理功能。可以实现存储设备的逻辑虚拟化管理、多链路冗余管理、录像计划的主动下发，以及硬件设备的状态监控和故障维护等；实现整个存储系统的虚拟化的统一管理，实现上层服务（视频录像、回放、查询、智能分析数据请求等）的响应。4)接口层应用接口层是云存储最灵活多变的部分，接口层面向用户应用提供完善以及统一的访问接口，接口类型可分为WebService接口、API接口、Mibs接口，可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务。实现和行业专属平台、运维平台的对接；实现和智能分析处理系统之间的对接；实现视频数据的存储、检索、回放、浏览转发等操作；实现关键视频数据的远程容灾；实现设备以及服务的监控和运维等。5)应用层从逻辑上划分，除了应用层外，剩下的四层都属于通常云存储的范畴，但是在海康威视视频云存储系统中，为了与视频监控系统的建设和应用更加紧密的结合，更加符合用户的业务需求，将应用层纳入了整个系统架构中，从根本上提高海康威视视频云存储系统的针对性。可将行业视频监管平台、运维平台、智能分析平台等通过相应的接口与云存储系统对接，实现与云存储系统之间的数据以及信令的交互。行业视频监控平台可与云存储系统进行配置录像计划、配置存储策略、检索视频资源、重要录像的备份存储等指令的交互，辅助流数据、视频数据、图片数据的存取。运维平台采用标准的SNMP协议实现并提供Mibs接口，对云存储系统以及服务进行监控管理，及时将产生的告警传递给用户。将智能分析平台可与云存储系统进行对接，实现基础数据的读取，以及经过存储的二次分析后的片段信息，文本信息写入和检索。(三)物理组成视频云存储系统主要由管理节点和存储节点（物理存储设备）两部分组成。系统内部需要配置的元数据信息由管理服务器统一管理，管理节点还需要负责集群内部的负载均衡，失败替换等管理职能；视频云存储系统可以组建海量的存储资源池，容量分配不受物理硬盘数量的限制；并且存储容量可进行线性在线扩容，性能和容量的扩展都可以通过在线扩展完成。6视频云存储管理节点（CVMN）：部署管理服务器，是视频云存储系统的核心节点，作为云存储系统的调度中心负责云存储系统资源管理、索引管理、计划管理、策略调度等。根据项目对存储容量需求、前端支撑数目、性能要求、可靠性要求，存储管理节点可以按照两种方式部署：双机部署、集群部署。视频云存储节点（CVSN）：作为云存储系统业务的具体执行者负责视频数据存储、读取、存储设备管理、存储空间管理等。三、系统特点1)高效灵活的空间管理对存储资源进行虚拟化整合，提高用户管理效率；7支持存储资源的在线扩展，实现容量与性能的线性增长；虚拟空间可灵活调整，不但能扩大，同样能缩小；2)海量数据的快速检索采用一体化索引设计，大大提高了查找速度；深化视频、图片的应用设计，支持I帧信息快速读取；3)持续可靠的数据服务提供7X24小时不间断高效可持续的数据服务，充分保护数据安全和可靠性；采用全集群化设计，性能全面提升，设备压力负载均衡，单/多点故障，录像业务不中断；数据存储采用离散存储算法，提供系统级高效、稳定存取服务；4)高可扩展的应用支撑系统的高性能设计，能够并发服务以满足视频数据的高速读取需求。采用流式数据结构，面向视频、图片数据而设计，满足视频数据的持续写入；深入开发视频录像的专业化应用设计，优化了应用的服务质量；5)开放透明的兼容系统统一开放的应用功能接口，由上层业务平台直接调用；采用的是标准设备兼容模式，支持标准IPSAN、FCSAN存储设备的接入；四、系统功能视频云存储系统主要实现功能如下表所示：功能项功能说明系统功能集群化管理1、负责CVMN集群的创建和维护工作。2、负责集群内各节点的添加、删除、修改和运行状态监控工作。3、负责业务响应、处理的集群内的负载均衡工作，动态调配集群处理资源，提高系统运行效率和响应速度。4、维护集群运行高可靠性，单/多点故障时业务压力自动调整保证业务处理不中断。8虚拟化管理1、将系统内存储节点内数据块通过虚拟化统一整合成为资源池，实现用户对资源池的透明管理管理。2、资源池灵活划分录像池，通过录像池负载视频/图片数据的存储工作。3、录像池灵活调整，支持录像池创建后的扩大和缩小。离散存储管理1、对某路或多路数据流进行切片后按照内置离散算法自动分散到不同存储设备的数据块中进行存储。2、对某路或多路数据流进行切片后按照内置离散算法分散到指定的部分存储设备的数据块总进行存储。3、提供数据读取并发响应功能，提高系统数据吞吐量和响应效率。录像管理功能录像计划执行1、根据配置要求确定通道和存储地址，负责将视频流数据向录像池的写入操作。存储应用功能视频录像1、按照用户制定的计划保存前端设备采集的录像数据，录像类型、录像头。2、支持补录，即断网等条件下，前端设备能够将本地保存的数据补录到系统中。3、支持动态修改录像类型，即采集视频数据过程中可以按报警类型修改录像的类型并即时保存到系统中。视频回放1、支持根据编码器名称以及时间段、录像类型对录像数据进行回放。2、支持根据编码器名称以及时间段对录像数据进行回放时间定位。3、支持快放、慢放、倒序回放和手动停止回放。4、支持I帧回放视频标注1、对录像、图片等数据信息所对应的标签进行打标、存储、备份等操作。2、对录像、图片等数据信息的标签信息进行查询、检索、筛选工作。3、对录像、图片等数据信息所对应的标签进行修改、删除等操作。图片存储1、支持按照用户制定的计划保存前端设备采集的图片数据。图片下载1、支持按时间段下载图片。2、支持浏览器http的URL方式下载图片。图片压缩1、支持图片大小压缩和尺寸缩放。9运维功能周期覆盖1、按策略支持按周期、容量进行图片数据的周期覆盖式存储。五、系统参考清单(一)管理节点双机部署当项目中前端通道和车道数量总和不足千路时，云存储管理节点采用2台服务器做HA双机部署模式。管理节点双机部署是一种可靠性较高的部署方式，此种方式是采用两台服务器安装相应的视频云存储管理软件并运行双机热备模式，形成热备视频云存储管理双节点。此种双机热备模式，可实现应用服务的故障切换，提高了视频云存储管理节点的可靠性和稳定性，工作性能也得到了保证。(二)管理节点集群部署当项目中的前端通道和车道数量总和超过1千路时可采用管理服务器集群模式。管理节点集群部署是一种高可靠性、高稳定性的部署方式，此种方式是采用三台或三台以上奇数台服务器组成，安装视频云存储管理软件并运行集群工作模式，形成视频云存储管理集群。此种集群工作模式，可实现单台或多台服务器应用的故障切换和负载均衡，提高了视频云存储管理节点的可靠性和稳定性，系统性能也得到了很大的提高，是大型视频监控项目首选的部署方式。(三)存储容量计算存储数据主要是视频录像数据和卡口车辆图片数据，其中视频录像数据主要包括监控摄像机视频录像和卡口全景摄像机视频录像。具体存储容量需求根据项目的实际情况来详细计算，核算出所需要的硬件存储设备数量。(四)系统软硬件清单通过计算后得出了云存储系统的管理服务器和存储设备的硬件数量。在云存储系统中软件的数量与硬件数量是相关的，其中包括云存储管理软件、云存储存储软件和云存储接入软件。云存储管理软件集成在管理服务器硬件中，因此管理软件的数量等于管理服务器的数量。云存储的存储软件和接入软件集成在存储设备中，因此这两款软件的数量等于存储设备的数量。10设备清单如下表：视频云存储系统配置清单1、视频云存储系统硬件设备清单硬件项目数量单位参数说明备注视频云存储管理服务器N台双机模式：2台；集群模式：=3,奇数；视频云存储主机M台2、视频云存储系统软件清单软件项目数量单位参数说明备注视频云存储管理软件N套CVM视频云存储接入软件M套CVA视频云存储存储软件M套CVS六、主要产品介绍（一）存储管理服务器存储管理服务器是基于Intel最新的Romley平台开发的一款高性能双路服务器，该服务器采用了全新的架构设计：在CPU内集成了PCI-E，为CPU互联提供更多的QPI总线，更多的CPU内核数量等都直接带来了性能的大幅提升，相比上一代性能提升最高可达80%。存储服务器最大可以支持内存容量512GB，集成高性能SAS控制器，支持最多达8块热11插拔3.5寸SAS/SATA硬盘或2.5寸SAS/SATA硬盘，内部横插卡的设计可以满足全高扩展卡的需求，如此强大的扩展性足以支撑关键任务的运行，满足资源密集型应用的需要。更多的PCI-E插槽、更高速率的PCI-E总线让用户轻松实现扩展。存储管理服务器非常适用于对服务器性能、扩展性及可靠性要求苛刻的数据中心环境