平安城市视频监控数据存储技术方案

——————————————————————————————平安城市视频监控数据存储技术方案第一章方案概述监控行业概述监控技术从上个世纪80年代进入我国以来，随着安防需求的急剧增加一直在飞速发展，从技术层面上来看，已经经历了多个不同的发展阶段。随着计算机技术的发展和网络的普及，目前，视频监控已经发展到了网络多媒体监控系统。新一代视频监控管理系统与前几代视频监控系统的根本区别在于，其不再局限于简单地完成对视频信号的处理、传输、控制，其核心乃是对基于IP网络的多媒体信息（视频/音频/数据）提供一个综合、完备的管理控制平台。网络多媒体监控系统以网络为依托，以数字视频的压缩、传输、存储和播放为核心，以智能实用的图像分析为特色，并与报警系统、门禁系统整合到一个使用平台上，引发了视频监控行业的一次技术革命，迅速受到了安防行业和用户的关注。网络多媒体监控管理系统，可以广泛用于多媒体视讯调度指挥、网络视频监控和会议、多媒体网上直播、网络教学、远程医疗等各个方面。网络多媒体监控系统由网络多媒体监控管理平台和前端信息采集设备组成，其核心是网络多媒体监控管理平台。网络多媒体监控管理平台集计算机网络、通信、视频处理、流媒体、和自动化技术于一身，是视频、音频、数据和图示一体化的解决方案，兼备网络视频监控、视频会议、视频直播等功能，具有超大规模组网能力，是构建于LAN/Internet网络之上、支持多种传输方式的综合多媒体业务管理平台，其应用已远远超出监控本身所涵盖的内容。网络多媒体视频服务器（NetworkMediaVideoSever，NMVS）负责前端的视频处理部分，它同时具备了网络视频服务器的网络传输功能和硬盘录像机的存储功能（VideoSever+DVR），NMVS是一种对视频、音频、数据进行压缩、存储及处理的专用计算机设备，它在视频监控、网络教学、IP视频会议、视频直播及视频点播等方面都有广泛的应用。NMVS采用最先进的MPEG4或H.264等压缩格式，在符合技术指标的情况下对视频数据进行压缩编码，以满足存储和传输的要求。视频监控存储需求特点1）对存储的容量需求弹性比较大，存储容量的多少随着画面质量的提高、画面尺寸的增大、视频线路的增加都会成倍的增加容量需求。2.）对存储的性能要求不高，但是需要能够满足长时间的连续数据读写，数据流量大但访问请求数量低。——————————————————————————————3.）数据保存周期短，一般的监控场所数据保存一定时间（如1个月）以后便可以删除。近年来存储技术高速发展，存储设备价格不断下降，专业存储系统具备了在视频监控行业广泛应用的基础。第二章用户需求监控系统用户为小区派出所，需要对辖区内的重要区域采取视频监控的措施，保障辖区内的安全。具体情况如下：1）共有10个派出所，分别对各自辖区进行监控，并分别存储视频监控数据。2）每个派出所共控制300个左右摄像头，10个派出所一共3000个摄像头。3）摄像头的视频监控格式采用CIF格式。4）所有摄像头全天候24小时监控本辖区。5）视频监控数据要求保存1个月。第三章存储空间计算用户采用的CIF视频存储格式每路摄像头的码率约为500kb/s，1路摄像头每天的数据量约为5GB，24小时监控，视频数据存储1个月，则每个派出所所需要的存储空间为：500kb/8*3600*24*30*300≈45.3TB考虑一定的冗余空间，我们建议每个派出所配置46-48TB的磁盘空间。第四章传输带宽计算CIF视频格式每路摄像头的码率为500kb/s，即每路摄像头所需的数据传输带宽为500kb/s，每个派出所全部300路摄像头所需的数据传输带宽为：500kb/8*300≈19MB/s大部分磁盘阵列都能满足这样的带宽要求。另外，目前市面上主流的视频服务器都能支持100-200路左右的摄像头，而根据用户每个派出所控制300个左右摄像头的实际需求，可以推算出每个派出所最多只需3-4台视频服务器。第五章方案设计原则5．1紧密结合用户的实际需求存储区域网建设是视频监控数据存储系统的基础，它直接地影响到视频监控数据的安全性，可用性，因此只有紧密结合实际需求才能设计出一套切实可行而又行之有效技术的方案，我们对监控行业的需求做了认真的分析研究，并且将用户地具体需求一步一步地细化，然后结合其他地区存储区域网以往网络集成的经验，从而制定了本方案。5．2保持技术上的先进性——————————————————————————————存储区域网络建成后的不仅要能够满足目前的应用需求，而且还要能够为将来的存储区域网发展打下良好的基础，这就要求在技术方案必须保持具备相当的先进性，从而保障网络建成后在相当一段时间之内不会落伍，不会被淘汰，因此本方案中采用先进的体系结构、软硬件技术设备，使系统在未来保持尽可能长的生命周期，即达到提高信息化水平、实现先进管理思想的目标，又保护对新系统的投资。5．3开放式模块化系统模块化的系统结构方便用户的升级管理，开放式的系统有利于和其他系统的互联实现资源的有效共享。具体针对用户存储系统的特殊性和数据的重要性，以及长时间的数据存储和随时地查询调用等读写数据的要求，整个监控视频数据存储系统必须具备以下特点：1）高可用性能应对大量数据传输、交换，长时间的不间断的数据读写，重要数据的存储和妥善保存，确保数据的安全性。2）高性能(负载均衡和并行处理)对网络数据读写的实时性和网络调用数据提高响应的速率。3）高灵活性必须满足用户系统增减容量的需求，及根据服务器应用的灵活配置，保证存储系统的扩展性。4）高性价比必须考虑一次性软硬件成本的投入，及最终用户在系统维护方面技术和资源的投入，同时必须充分考虑到投资的时效性。5．4采用标准化的技术和产品在方案设计中，所有硬件、软件和网络产品必须坚持标准化原则，遵从国际化组织所制定的各种国际标准及各种工业标准，从而使系统实现具有如下特点：1）可移植性系统中所开发的各种应用软件具有良好的可移植性。2）可扩展性主机、存储设备、网络、应用系统均要有良好的扩展能力。3）互联性构建网络灵活，支持各种网络结构以及多种通信媒体，实现跨平台、跨应用的各种设备和网络的互联。——————————————————————————————4）兼容性随着时间的推移，监控系统还有可能面临升级或增加设备，这就使得在不同时期建立起来的网络信息系统大多都采用的是不同品牌不同技术性能的产品，因此，存储产品的兼容性显得更加的重要，必须要与市面上的主流产品相兼容。5．5系统的易管理性和稳定性任何一个网络的建设都需要考虑到应当方便用户的管理，另外所建成的网络系统需要是一个稳定性好、可靠性高的系统，监控系统的稳定性更是重中之重，一旦系统或是重要数据产生任何的严重错误，将造成不可估量的损失和后果。第六章NAS、FCSAN、IPSAN比较根据用户的多服务器连接存储设备的需求，目前，市面上满足这一需求的主流存储架构有NAS、SAN两种，而SAN又可分为FCSAN和IPSAN两种。下面就针对监控行业对存储的需求特点，结合用户的实际应用，将这三种存储架构进行一个比较。6．1NAS存储架构1）文件级数据存储NAS设备最主要的应用就是企业或部门内部的文件共享。由于NAS本身就是一台瘦服务器，有自己的操作系统和文件系统，可以直接与本地局域网连接，提供文件级的数据共享，但NAS设备无法成为服务器的本地硬盘，无法提供数据块的存储。2）带宽有限NAS是在局域网中传输，且有自己的操作系统和文件系统，这些因素都会导致NAS设备的带宽降低，增加NAS设备的读写响应时间。6．2FCSAN1）高性能FCSAN最大的优势在于其出色的性能。目前的主流FC产品的带宽为2Gb/s，4Gb/s产品也已经相当普遍，这是FCSAN高性能的标志。而光纤磁盘本身的高性能，也为FC磁盘阵列提供了高速运转的基础。2）扩展性强FCSAN的扩展能力很强，1个光纤通道最大可支持127个设备（即磁盘），而一台光纤阵列至少会有2个以上的光纤通道，有的甚至更多，这就意味着用户购买一台光纤阵列产品就可以通过连接JBOD来安装更多的磁盘。另外，FCSAN还可以方便的通过光纤交换机来扩展磁盘阵列。——————————————————————————————3）成本较高FCSAN的高性能带来的另外一个特点就是高成本，从光纤阵列本身到光纤磁盘再到光纤交换设备、光纤HBA卡等周边设备的成本都是最高的，而采用光纤磁盘阵列带来的管理维护成本，也将是用户一笔不小的开支。4）传输距离有限光纤的传输距离最大为10公里，如果需要更长的数据传输距离，只能增加光纤中转设备，而一般用户是无法承受如此高昂的费用的。6．3IPSANIPSAN中所采用iSCSI通信协议是internetSmallComputerSystemInterface的缩写，实际上是一个互联协议，是SAN结构的一种。通过将SCSI协议封装在IP包中，使得SCSI协议能够在LAN/WAN中进行传输。IPSAN的特点、优势IPSAN的特点1）为存储区域网定义(SANs)。IPSAN是SAN的一种，通过IP实现的SAN，即IPSAN.2）支持数据库应用所需的基于块的存储。虽然是通过IP传输，但iSCSI却是基于块的存储，这有别于NAS的基于文件的存储3）基于TCP/IP，iSCSI是被封装在IP包中进行传输的，所以它具有TCP/IP的所有优点，诸如可靠传输，可路由等。4）建立和管理基于IP的存储设备，主机和客户端之间的连接是建立在广泛使用的，为大家所熟悉的开放标准上的5）提供高级的IP路由，管理和安全工具。现有的绝大部分网络管理工具都可以用来管理IPSAN.IPSAN的优势与FCSAN一样，IPSAN也属于SAN大家庭中的一员，它的优点正是FCSAN目前存在的普遍缺点。1）低成本由于通过以太网进行传输，企业可以利用现有的以太网设施来部署iSCSI存储网络，而不需要更改企业的网络体系，所以他的部署成本比较低。由于对以太网的熟悉程度都比较高，所以培训和维护管理的费用也大大降低。——————————————————————————————2）协议本身没有距离限制由于使用TCP/IP进行传输，他不但可以在局域网中进行部署，也可以跨过路由设备在广域网中进行部署，大大扩展了iSCSI存储网络的部署范围。灵活的拓扑结构：iSCSI不但可以在局域网内部署，还可以在广域网内部署，拓扑结构非常灵活。3）易于使用即使是多个厂家的设备：iSCSI结构简单，容易理解，协议通用，不同厂家的产品可以有机的结合起来共同使用，极大地保护了企业的投资。4）易于扩展由于iSCSI存储系统可以直接在现有的网络系统中进行组建，并不需要改变网络体系，加上运用交换机来连接存储设备，对于需要增加存储空间的企业用户来说，只需要增加存储设备就可完全满足，因此，iSCSI存储系统的可扩展性高。综上所述，针对视频监控用户的需求和数据存储应用特点，IPSAN架构无疑是最合适的，其较FCSAN的成本优势，较NAS的性能优势和数据块级的存储都为IPSAN成为最适合视频监控系统应用的先天性优势。第七章方案设计7．1UITBS2000IPSAN存储方案7．1．1方案说明1)每个派出所的300路摄像头连接在视频服务器或其他视频采集设备上，视频服务器再与存储设备通过千兆以太网双绞线相连。2)每个派出所采用7台UITBS2000磁盘阵列，满配共安装112块500GB的SATA-II硬盘。3)每台BS2000磁盘阵列的15块硬盘创建为RAID5，剩余一块硬盘作为热备盘，以确保存储数据的安全性，保证数据在常规情况下不会丢失。4)每台BS2000磁盘阵列为16个磁盘位，满配后，每台阵列的容量为（16-2）*500=7TB（注：减去的2块硬盘是创建RAID5和热备盘所需的2块），7台磁盘阵列的总容量为49TB。考虑磁盘的实际容量与理论容量不符，且还需为整个监控系统预留一定的冗余度，则49TB的容量空间完全可以满足用户需求的。7．1．2方案拓扑图———————————————————————————