基于视频结构化图侦系统的应用

基于视频结构化图侦系统的应用目前，视频监控系统已经成为治安防控、侦查破案的重要手段。但是，面对海量的视频信息、非结构化的数据形式和内容的多义性，在案发后人工调阅方式耗时耗力，大量视频未经梳理而流失，严重影响了监控系统的建设成效。目前在安全防范领域中，有效分析、组织和管理视频数据，研究基于内容的视频应用系统取代人工方式，已经成为警务信息化应用的研究重点。本文分析研究了视频数据的规范化采集、结构化存储和全局性共享等问题，提出基于视频内容结构化分析技术，按照“一个证据中心，两个核心应用”方式来构建图侦系统的技术方案和应用模式。主要工作包括：（1）分析了当前公安图侦工作的困难和制约，研究了视频图像从采集、研判，到管理、应用的一体化工作模式，基于视频内容结构化分析技术，提出了“视频证据中心、视频图像取证、视频研判分析”为框架的网侦系统研发思路。（2）从警务一体化的角度，以视频采集、证据管理、研判应用为业务主线，研究了基于视频结构化图侦系统建设的总体技术方案、基本功能点，设计了系统研发的体系架构、逻辑架构、数据架构，以及与外部系统之间的关系。（3）分析了视频结构化建库的主要任务和核心问题，从视频人、车、物基本要素入手，进行了视频证据中心的模型设计，包括证据中心的体系结构、视频对象结构化定义、对外数据交互视图，以及证据中心实体-关系图（ERD）。（4）从工作模式和核心应用出发，分析了图侦业务的主要角色和主要环节，设计了图侦工作的业务流程、关键业务交互顺序、摘要索引业务流程和基本功能点，整合运用视频结构化、视频摘要、视频索引等先进技术，进行了软件的设计和实现。使用结果表明，基于视频内容结构化开发的图侦系统，能够实现视频监控信息的全程筛选，防止有用信息的流失，再造了视频监控及研判应用的信息流及业务流，能够有效支撑了图侦工作机制的转型发展。第一章绪论1.1.研究的背景和意义随着国家经济、社会的快速发展,人民群众的安全防范意识不断提高。特别是2005年以来，公安部大力推动“3111”工程和城市报警服务与监控系统建设，以“天网工程”、“平安城市”项目为引领的社会治安视频监控系统建设迅猛发展，保守估计全国各级公安机关可直接调控的视频监控摄像机已超百万支[1]；各行各业、各重点企事业单位社会也广泛开展视频监控系统建设，加强对重点部位、重要场所的实时监控。视频监控系统已经成为维护社会稳定、治安安定和创新社会管理的重要手段，在指挥决策、治安防控、侦查破案和执法监督等方面发挥着积极的作用。当前，视频监控系统已经成为治安防控、侦查破案的重要手段。但是，由于视频数据量庞大且格式复杂，存储代价昂贵且难以管理，面对海量的视频信息、非结构化的数据形式和内容的多义性，在案发后人工调阅方式耗时耗力，大量视频未经梳理而流失，严重影响了监控系统的建设成效。2012年2月公安部下发《全国公安机关视频图像信息整合与共享工作任务书》，要求充分利用先进的视频监控、图像处理技术，深入开展视频图像信息共享应用平台建设。目前在安全防范领域中，有效分析、组织和管理视频数据，研究基于内容的视频应用系统取代人工方式，提升监控系统建设成效，已经成为警务信息化工作的研究重点。为此，必须充分运用先进的图像处理技术，突破视频监控系统联网、整合与共享工作中存在的发展瓶颈。原有监控工作模式的不足，主要表现在“视频图像采集”、“视频图像检索”和“视频要素建库”这三个环节。（1）视频图像采集不规范按照公安机关对视频监控系统建设的相关规定，一般要求视频监控系统具备至少30天连续视频图像存储能力，并能自动循环覆盖存储。在实际工作中，由于视频图像采集速度慢且过程繁琐，原始视频数据量庞大且格式复杂，备份海量视频需要海量存储空间等原因，难以建立起一套有效的视频图像信息采集机制，只有在查处大要案事件时，办案部门才会调阅视频监控资源，查找嫌疑人或可疑物品，并随案保存相应视频资料，99%以上的视频图像被自动循环覆盖而没有经过图像信息的梳理采集并保存使用，存在有价值的视频图像信息被覆盖、被流失、被放弃等问题，严重降低了视频监控系统的建设成效。在传统的视频监控系统，即使建设了大量的摄像镜头，但是缺乏对数据的有效分析和利用，大量的有价信息被丢弃或湮没于数据海洋中，成为数据垃圾，投资大、成效低。图1-1描绘了原有视频监控图像信息的完整生命周期，仅有不到1%的视频信息经过梳理研判，绝大部分的视频监控信息没有经筛选而直接流失。因此，充分运用先进的图像处理技术，特别是视频信息的结构化分析技术，建立成熟、规范的视频图像信息采集、管理和研判、应用机制已经十分紧迫。图1-1传统视频监控图像信息的完整生命周期分析在日常网上监控巡逻工作中，由于缺乏一个可操作性的工作平台，也没有建立健全视频图像信息的采集、管理机制，视频监控有“巡”无“查”，监控操作人员缺乏有效的可操作性工作指标。因此，构建规范化的视频图像采集机制对于提升视频监控系统运用价值具有积极意义。（2）视频图像检索困难当前，视频监控系统深度运用的另一个瓶颈是视频调阅耗时耗力，以人工方式进行检索，效率低下。主要表现在：在案发后对海量涉案视频信息的调阅过程耗时严重，所需人员投入量巨大并随着案情的复杂程度递增；原始涉案视频质量参差不齐，有时还需要另外工具和受过专业图像处理训练的人员。因此，对海量涉案视频的调阅，对人的体能和精力都是极大的考验，从而直接导致检索效率下降，无法有效地快速浏览视频、定位目标。运用视频图像转码技术，可以将非标格式图像转换成标准格式，便于开展统一视频图像信息采集和建库管理；基于视频摘要技术处理后，整合形成的摘要视频远远短于原始视频，从而缩短了人工调阅的时间，便于快速锁定目标，快速提取线索信息，截取可疑目标出现和消失的视频片段，并与警务数据库进行图片或视频的关联标注保存。这样当有案件需要检索线索时可直接查看标注图片或截取视频，提高了检索线索的效率。（3）视频对网络带宽的瓶颈制约随着视频监控的联网发展，警务人员在需要倒查录像的时候，都会采用联网下载的方式，这样虽然提升了办案的效率，但也带来了一些弊端，例如对网络带宽的依赖，在倒查录像的时候需要对录像进行下载或者以流媒体的方式进行查看，无论采用何种方式，都会占用非常巨大的网络带宽资源，如果网络无法正常工作或者出现网络堵塞等情况，录像文件往往还有可能出现数据丢失的情况，如何摆脱或者降低对网络的依赖以成为了当前视频监控市场一个迫切需要解决的难题。（4）视频结构化建库不足目前，各地都在积极探索建立视频信息库，对各部门、警种关注的视频图像信息进行整理、分类存储。但是，在实际工作中，由于视频信息的非结构化、多语义性，所建的视频信息库，只能对案件进行简单标注，各地仍然以人工查看为主。近年来，视频特征提取、视频结构化分析、视频索引、视频检索等技术已经取得了明显的进步，但在整合应用上还有距离，还没有形成一个成熟的工作平台和应用体系。因此，充分利用视频结构化分析、视频摘要等图像处理技术，从案事件证据的角度，建立案事件视频证据库，用来存储从视频监控系统中提取的视频片段和图像特征信息，构建以视频图像共享应用为核心的工作平台，对强化公安机关视频图像信息资源的综合开发利用，提升公安机关的核心战斗力具有积极的现实意义。图侦系统是吴江市“1+X”视频监控系统项目建设的核心系统，系统建设的部分成果，例如视频摘要子系统、视频检测子系统等，已经在吴江市公安局进行试用，效果满足公安实战需要，有关基层公安机关视频巡逻、视频取证、视频研判、新机制也在逐步推进之中。1.2.项目研究的目的本文将整合运用视频结构化、视频摘要和数据挖掘等先进技术，研究构建视频图像信息共享侦查应用系统（以下简称“图侦系统”），提供覆盖视频业务从“采集”、“研判”到“保存”、“管理”、“应用”的全局能力支撑，使视频图像成为重要的案件侦破手段和情报来源，前瞻性地推进视频监控系统建设由“信息”到“情报”的演进，并将最终为基层公安民警提供一个“贴近实战、研判高效、管理有序”全局性的视频研判作业环境。主要目标如下：1、对接视频监控联网系统，实现对联网监控视频图像的统一采集、调取，进行案事件视频处理、研判、统一管理、图像要素布控等提供技术手段。2、满足案事件现场移动视频图像采集，实现案事件现场视频图像处理、现场研判；能够快速对现场周边图像进行采集、视频转码播放、视频属性编辑等。3、能够实现视频的结构化分析，具有视频摘要、视频索引、视频检索、视频编辑、图片处理等多种视频图像处理手段，提高视频自动分析能力。4、实现基于PGIS系统资源，实现案事件视频图像轨迹标注、作案路线推演。同时通过电子地图，快速调取需要关注的监控点、监控区域图像以及警务资源。5、对接警务综合信息系统，建立视频图像信息证据数据库，为全警日常警务工作中收集到的可疑或涉案图像资源提供统一的资源管理及存储空间。为重要信息的收集与查询、关联资源的碰撞、串并案分析研判提供基础环境。总之，通过构建和部署应用图侦系统，要求能够：（1）快速锁定突发事件的嫌疑目标；（2）快速标定嫌疑目标的运动轨迹；（3）发现潜在破案线索—可以有更多的机会审视更长的录像文件，发现更多的破案信息。从而，使公安机关能够：（1）缩短破案时间，节省办案人员；（2）降低警员劳动强度，降低办案成本；（3）极大提升办案效率。1.3.国内外应用研究现状在形式上，视频数据具有非结构化、内容多义性和流媒体传播的特征。因此，视频数据不同于传统数据库所处理的数据类型，它不是一种简单的数值或字符型数据，传统数据库中对字符或数值型数据的处理方法己经完全不能适应对视频数据的处理要求。长期以来，人们只能以流媒体的方式按时间段来存储视频数据。同时，由于数据量庞大、非结构化形式，视频数据存储代价昂贵难以长期保存，也不具备传统数据库的结构化管理能力，严重阻碍了用户的交互操作使用。为此，随着视频监控系统在社会治安防控体系中应用的日益广泛，视频监控系统的深度应用研究越来越成为人们的关注和研究的热点，国内外许多研究机构和单位开展相应的研究。1.3.1国外应用研究现状在国外,对视频结构化分析、摘要技术的研究起步稍早一点，1994年，卡内基梅隆大学就己经开始研发视频数据库系统，该系统在视频摘要方面有非常系统而深入的研究。它更注重缩略视频的生成，即怎样从一段长视频中抽取出视音频信息生成能够表达原视频语义内容的精简视频。特别地，它运用了熟知的TF-IDF方法从脚本中抽取文字。之后，Mannheim大学也做了与hiformed系统类似的研究。他们研究出的系统MOCA主要针对的是电影，能生成电影的精彩场景亦或是预告片[2]。近年来，国际上有许多研究机构开展了深入的研究，有微软研究院(张宏江、马宇飞和YongRui等人)、IBM研究院(JohnR.Smith等人)、北卡州立大学(JianpingFan等人)、南洋理工大学(Yap-PengTan等人)等，并产生了一些“基于内容”原型系统。例如，IBMAlmaden研究中心研究开发的QBIC系统[3]，是“基于内容”检索系统的典型代表。QBIC系统允许使用例子图像、用户构建的草图和图画及其选择的颜色和纹理模式、镜头和目标运动等图形信息，对大型图像和视频数据库进行查询。QBIC技术集成语音识别的成果，形成CueVidco系统。WebSeek系统[4]是美国哥伦比亚大学研究开发的一种基于内容的多媒体搜索引擎的原型系统,它通过提取图像/视频的颜色、纹理以及文本等特征实现了运行于网络环境下的基于内容的图像/视频检索[5]。目前，国外视频内容结构化技术在警务工作中普及应用、成熟应用的案例仍鲜见报道。1.3.2国内应用研究现状对于国内来说,关于基于内容的视频结构化技术的研究起步比较晚,从20世纪90年代后期开始,才逐渐受到多媒体研究领域的关注,因此,相应的技术水平较国外有一定的差距。近年来，为满足案件侦查、治安管理工作的需要，国内一些公安机关还专门组建了视频侦查部门，探索建立视频数据库，对视频图像信息进行整理、分类存储。但是，目前由于视频的非结构化、多语义性和大数据量，加上案事件侦查对智能