分析：公安大数据应用的构建方式与难点

分析：公安大数据应用的构建方式与难点来源：苏州科达公安行业一直是安防技术应用的前沿市场，在安防领域，目前对于公安大数据的应用方式，可以分为以下三个层次：1、统计查询：这是对大数据最基本的应用方式，主要面向历史与现状，回答已经发生了什么事情，如流动人口分区域统计、实有车辆归属地统计、各类案件的数量分布和趋势。2、数据挖掘：是目前大数据的核心应用方式，其重点不在于发现因果，而是发现数据之间的关联关系。这种关系可能可以直观解释，也可能不能马上发现其中的深层次原因，但对工作具有一定指导意义，比如季节气候与某些类型案件的关联关系、车辆活动范围、活动习惯与黑车的关联关系。3、预测预判：是大数据应用未来的发展方向，在数据统计、分析、挖掘的基础上，建立起合适的数据模型，从数据的关联关系入手，推导出因果关系，能够对一定时期内的趋势走向做出预测，对危险信号做出预警，指导预防工作的走向。这三个层次具体到实际业务系统，包括图侦、车辆特征分析系统、人员特征分析系统、视频侦查系统等等。这些系统以普通视频监控、车辆/人员卡口、智能IPC等监控前端获取的视频、图片、结构化描述为基础，通过大数据平台的智能分析，实现如以图搜图、语义搜图、车辆/人员布控、疑似案件对比、详细特征分析等等深度大数据应用，帮助公安能够快速、科学地侦破案件。公安大数据应用于不同警种，由于其实际应用需求的区别，解决的问题也有所区别。如智能交通领域，目前大数据主要应用于车辆的疏导，比如基于不同道路、路口车流量的统计(时、日、月统计等)，根据这些统计可以分析不同时段某条道路实时的车流密度、发展方向和趋势等。这些应用目前已在很多大城市落地，比如平时大家在公交上看到移动电视里播放的上下班高峰路段实时画面，就是基于大数据的技术分析所得。公安大数据应用的构建方式与难点以车辆分析系统为例，介绍如何在平安城市大数据平台上构建应用：1、数据的来源与构成基于大数据平台的车辆分析系统，其数据可分为静态数据与动态数据。静态数据主要来源于车驾管库、盗抢库、布控车辆库、涉案车辆库等公安业务系统的资源情报类数据库，这些数据构成了车辆数据仓库的核心库。动态数据主要是来源于卡口联网平台，其数据可分为结构化的卡口通行数据与非结构化的卡口过车图片，这些数据随着时间的推移而不断增长，构成了车辆数据仓库的中心库。来自于其他设备如枪机、球机等视频监控设备抓拍或截取的车辆图片，来自于系统外的车辆图片，构成了车辆数据仓库的外围库。2、数据的存储对于核心库的车辆静态数据，通常都是存储于关系型数据库中。对于中心库的卡口通行数据，则存放在面向列的高可靠高性能分布式数据库HBase中，其中实时过车记录部分，因其查询量大且更新速度快，放置在内存中以优化吞吐量，降低系统I/O负荷。外围库的车辆图片数据，则存储在类似于IPSAN这样的普通存储空间内。3、数据的结构化与搜索查询对于卡口过车图片这样的海量非结构化数据而言，为了实现数据的检索，必须通过智能分析技术对其进行结构化并入库，从卡口图片中提取出车牌颜色、车身颜色、车标、细分车型等传统卡口前端不能提供的结构化信息并存储在HBase中。在对数据进行结构化以后，系统设计的大数据搜索引擎可以提供多种条件的简单检索和复合检索，这些条件包括时间、地点、车标、细分车型库等等;同时，基于车辆号牌的模糊搜索、混淆搜索(如“B”和“8”、“V”和“U”、”2”和”Z”等)功能为车辆分析系统的后续应用奠定了基础;此外，通过与核心库数据的对接，在查询过程中可以自动调出车辆关联的车主信息、驾驶员信息、事故/违法信息等。4、数据的挖掘分析与应用在经过数据的结构化后，结合平台提供的GIS引擎，我们可以方便的对其进行各种类型的统计，为交通、刑侦等部门提供服务。这些统计报表包括路段路口的流量统计、车辆归属地统计、路段平均行程时间统计、路网交通流量统计、车辆出行规律统计等等。利用卡口图片结构化的成果以及与车辆核心库的对接，系统可以提供一套达到实战水平的假套**应用。该应用可以进行假牌、套牌、轮换车牌等涉牌违法行为的分析，同时可以区分套牌车辆与被套牌车辆，更加精准地打击违法车辆。利用卡口通行数据的挖掘分析，结合公安干警多年工作经验的智慧结晶，系统提供一系列的卡口技战法，供用户在不同场景下使用。这些技战法包括：车辆尾随跟踪分析、团伙车辆分析、昼伏夜出车辆分析、区域徘徊车辆分析、区域车辆频次分析、车辆活动区域分析、路径匹配分析、频次变化分析等十多种。5、数据的展示利用平安城市大数据平台所提供的展示框架，车辆分析系统的应用功能既可以整合在平台框架中，与其他系统构成一套完整的平安城市解决方案，提供统一的访问界面与接口，也可以作为现有卡口联网应用系统的功能增强模块单独部署，提供单独的访问界面与接口。准确率与适用性，公安大数据应用的市场竞争点诚然，如人脸识别、车辆识别等大数据技术已在安防市场中有所应用，通过对视频进行智能分析、有效信息的结构化数据提取，让视频监控的使用者真正告别人工安防，走进自动安防的新时代也是目前安防行业共同的追求。但是，公安大数据的应用还远未成熟，准确率与适用性将决定谁在不久的未来脱颖而出。先是准确率，以人脸分析技术为例。所谓人脸识别的“准确率”，是指基于全世界最权威的人脸数据库LFW进行比对测试的成绩。LFW由美国马萨诸塞大学阿默斯特分校管理，可以认为是一个考察深度学习系统人脸识别能力的“题库”，它从互联网上提取6000张不同朝向、表情和光照环境下的人脸照片作为考题，可以让任何系统在里面“跑分”。跑分过程如下：LFW给出一组照片，询问测试中的系统两张照片是不是同一个人，系统给出yes或no的答案。99%的准确率，意味着在测试的所有题目中，人脸识别系统答对了99%的题目。问题的关键是LFW以及类似数据库FDDB等，只是一个纯粹实验室级别、学术性质的测试工具，在样本量可能达到十万级、百万级的实际商业场景下，测试得分高的系统不一定能保持已有成绩，其误识率将直线上升，甚至可能根本没法用。部分真实复杂场景测试中，十万分之一的误识率下，98%的人脸识别准确率会直线下降到70%左右。借助人脸识别等智能分析技术，将非结构化数据转化为结构化数据是后续大数据应用的基础，所以，从目前的智能分析水平而言，准确率仍将是很长一段时间内安防业共同的追求。其次是适用性，这里的适用性主要指安防厂商对用户的了解程度，涉及到应用建设的设计到实现的各个方面，各个功能模块是否是用户真正的关注点、系统操作方式是否真正方便用户等等，直接决定了用户对应用系统的体验感，这主要取决于安防厂商的行业、实际项目积累。当然，无论是准确率还是适用性，都无法改变大数据应用成为公安业务应用未来的方向。