交通管控大数据分析研判系统

交通管控大数据分析研判系统设计方案目录1系统概述..........................................................41.1系统背景...................................................41.2系统意义...................................................41.3研发原则...................................................51.4系统内容...................................................62需求分析..........................................................72.1业务需求...................................................72.1.1面向交通管理的大数据业务需求........................72.1.2面向交通安全的大数据业务需求........................72.2功能需求...................................................72.2.1基于大数据的在线统计和离线分析需求..................72.2.2基于大数据的车辆特征分析需求........................72.2.3基于大数据的违法事故分析需求........................82.2.4基于大数据的勤务快速处置需求........................82.2.5基于大数据平台的车辆特征二次识别需求................82.2.6基于大数据平台的技战法需求..........................82.3性能需求...................................................92.3.1高并发实时数据采集需求..............................92.3.2海量数据存储需求....................................92.3.3分布式流处理需求....................................92.3.4车辆二次识别需求....................................93架构设计..........................................................93.1总体应用架构...............................................93.2软件框架结构..............................................103.3网络部署架构..............................................113.4数据流结构................................................113.5关键技术路线..............................................123.5.1Hadoop技术.........................................123.5.2Spark技术..........................................133.5.3车辆特征二次识别技术...............................144功能设计.........................................................144.1功能结构图................................................144.2功能模块..................................................144.2.1首页...............................................154.2.2实时预警...........................................174.2.3信息查询...........................................184.2.4统计分析...........................................234.2.5技战法.............................................264.2.6车辆布控...........................................284.2.7系统设置...........................................294.2.8运维管理...........................................305数据库设计.......................................................305.1数据库ER模型.............................................305.2数据库表..................................................306接口设计.........................................................306.1接口分布图（接口关联图）..................................306.2接口详细说明..............................................307系统特色.........................................................317.1优化交通大数据集中存储能力................................317.2提升交通大数据分析研判能力................................317.3提升交通案件侦破能力......................................317.4提升交通监管能力..........................................311系统概述1.1系统背景随着经济迅猛发展，机动车辆不断增加，道路交通拥堵、交通肇事现象也越来越严重。交通管理部门部署了大量交通监控设备对道路交通情况进行监控，这些设备24小时不间断捕获过车数据和图像数据，产生了海量的历史记录。在此情况下，如何利用先进的技术手段，对交通监控设备采集的海量的、格式多样的数据进行深度分析应用，对海量数据进行查找、关联、比对等处理，实时发现其中潜在的问题并预警,成为当前迫切需要解决的问题。主要体现在以下两个方面：一是交通管理部门的现有系统还处于结构化数据处理模式架构体系中，要实现对城市道路交通的整体运行状况、车辆出行规律等方面以日、月甚至年为时间粒度进行数据分析还存在不足。二是交通管理部门的现有系统在对这些具有逻辑关联的海量多源异构数据处理过程中，数据存储结构、处理种类、处理效率等方面仍存在不足，不能满足持续扩大的交通管理数据规模以及对数据深度快速挖掘和应用需求。交通管控大数据平台构建了一个支持横向扩展，具有分布、并行、高效特点的大数据处理平台的体系架构。综合运用云计算、云存储、并行数据挖掘、图像识别等技术，开展数据的存储、挖掘、联动、分析。通过将电子监控设备的数据、图像等异构的数据资源接入大数据处理平台，通过分布式存储和并行数据挖掘，提供在线实时分析模式和离线统计分析模式两种应用模式，对交通管理的各类大数据全方位地进行实时和离线分析处理。可以将隐藏于海量数据中的信息挖掘出来，可全面掌握道路通行情况，为策略制定、分析研判、行动部署提供依据，大大提升综合管理的集约化程度。1.2系统意义（1）信息查询和预警分析借助在线实时分析、离线统计分析和数据共享等手段，通过接口与集成指挥平台等各个业务系统关联，高效开展交通管理工作。例如通过分析一段时间内的过车信息进行查询分析对比，确定该时期造成交通拥堵的主要原因和发展趋势，对交通拥堵的发生进行一定的预测和判断，并采取相应的管控措施控制诱发交通拥堵的原因，科学预防交通拥堵。（2）多维度布控打击违法犯罪通过车辆特征二次识别比对，可对特定车辆的局部特征进行提取分析和建模，在车辆号牌信息缺失（套牌、遮挡号牌或无牌）情况下，按照车辆品牌、型号、颜色、类别以及局部特征等自定义组合布控报警，准确快速地实现特定车辆追踪与锁定，获取车辆真实行踪，将有价值的图片数据提供给公安刑侦部门，为侦破交通肇事逃逸案、利用机动车作为犯罪工具的刑事案、以及抢劫出租车等恶性案件提供线索和证据，为刑侦部门确定线索侦查破案提供支持。（3）大粒度的数据分析为决策提供支持通过交通流大数据采集存储、流量查询分析，车辆特征研判、车辆轨迹分析等深度应用，系统不仅仅可以实现对车辆和人员的分析研判，通过大量数据的积累和变化规律进行深度的信息挖掘，帮助决策者和管理者提供有价值的线索信息，同时结合车驾管数据库，开展交通信息综合分析研判。1.3研发原则项目建设总体上坚持“结构上的整体性、技术上的先进性、使用上的稳定性、经济上的合理性、实施上的安全性、操作上的友好性、升级上的可拓展性”原则，建设综合信息的统一管理、展示、控制平台，制定安全可靠的集成规范，完成各业务系统的智能协调联动功能，实现资源集成、数据集成、业务集成、控制集成和展现集成。1、实用性原则项目采用技术和解决方案应该具有很强的实用性，系统建设应始终贯彻面向应用、注重实效的方针，坚持实用、经济的原则。2、先进性原则采用先进、成熟的方法和技术，各种先进方法和手段应该充分考虑阜阳市社会可行性、法律可行性、管理可行性、技术可行性。既注意概念、技术和方法的先进性，又要注意成熟性。使项目能反映当今的先进水平，并具有一定的发展潜力。3、资源共享信息资源共享是本项目的主要项目目标之一，需要注意本项目与业主方已建智能交通信息化成果之间的信息互联与资源共享。4、可持续性系统设计采用合理的、有弹性的架构，并预留有一定的接口，保证系统能进行不断的完美和扩展。5、开放性和标准性注意遵循相关的技术标准和行业标准，并采用合理的系统架构，不采用垄断技术，保证系统的开放性和标准性。6、可靠性和稳定性从系统结构、技术措施、设备性能、系统管理、厂商技术支持及维护能力等方面着手，确保系统运行的可靠性和稳定性，达到设计的最大平均无故障时间。7、安全性和保密性在考虑信息资源的充分共享的同时，注意对信息的保护和隔离，采用系统安全机制、数据存取的权限控制等方案解决系统安全性问题。8、扩展性和易维护性采用先进的软件工程理论、良好的系统设计，以及分层和代理的方法等方法，保证实现的系统层次清晰、模块合理，接口协议开放，保证系统的扩展性和易维护性。1.4系统内容交通管控大数据平台由5类服务器组成，包括：数据接入服务器、数据库服务器、流处理服务器、二次识别服务器、应用服务器。（1）数据接入服务器：统一接入卡口、电警过车数据和过车图片，并按大数据架构统一转换管理。（2）数据库服务器：管理节点作为主服务器，管理Hadoop文件系统的命名空间和客户端对文件系统的访问操作。可进行节点安装、配置、服务配置等，对Hadoop服务器进行实时状态检测。数据节点管理存储的数据，支持PB级数据和图片存储和数据索引管理。（3）流处理