交警大数据平台

目录Contents01概要介绍02架构设计03功能介绍04关键技术05经典案例背景信息化发展XX市交警支队非结构化数据比重会越来越大交通监控设备（118个路口电警、217处监控、30处卡口及测速）目前每天可达1TB级，随着今年我市智能交通三期工程和国省道高速公路安全防控系统的（三维地图）建设，日产生约600万张车辆图片全市去年办理机动车业务197.553万笔、驾驶证业务114.424万笔、交通违法业务378.8717万笔、发送告知提醒短信467.286万条、每月交通事故警情9400起，去年全市交警系统回访总量497.3025万随着我国国民经济的持续快速发展以及城镇化进程的加快，城市机动车数量近几年大幅增加。交通拥堵、交通污染日益严重，交通事故频繁发生，这些都是各大城市亟待解决的问题。各采集终端积累了海量数据，如何将非结化数据结构化，对海量数据进行分析，应用到公安交通管理工作，是目前急需解决的问题？大数据时代解决方法基础手段方法指导牵引交警大数据平台建设目标建设满足实际应用和管理需求的交警大数据平台。持续提升交通感知智能化水平，完善网络化的交通状态感知体系01加强交通数据标准化建设，进一步整合数据资源。严格按照《山东省公安大数据中心卡口数据引进工作规范》02提供实战工具集，牵引警务模式变革，丰富民警的破案手段03创新交通大数据分析应用，实现基于大数据技术的交通系统高效运营和管理04建立基于大数据分析的新一代智能交通信息服务系统，改善和提高公众出行的智能化服务水平05构建并完善智能交通技术创新体系，加强交通信息服务产业化进程06建设原则标准规范统一的规则平台架构、数据库模式、平台数据满足部、厅标准规范，平台能无缝对接省厅数据中心，严格按照《XX省公安大数据中心卡口数据引进工作规范》，实现本地数据实时上传省厅数据中心。平台采用的数据、协议、数据接口等要符合国家和公安部制定的标准规范，全面采用通用的标准化产品，提高系统可靠性和通用性。共享开放原则平台能满足各级公安机关、各警种乃至民警个人数据开发和服务应用需求，通过灵活多样的数据服务或Webservice方式，提供全方位数据服务支撑，更好的利用大数据优势助力各项业务工作。安全保密原则平台具备科学的制权访问策略，完善的综合审计功能，确保数据安全性。按照公安部制定的信息共享内容、范围、方式和规定，以及对保密和敏感信息的使用办法，明确信息提供方和使用方的责任、权利和义务，实现统一的共享管理机制。数据权威、海量、丰富的原则整合全市各卡口、电警信息资源，构建数据覆盖面最广、总量最大、运算能力最强的权威核心卡口云数据中心。优势依托卡口云管控平台达到降事故、保畅通、服务决策、引领实战的目的，最大限度指导交通管理工作。同时又向公安其它警种（治安、刑警、经侦、技侦等）提供实战工具集，丰富了办案手段，提高了办案效率、节省警力资源，最终达到牵引警务模式的变革。建设符合前沿技术趋势的大数据实战平台。运用大数据、云计算方法，挖掘出隐藏在数据里的内在规律。可以实现亿级数据的搜索秒内反馈、亿级数据在线分布式计算秒级反馈。满足实战的“实时”需要，争分夺秒、聚力办案。全方位整合，建设公安交通大数据资源。整合交通卡口与治安卡口共600多路，整合六合一平台、智能交通、人口信息、社保信息、全国被盗抢黑名单等公安内外部、社会资源数据。采用图侦技术，将每天产生的350多万幅电警和卡口的过车图片进行二次识别，将非结构化的过车数据转化为号牌号码、车辆类型、车辆品牌、车辆子品牌、车辆颜色、年检、实习标、纸抽、遮阳板等特征信息，实现以图搜图功能（特征搜车），实现隐匿车辆的侦破。目录Contents01概要介绍02架构设计03功能介绍04关键技术05经典案例平台架构数据中心在整体大数据规划中处于基石地位，为大数据的深度应用提供了坚实支持。因此在进行数据中心建设过程中要有前瞻性，不光要着眼现阶段的要求，更要进行远景规划，考虑到大数据数据源种类的增加导致存储的动态扩充、大数据应用的横向扩展等因素。数据仓库架构数据仓库中心是在遵从省厅警务云架构设计理论的基础上，结合本地公安的实际情况，建设的集业务数据统一接入与转换存储、数据质量统一管控、数据统一共享应用的一体化信息基础平台，它的建成将实现以“全警应用，全程贯通”为目标的数据全共享。Hadoop技术架构图Cloudera优势顶级专家团队客户群成功案例最大生态系统培训和认证开源领导者国内的领导者由几家世界顶级IT企业前雇员创立全行业客户（金融、电信、零售、能源、互联网等），数千家企业客户，付费客户中超过60%为世界500强客户全球范围内数百项成功实施案例超过1300个合作伙伴超过100,000管理员、开发者受训；最有价值的大数据证书Cloudera是无可争议的Hadoop开源社区领导者和贡献者Cloudera首席架构师为Hadoop之父：DongCutting目前Cloudera在国内的免费Hadoop市场上占有率为84%，占有率排名第一！Cloudera与其他Hadoop发行商对比1.Cloudera是做Hadoop开发的，其他厂商仅仅是做Hadoop集成2.和Hadooptrunk最快的同步，保证业务的向前兼容性；其他厂商是Hadoop上做的定制优化或修复，无法保证兼容性3.所以组件的开发和专业支持能力，其他厂商也仅仅是根据Cloudera包含的版本进行集成，缺乏问题的修复和专业支持能力4.性能优势明显，比其他开源Hadoop版本的性能提升10x~100X行业成功案例Financial&BusinessServicesTelecomTechnologyHealthcareLifeSciencesMediaRetailConsumerEnergyPublicSector应用行业15总体技术架构拓扑图暂时只接入市区数据同时预留了县区数据的接入，以满足动态扩展架构需求接入数据源（XX市）序号业务支撑接入数据源数据量相关功能模块1卡口电警相关过车记录表5.13亿（日均约300W）智能搜索（按品牌搜车、按类别搜车、按照片车）、实战工具(包括出入城分析、行止规律分析、套牌车分析、一牌多车、行车轨迹刻画、伴随车辆分析、轨迹反向刻画、踩点车辆分析、无牌车分析、人脸还原分析、相似车辆分析等)2机动车相关六合一机动车信息表402.51万智能搜索（一车一档），统计分析(强制报废明细、临界报废明细、机动车保有量统计、逾期未检明细)3机动车登记业务流水表979.62万统计分析（机动车注销数据统计、检验业务统计）4机动车登记业务日志表6869.68万统计分析（机动车注销数据统计、检验业务统计）5驾驶人相关六合一驾驶人信息表331.12万智能搜索（一人一档、驾驶证查询），统计分析（驾驶人住所联系地址）6驾驶证相关六合一驾驶证业务主表332.25万智能搜索（一人一档），统计分析（驾校受理人数统计）7六合一驾驶证业务流水表752.15万智能搜索（一人一档），统计分析（驾校考试情况统计、驾校培训质量统计、驾校办结业务统计）8制证相关制证信息表489.84万统计分析（驾驶证业务抽查）9准考证明信息表20.68万统计分析（驾校考试情况统计）10接处警相关六合一处警信息表27.36万统计分析（122接处警事故统计分析），分析研判（122接处警分析）11六合一接警信息表23.30万12六合一接处警反馈表23.20万13交通事故相关一般事故671.26万分析研判（道路交通安全态势分析、交通事故分析等），智能搜索（一人一档），统计分析（全市交通违法统计、交通违法行为综合统计）14六合一简易事故13.30万15交通违法相关交通违法信息表1705.46万分析研判（违法行为规律分析），统计分析（交通违法行为统计、交通违法行为情况统计、非现场免执法计分统计）16重点车辆黄标车信息表5.23万统计分析（黄标车查询，车驾管黄标车业务办理统计）卡口数据汇聚数据传输方式打通视频专网与公安内网，建立通信链路采用网闸设备实现数据传送数据引入实时性方案卡口数据接入方式：市区卡口设备鉴于网络级层太多、不稳定的因素，不建议采用“数据直采”的方式，可以采用“服务器推送”方式，市区卡口设备将数据首先推送到智能交通平台中，再由交警大数据平台进行主动抽取。数据接入监听方式采用消息队列进行数据接入和分发。解决如下问题：1.使用“多队列”的方式解决300万/天的数据量接入；2.实现数据的实时接入；3.为后续系统多项服务和多个节点提供数据分发服务。目录Contents01概要介绍02架构设计03功能介绍04关键技术05经典案例功能架构功能架构一次识别二次识别针对一次识别后的结果进行二次甄别，其主要输出结果包含车辆类型（可分为轿车、面包车、客车、货车等类），车辆品牌识别结果（大众、现代、奥迪、宝马、丰田等），车辆子类型识别（桑塔纳、帕萨特、宝来、伊兰特等等），车辆颜色识别（白、灰、黑、蓝等等）。随着社会的发展车辆的增加，人们对交通服务的要求越来越高，但目前基于卡口视频设备的一次识别信息已经远远不能满足需要。这就需要对卡口设备采集的信息做二次深入加工，从中获取更多的信息。经过卡口或电子警察系统进行的识别，识别对象的车辆号牌信息、车辆号牌颜色信息等，基于车辆号牌和车辆颜色信息，能够实现基本的违法行为辨识、车辆黑白名单比对报警等功能。车牌识别车型、颜色识别车辆识别车型识别模块货车客车面包车小轿车两轮车车辆品牌识别模块大众丰田现代日产雪铁龙标志奇瑞宝马奔驰奥迪别克长城长安福特马自达…车辆子品牌识别大众-宝来大众-捷达大众-桑塔纳大众-帕萨特大众-朗逸大众-速腾大众-迈腾大众-辉腾大众-高尔夫大众-Polo。。。目前可识别的车辆大类型主要有以下四种：主要分轿车、客车、面包车、货车；可识别常见的车品牌，包括大众、丰田、现代、日产、宝马、奔驰等等；可识别的子品牌，包括大众系列的宝来、捷达、桑塔纳、帕萨特等等；识别车辆颜色；把识别信息入库进行分析处理。车辆二次识别车脸识别车尾识别车辆识别比选与业内全国一流厂商多次进行比选碰撞（山东省内各家公司、省外各家公司）。潍坊交警支队局方挑选卡口、电警，白天、黑夜各500张图片进行车辆识别比选，识别结果排名第一。济宁市公安局局方挑选的10张、100张、1000张、5张特征车辆进行识别比选，识别结果排名在第一序列（局方不进行惟一排名，只筛选头两家厂商）。车辆识别_特征库依据车辆二次识别获取的基本特征（品牌、子品牌、颜色、类型）依据车辆三次识别获取的局部特征（年检标、实习标、纸抽、遮阳板、壁虎、车宠等）通过三千维度模型建立车辆的特征库，任意圈选车辆局部区域作为识别特征进行车辆搜索，以满足“以图搜车、特征搜车”的实战需要大大提高特征识别识别性能：特征比对（1秒）、结果反馈（5秒）工作平台个人工作台是民警个人的进入系统的快速入口，个人工作台显示民警个人工作中最为关注的信息和常用的系统功能模块，使用个人工作台可以极大的提高系统使用的便利性。工作平台自定义预警信息个人信息我的收藏公告信息系统入口卡口过车实时监控重点车辆违章车辆实时展现重点驾驶人一车一档一车一档，以车辆信息为主线建立车辆的360全角度的档案信息。车辆档案信息涉及机动车登记信息、业务信息、车辆违法信息、同车违法、常住人口、事故信息、过车记录、执法检查站、短信发送记录、重点营运车辆、整改通知、执法服务回访、车辆检验信息等。一人一档一人一档，以人员信息为主线建立驾驶人的360全角度的档案信息。人员档案信息涉及驾驶员基本信息、驾驶证信息、机动车信息、同证违章、常住人口、事故相关人、过车记录、检查站、短信记录、执法服务回访、考试信息等。以身份证号码为关联字段，整合驾驶人相关信息建立人员档案。可通过身份证号码、姓名进行搜索，搜索结果根据既定规则自动关联驾驶员基本信息、驾驶证信息、机动车信息、同证违章、常住人口、事故相关人、过车记录、检查站、短信记录、执法服务回访、考试信息等。所有人员的关联信息既可以以简要信息列表的形式展示又可以展示详细。智能搜车系统根据