一种实时地理位置数据分析技术的探索与实现

一种实时地理位置数据分析技术的探索与实现向华1(1.重庆数字城市科技有限公司，重庆市400020)摘要：随着近年来测绘地理信息应用的拓展和深入，海量实时地理位置数据的处理需求日渐增多。本课题为解决重庆市交巡警总队警车GPS点位实时数据处理需求，提出了一种实时地理位置数据分析技术。通过引入地理围栏、定义地理事件，利用Map-Reduce算法结合空间拓扑特性对数据进行处理，取得良好应用效果，使警务数据统计处理效率得到较大幅度提升。关键词：地理围栏、地理事件、交通地理信息ExplorationandImplementationofaRealTimeLocationDataAnalysisTechnologyXiangHua1(1.ChongqingCybercitySci-techco.Ltd)Abstract:Withthedevelopmentofgeographicinformationapplicationsinrecentyears,thedemandforreal-timelocationdataprocessingandanalysisisincreasing.Inordertosolvetheproblemofreal-timedataprocessingrequirementsoftheGPSpointsofthepolicecarinChongqing,thispaperpresentsareal-timelocationdataanalysistechnique.Thegeographicfenceandthedefinitionofgeographiceventsareintroduced.ThedataareprocessedbyMap-Reducealgorithmandthespatialtopologicalcharacteristicsareobtained.Theefficiencyofdataprocessingisgreatlyimproved.Keywords：Geo-Fencing,Geo-Event,Trafficgeographicinformation1引言随着近年来测绘地理信息应用的拓展和深入，对测绘获得的地理位置数据实时性要求日益提升。在物联网快速发展的条件下，各种地理位置数据通过测绘技术实时采集、依托计算机网络进行传输汇集，如涓涓细流汇入江河大海，形成海量的实时地理位置大数据。如何对其进行处理和利用，成为测绘地理信息领域亟待解决的新课题。交通管理警务工作中，就涉及大量的交通参与人行为数据和交通管理者行为数据。为了提升城市交通运行管理的效率和质量，重庆在全国率先推行全省（直辖市）交通警察和巡警合一的警务模式，成立的新警种简称交巡警。重庆交巡警刚一成立，即在主要城区建设了上百个街头固定警务平台，开展街头治安防控工作。但是固定的交巡警平台装置不便移动，逐渐难以适应警力灵活部署的要求，交巡警平台从固定装置向巡逻车辆转变。随着交巡警车辆工作模式的全面铺开，指挥中心通过车载GPS回传定位点，对警车进行定位、指挥调度。警车回传的GPS定位数据平均一秒钟约140-180个点，一天超过840余万，一月数据超过2.5亿，传统的地理信息统计方法因处理超时而失效。因此为了解决统计管理问题，引入地理围栏、定义地理事件，利用Map-Reduce算法结合空间拓扑特性对GPS地理位置大数据进行处理，探索出一套处理海量实时地理位置数据的新兴分析技术。2警务管理中的需求重庆市交巡警通过对警车GPS数据进行汇总、统计和分析，着手解决如下几方面问题：第一，是通过地理信息技术准确表达和传送警力部署和驻扎方案，能够描述在指定的时间、将指定的警车和警力安排在某个街头巡逻点；经过分发传送到一线予以执行，从而形成警力网络。第二，是指挥员及时发现警力异常状态。在进行了方案分发执行后，针对驻扎和巡逻区域，能够发现警力迟到、提前离开、缺席等异常情况。第三，是汇总一段时间内警力驻扎和巡逻情况进行统计，以此开展警务督导。需要高效、直观、准确地统计和反映出警力异常状态汇总情况，成为警务督导依据，提升效率。3引入地理围栏技术为了解决第一个问题，为后续的海量警车GPS实时地理信息数据分析提供基础条件，引入地理围栏（GeoFencing）技术进行探索并应用。定义具有时间和地理属性的地理围栏模型。通过对交巡警街头驻扎、巡逻的工作方式进行跟踪学习，掌握警力部署和指挥调度的一般方法。即在指定的时间段在指定的位置驻扎，或者在指定的时间端在指定的道路上巡逻。用文字指令不易表达，口语说明容易失真。在方案层层传递过程中易失真。将警力部署方案以闭合多边形或者矩形图元的方式，在电子地图上绘制出警力驻扎或巡逻的地理范围，并在范围数据中记录驻扎或巡逻的计划时间段，形成的具有时空限制条件的逻辑围栏。图1定义地理围栏图2地理围栏属性填充将地理围栏以任务形式指派给具体的警车。在目前的交巡警警力管理中，以警车作为一个警务小组的代指，根据不同的车型配备一定数量的民警。将警力资源和地理围栏进行关联。可准确直观地描述定时定地的警力部署要求。通过公安计算机网络安全传递警力部署方案。警力部署方案准确可靠保密的传送是一项具有重要意义的任务，原来通过对讲机呼喊的方式容易导致信息失真，也容易泄密透露警力位置（警用对讲机频道被人监听等情况时有发生）。在本次研究中，找到通过地理围栏数字化表达警力部署方案的方法，也研究出通过公安计算机网络将部署方案进行传送的方法，以电子地图的形式使PGIS平台延伸到的用户均可授权访问。地理围栏和传统方式表达警力方案的区别。如下表所示：表1各种警力方案表达模式比较表达模式载体制定方式传达方式指挥效率口头指令调度语言口头部署对讲机中文字指令调度文字记录文字描述短信或警务通中纸质图纸调度图形记录图纸绘制传真或人工送达中本课题GIS系统在线电脑绘制计算机网络高4定义和处理地理事件为了表达警力异常，定义地理事件（GeoEvent）。地理事件是近年来的一个新兴的地理科学术语，它发源于时下热火朝天的移动互联网LBS、O2O领域，在这一领域中对用户的位置变化予以逻辑行为的抽象定义。本课题引入地理事件的概念，用以表述一个图元对象在电子地图上移动时与地理围栏发生拓扑关系变化的情况。图元对象进入到地理围栏内，触发“进入事件”；图元对象从地理围栏中移出，触发“离开事件”；图元对象消失，触发“消失事件”。一个地理事件被触发后，即创建一个事件信标，在计算机系统中可在程序支持下激活一连串的软件功能，包括地理事件的存储、展现、处理和转发。图3常见地理事件定义在本课题中，地理事件与地理围栏相辅相成，地理围栏用以描述警力部署，地理事件则用来解析为警力的状态。将警力GPS定位数据和地理围栏空间数据进行拓扑分析，把分析结果用地理事件来进行表示，然后与地理围栏的时段属性进行比对，能够高效地发现警力异常状态，包括迟到、脱岗、缺勤等等。5实时地理信息分析算法警车GPS定位数据一天超过840余万个，一月数据超过2.5亿个GPS点，传统的地理统计方法均超时失效。为此开拓性地引入Map-Reduce方法对地理位置大数据进行实时映射-规约处理。以GPS定位数据和地理围栏等空间数据为依托，实时判读是否触发地理事件，将先存储后统计GPS点位的传统处理流程，映射-规约为地理事件的存储和分析。该方法大幅度缩减了统计运算的数据源规模，将花费数小时的计算时间缩减到为以秒为单位计算的时间，效率提升数千倍；同时统计信息不失真，是地理信息化管理领域可推广的新型技术方法。与传统方法的对比如下表所示：表2警力状态的获取形式比较获取形式状态采集判断方式传输方式统计效率现场抽查现场调研人工判断人工传输低对讲机点名对讲机依次喊话人工判断对讲机传输中视频点名视频依次浏览人工判断计算机网络中本课题GPS回传依托地理围栏激活地理事件计算机自动判断计算机网络高警车上安装的GPS设备通过移动通讯网络回传定位点，同时应用多基站逐次逼近定位方法辅助提升定位经度。进行GPS大数据Map-Reduce映射-规约时，根据GPS定位数据判定是否触发地理事件。判定算法采用数据流处理方式，当一个GPS定位点被作为处理对象传入到处理机当中时，将根据其定位时间回溯同一车辆的前时序点，形成该车辆的GPS移动轨迹。然后将轨迹与该车辆部署时对应的地理围栏进行匹配对比，判定触发具体的地理事件。其算法概要逻辑如下图所示：开始检测资源是否存在加载驻点区域Y有无数据遍历驻点区域Y是否正常加载车辆列表Y有无数据遍历车辆列表YN计算车辆状态写入MapReduce表中NNN写入日志文件NN加载巡逻区域有无数据遍历巡逻区域Y是否正常加载车辆列表Y有无数据遍历车辆列表YN计算车辆状态NNNN图5MapReduce处理逻辑编写的实时GPS点位处理程序部署在专用GPS数据解析服务器上，并且以多进程（每个进程下还有多线程）方式运行，在并行计算算法的支持下充分利用了当下多核处理器的性能。通过Windows服务管理器对各个进程进行控制，确保了对进程状态的监控。6数据处理效率对比本方法涉及的软件编码完成上线后，与传统的数据库统计方法进行了一次比较计算。通过一周的警务车辆运行情况，统计出一周以来迟到的警务车辆。对比情况如下表所示：表3数据处理效率对比方法定义处理对象及量级前置条件和开销处理耗时情况描述GPS数据和地理围栏统计800万*7天*180个围栏=100.8亿将GPS点存储到数据库中，索引约4~6小时汇总统计数据方法，须覆盖全部海量统计对象仅仅统计地理事件3000车辆*8个事件*7天=16.8万利用MapReduce算法实时规约10s内通过规约映射后的统计对象大幅度数量级下降通过上表对比可以发现，虽然在实时处理地理事件时为服务器带来少量的额外计算开销，但与汇总统计相比，得到结果的计算效率有较大幅度提升。7数据计算误差纠正目前地理事件的触发以GPS定位数据的变化为触发器，由于GPS定位点在实际使用过程中存在信号干扰、飘移、跳变等情况。为了使地理事件的判定更加准确，引入信度变量来进行事件验证。当一个地理事件被触发后，根据触发该事件的GPS定位数据上的时间戳，统计后续一段时间内收到的新GPS定位数据，使用这些定位数据去验证之前的地理事件，每当验证成功一次，信度变量增值，当信度变量增值达到一定程度，即可确信该地理事件为真实可信的。其算法流程如下图所示：图6信度变量计算处理流程图8结语研发的地理位置数据分析技术在交通巡逻警务管理中持续产生作用，自从成果软件2014年年末在重庆市交巡警总队上线投入使用以来，已平稳运行了约一年。在这一运行周期中，对全市几千辆警务车辆的GPS点位进行分析和处理，每天处理数据量超过840万条。依托课题成果软件系统，重庆市交巡警对警力部署和调度的新管理模式得以推行和优化，对提升街头震慑力和巡逻覆盖率做出了贡献，使街头治安事件的发生率保持在较低水平。提升了交通拥堵的疏导效率，使警车的有效驻扎时间从原来的每车/月不足120小时，提升到每车/月不低于200小时。同时实时地理位置数据分析技术中涉及的地理围栏、地理事件和Map-Reduce方法，在地理信息领域和互联网搜索领域均为逐渐成熟的方法，但其交叉应用却较为罕见。本项目针对本方法的尝试，是一种融合性创新，同时通过引入信度变量的计算提升了地理事件判定的准确性，为后续开展地理事件的进一步应用夯实了基础。通过探索和实践，我们认为本方法不仅能应用在交通警务管理中，还可以向其他需要实时处理海量GPS数据的行业推广，如物流、安监、高速公路管理等，具有良好的应用价值。参考文献[1].薛梅.基于空间建模的公共安全情报分析初探[J].测绘与空间地理信息.2011,3:113-115[2].朱圣,向煜,宋华平.警用地理信息栅格电子地图制作研究[J].城市勘测.2012,5:98-101[3].张建,吕楠,刘寓.PGIS空间数据实时同步技术研究.城市勘测[J].2013,1:48-50[4].向煜,唐德斌,易佳,张建,白宝玉.基于PGIS平台的定点