大数据及其在城市智能交通系统中的应用综述-陆化普-百度概要

第15卷第5期2015年10月交通运输系统工程与信息JournalofTransportationSystemsEngineeringandInformationTechnologyVol.15No.5October2015文章编号:1009-6744(201505-0045-08中图分类号:U491.1文献标志码:A大数据及其在城市智能交通系统中的应用综述陆化普*,孙智源,屈闻聪(清华大学交通研究所,北京100084摘要:大数据给城市智能交通系统的技术发展与应用革新带来了机遇和挑战.从交通大数据的基本概念、交通大数据带来的问题和大数据驱动的数学建模方法等方面,阐述了交通大数据给智能交通系统带来的变革.为了深入理解交通大数据的内涵,分析交通大数据的产生背景,提出了交通大数据的“6V”特征,总结了智能交通系统中大数据的基本类型.面对交通大数据带来的数据安全、网络通信、计算效率和数据存储等诸多问题,提出了应对策略和思路.对数据驱动的建模方法进行了分析,说明了混合模型的意义.最后,讨论了大数据驱动的智能交通系统的体系框架.关键词:智能交通;交通大数据;数据驱动;智能交通系统BigDataandItsApplicationsinUrbanIntelligentTransportationSystemLUHua-pu,SUNZhi-yuan,QUWen-cong(InstituteofTransportationEngineering,TsinghuaUniversity,Beijing100084,ChinaAbstract:Bigdatabringsbothopportunitiesandchallengestotechnologicaldevelopmentandapplicationinnovationofurbanintelligenttransportationsystem.SignificantchangesofITS,whichbroughtbytrafficbigdata,areshowninthreeaspects:theconceptoftrafficbigdata,problemsbroughtbytrafficbigdata,andbig-data-drivenbasedmathematicmodelingmethods.Thispaperisintendedtodeeplyunderstandbigdata,thebackgroundandcategoryoftrafficbigdataaresketched,the“6V”characteristicsoftrafficbigdataareproposed,thebasictypesoftrafficbigdatainITSaresummarized.Strategiesandideasarepresentedbasedontheproblemsoftrafficbigdata,namely,datasecurity,networkcommunication,computationalefficiency,anddatastorage.Thispaperalsoanalyzesthemethodofdatadrivenmodel,anddescribesthesignificanceofhybridmodel.Finally,systemframeworkofITSbasedontrafficbigdataisproposed.Keywords:intelligenttransportation;trafficbigdata;datadriven;intelligenttransportationsystem1引言随着信息技术、通信技术、计算机技术等的快速发展,数字城市(DigitalCity与智慧城市(SmartCtiy接踵而来.1998年1月,美国前副总统戈尔发表了题为“数字地球——新世纪人类星球之认识(TheDigitalEarth:Understandingourplanetinthe收稿日期:2015-02-04修回日期:2015-08-30录用日期:2015-09-09基金项目:“十二五”国家科技支撑计划(2014BAG01B04-03;国家自然科学基金(51408023;清华大学苏州汽车研究院(吴江返校经费课题(2015WJ-B-02.作者简介:陆化普(1957-,男,辽宁铁岭人,教授.*通信作者:[e-mail]:10.16097/j.cnki.1009-6744.2015.05.007交通运输系统工程与信息2015年10月21stCentury”的演说,数字地球的概念由此产生[1].2008年11月,时任IBM董事长兼CEO的彭明盛发布了题为“智慧地球:下一代领导人议程(ASmarterPlanet:TheNextLeadershipAgenda”的主题报告,正式提出了“智慧地球”(SmartPlanet的概念[2].数字城市和智慧城市都是美国的舶来品,二者都是信息化背景下现代城市发展的高级形态.当前,英国提出了“数字英国(DigitalBritain”计划[3],韩国提出了“U-Korea”战略和“U-City”综合计划[4],我国于2013年前后开展智慧城市试点示范工作[5].数字城市与智慧城市的建设促进了移动互联网、物联网、云计算等技术的发展,并直接推动了大数据(Bigdata时代的来临.2008年,Nature出版了“BigData”专刊[6];2011年,Science出版了“DealingwithData”专刊[7].2012年,美国政府正式发布了“大数据研究和发展倡议”[8];我国于2011年发布了“物联网‘十二五’发展规划”,并陆续发布了一系列的发展规划与白皮书.在交通领域,传统的数据采集向电子化设备与高级应用转变,助力交通大数据的形成与发展.从传统的感应线圈和微波雷达等固定检测、基于浮动车的移动检测,向北斗卫星导航系统[9]、智能手机[10]等新型检测手段,以及集约的交通传感器布局[11]和稳定的多源数据融合[12]方向发展.交通大数据为“感知现在、预测未来、面向服务”[13]提供了最基本的数据支撑,是解决城市交通问题的最基本条件,是制定宏观城市交通发展战略和建设规划,进行微观道路交通管理与控制的重要保障.数据是智能交通系统的基础,交通数据采集手段和处理方法的深度革新将引领智能交通系统的变革.在大数据背景下,对交通大数据进行深度分析,明确交通大数据的基本概念,了解交通大数据带来的问题,理解大数据驱动的数学建模方法,探讨在智能交通系统中的应用具有非常重要的意义.2交通大数据的基本概念2.1交通大数据的特征交通大数据与传统交通数据的不同主要体现在特征中.当前对大数据特征的描述主要有:3V[14]、4V[15]和5V[16]等.结合交通大数据的基本类型,认为交通大数据具有6V特征,具体如表1所示.表1交通大数据的特征Table1Characteristicsoftrafficbigdata2.2智能交通系统中的大数据根据数据来源分布,智能交通系统中的大数据划分如表2所示.(1交通流数据(固定检测器.传统固定检测器获取的交通流数据为智能交通系统的传统应用提供了基础数据支撑.以北京为例,基于微波雷达、超声波、感应线圈、视频监控等检测器,北京市公安局公安交通管理局建立了交通信息采集、处理、发布系统,北京市道路交通流预测预报系统[17]等.表2智能交通系统中的大数据Table2BigdatainITS46第15卷第5期大数据及其在城市智能交通系统中的应用综述(2交通流数据(移动检测器.通过固定检测器与移动检测器的数据融合[18],获取更加准确的交通流数据.以北京为例,北京市公安局公安交通管理局开展了“北京市道路交通流综合分析与数据质量评价体系研究”的项目,对固定检测器、移动检测器等获取的多源数据进行研究,优化交通数据质量[19].(3位置数据(移动检测.先进的移动通信技术拓展了交通移动检测的应用范围,由传统的交通流数据获取推广到位置数据的获取,使得基于位置的服务成为可能.基于公交智能卡的数据,实现出行者出行行为的分析,为公交基础设施建设和运营服务管理提供支持[20].基于出租车车载终端的数据,研究出行距离、出行时间和道路偏好对驾驶员路径选择的影响,进而实现路径的预测[21].应用智能手机,可实现出行轨迹、出行方式、出行范围、出行总量等的获取[22,23].此外,车联网的出现大大提高了城市交通信息综合获取的水平,丰富了交通数据来源和发布途径[24,25].海量位置数据的处理和分析,为交通出行行为分析[26],公交系统优化[27],车辆优先控制[28]等提供了支撑.(4非结构化视频数据非结构化视频数据一方面可用于宏观态势监控,以广西柳州为例,建设高空高清视频监控系统,掌控多交叉口或较大区域的交通宏观态势.一方面,通过视频处理模块,提供交通流特征参数及其他参数,以卡口系统、电子警察系统等为例,还可应用于车辆类型识别[29]、交通状态识别[30]等.(5多源的互联网、政务网数据互联网、政务网为智能交通系统提供了广泛的数据来源与发布途径.以社交网络为代表的互联网可为智能交通系统提供交通事件的视频等数据.另外,互联网也可成为交警非现场执法、公交系统优化等的重要数据来源.政务网为城市决策者和管理者提供了安全稳定的信息交互平台.通过政务网,可为智能交通系统接入城市路网结构、气象变化、特大活动、突发事件、应急救援等数据.3交通大数据带来的问题3.1数据安全问题交通大数据具有“Value”特征,蕴含了众多的信息,有些信息涉及国家安全,例如,公安网传输的数据;有些信息涉及个人隐私,例如,卡口系统检测的车辆轨迹数据.在交通大数据采集、传输、存储、处理、应用等过程中,数据安全问题非常重要.智能交通系统依托智能交通专网进行系统内部的数据传输,以及与外网之间的数据交互时,必须符合规范和标准,保证网络安全[31].另外,在数据处理过程中,需要遵循隐私保护机制,应用隐私保护方法[32].交通大数据具有“Veracity”特征,去伪存真是数据安全的另一重要问题.大量的冗余数据和错误数据不仅占据大量的存储空间,浪费存储资源,还会大大降低数据分析的有效性和稳定性[33].进行异常数据识别,缺失数据补充,错误数据修正,冗余数据消除具有非常重要的意义.3.2网络通信问题交通大数据具有“Volume”、“Velocity”、“Visualization”特征,要求网络通信要满足大容量数据的快速、稳定传输,特别是高清视频图像数据.交通大数据的“Variety”特征决定网络通信方式的多样化.目前,城市建立智能交通系统多采用自建专网、租用城市公网相结合的模式,具备有线通信与无线通信并存且互通特征.智能交通系统常用的网络通信技术包括:有线电缆、光纤通信网络、无线传感网络、移动通信系统、卫星定位系统等.3.3计算效率问题交通大数据具有“Velocity”特征,要求智能交通系统具备较高的计算效率,例如,交通数据预处理,交通状态识别,短时交通流预测,实时交通流控制,动态交通诱导,实时公交调度等均具有时效性要求.云计算技术的发展带来了新的解决方案,智能交通云的概念由此提出[34].基于云计算技术,使得计算机硬件和软件得到有效利用,提高智能交通系统的计算效率.3.4数据存储问题交通大数据具有“Volume”特征,特别是长时间序列的非结构化数据积累,给数据存储带来了47交通运输系统工程与信息2015年10月巨大的压力.存储技术的发展远赶不上数据增长的速度,大量存储服务器的购买提高了智能交通系统的建设成本,并占用了数据中心的建筑面积.当前智能交通系统均采取缩短数据保存时限,降低数据存储质量的方式来减少存储成本,影响了大数据的价值.云存储技术的发展带来了新的解决方案,基于云存储与智能压缩算法可以初步解决大数据的存储问题.4大数据驱动的数学建模方法2000年,