基于海量物流轨迹数据的分析挖掘系统

（申请工学硕士学位论文）基于海量物流轨迹数据的分析挖掘系统培养单位：信息工程学院学科专业：通信与信息系统研究生：甘波指导教师：周云耀教授2014年6月基于海量物流轨迹数据的分析挖掘系统甘波武汉理工大学分类号密级公开UDC学校代码10497学位论文题目基于海量物流轨迹数据的分析挖掘系统英文题目AnalysisandMiningSystemBasedonMassiveData研究生姓名甘波姓名周云耀职称教授学位博士单位名称武汉理工大学信息工程学院邮编430070申请学位级别硕士学科专业名称通信与信息系统论文提交日期论文答辩日期学位授予单位武汉理工大学学位授予日期答辩委员会主席刘泉评阅人刘泉刘可文2014年6月指导教师独创性声明本人声明，所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成果。尽这里所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得武汉理工大学或其他教育机构的学位或证书而使用过的材料。与这里一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。签名：日期：学位论文使用授权书本人完全了解武汉理工大学有关保留、使用学位论文的规定，即学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权武汉理工大学可以将本学位论文的全部内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段保存或汇编本学位论文。同时授权经武汉理工大学认可的国家有关机构或论文数据库使用或收录本学位论文，并向社会公众提供信息服务。（保密的论文在解密后应遵守此规定）研究生（签名）：导师（签名）：日期：武汉理工大学硕士学位论文I摘要电子商务盛行的今天，物流行业空前繁荣，物流车辆的海量GPS数据量也越来越多，这些数据包含很多关于交通路况、车辆甚至社会经济发展等信息。轨迹数据挖掘主要通过统计和分析车辆行驶距离、停车时间、地理位置信息、车辆特征等发现货运线路特征，为物流公司提供基于时间、成本等车辆调度方案以及衍生出来的一系列LBS[1]应用提供服务。本文以海量GPS数据作为数据源，利用海量轨迹数据挖掘和道路推荐相关理论，通过建立聚类模型和分析海量GPS数据来了解物流车辆行驶规律，提出针对物流车辆货运线路推荐系统的设计框架并实现。其中重点就是数据预处理方法，停车点侦测和路径分割方法，相似货运轨迹聚类和货运线路推荐四个方面进行了深入研究。具体工作如下：（1）作为轨迹数据挖掘的必要工作，研究了预处理方法，包括数据清洗，数据中的异常进行侦查和排除，并针对本系统所有的GPS数据进行了特征分析和提出了一种基于历史轨迹数据的异常点检测算法。本文提出的算法在处理海量轨迹数据时具有时间复杂度低的特点。（2）停车点侦测和路径分割可以发现物流车辆的上下货的模式，本文依据朴素贝叶斯算法提出一种新的基于历史数据的路径分割算法，根据物流车辆在上下货时的停车和普通停车在时空属性上的不同，将轨迹进行分割。（3）相似货运轨迹聚类将相同起始点和终点的轨迹规则化后投射到同一纬度然后分析轨迹特征，采用K均值聚类算法将这些规则化后的轨迹聚类，聚类后的结果中可以发现物流车辆频繁的行驶轨迹。（4）货运线路推荐方面，设计了基于历史轨迹数据在时间，距离以及成本的不同，得出相应的推荐线路指导物流司机采用合理的行驶方案。经测试表明，论文中使用的轨迹预处理方法与传统预处理方法相比速度更快、效率更高，但是牺牲了一些准确度，停车点侦测和轨迹分割达到了良好的效果。研究成果对于缺失车辆卸货点的轨迹分析有十分重要的理论意义。关键词：贝叶斯分类器，轨迹数据挖掘，路径分割，异常点过滤，K均值聚类武汉理工大学硕士学位论文IIAbstractIntheageoftheelectroniccommerce,theelectroniccommerce,logisticsindustry,logisticsvehiclesaremoreprosperitythanever.MoreandmorelogisticsvehiclesGPSdataareproduced.Thesedatacontainalotoftrafficinformationsuchasroadconditions,vehicles,andevensocialandeconomicdevelopment.Throughstatisticsandanalysisofvehicledrivingdistance,time,location,vehicleparkingcharacteristics,trajectorydataminingcanfindshippinglinecharacteristics,providelogisticscompanybasedonvehicleschedulingschemessuchastime,cost,andderivedaseriesofLBSapplication.TakingmassiveGPSdataasthedatasource,usingmassivetrajectorydataminingandrelatedtheoryofroadrecommending,composedbyonlineandofflinesystem,thispaperproposesandrealizesadesignframeworkofrouterecommendingsystemforlogisticsvehiclethroughestablishingclusteringmodelandanalyzingmassiveGPSdatatounderstandthedrivingruleoflogisticsvehicles.Thekeyapproachisdeepstudyingondatapreprocessing,stopsdetecting,routesegmenting,similarfreighttrajectoryclusteringandfreightlinesrecommending.Thespecificworkisasfollows:Asanecessaryworkintrajectorydatamining，istudythepretreatmentmethod,includingdatacleaning,dataofabnormaldetectionandexclusion,andwiththecharacteristicsofthissystemalltheGPSdatainanalysisandputforwardakindofanomalydetectionalgorithmbasedonthehistoricaltrajectorydata.Thealgorithmformassivedataprocessinghaslowtimecomplexity.Parkingpointsdetectionandpathintegralcanfindthatthepatternoflogisticsvehiclesandgoods.Inthispaper,onthebasisofnaivebayesalgorithm,iputforwardanewwayfortrajectorysegmentation,accordingtothelogisticsvehicleparkingandordinaryponitsusingthedifferentattributesoftimeandspacebetweenthemwhengoodsareloadedandunloaded.Iregulatefreighttrajectoriesclusteringsimilartothesamestartingpointandendpointofthetrajectory.thenprojectthemonthesamelatitude.Afterthatusingk-meansalgorithm,thecharacteristicoftrajectoryisanalyzed,andfinallyget武汉理工大学硕士学位论文IIIlogisticsvehiclegeneralmovementtracks.Intherecommendationofshippinglines,basedonthedifferenceofhistoricaltrajectorydataintime,distanceandcost,idesignanddrawthecorrespondingrecommendedrouteguidancewhichlogisticsdriveradoptsthroughreasonabledrivingscheme.Comparedwithtraditionalpretreatmentmethod.Thesetestsshowthatthemethodofpretreatmenttrajectoryisfaster,moreefficient,butsacrificingsomeprecision.Detectingparkingspotsandtracksegmentationachievegoodeffects.Inthecasesofmissingstopsofvehicletrajectoryanalysis,theresearchresultshaveveryimportanttheoreticalsignificance.Keywords:bayesianclassifier,trajectorydatamining,carving,abnormalpointfilter,k-meansclustering武汉理工大学硕士学位论文IV目录摘要.................................................................................................................................IAbstract...............................................................................................................................II目录................................................................................................................................IV第1章绪论.....................................................................................................................11.1课题来源..............................................................................................................11.2研究的背景和意义..............................................................................................11.3国内外研究现状..................................................................................................21.4论文内容和组织结构......................