大数据与在城市规划中的应用知识分享

大数据BIGDATA现代城市规划理论深入认知初识大数据在城市交通研究中的应用大数据在城市空间研究中的应用大数据在城市研究中的应用大数据的基本概况“大数据”学习路线【LEARNINGPROCESS】大数据的基本概况1大数据的定义1.1城市规划中的新兴数据1.2CONTENTSCONTENTS大数据的定义1.1“大数据”这个术语最早期的引用可追溯到apacheorg的开源项目Nutch。当时，大数据用来描述为更新网络搜索索引需要同时进行批量处理或分析的大量数据集。2004年1.1.1大数据定义主要发展变化时间轴美国咨询公司麦肯锡在其研究大数据的报告中定义：大小超出常规的数据库工具获取、存储、管理和分析能力的数据集。(参考：Bigdata:Thenextfrontierforinnovation,competition,andproductivity)大数据不是一个精确的术语，它是对无穷尽的各种类型数据积累的描述。（参考：MakingsenseofBigData[M].Technologyforecast,Aquarterlyjournal,2010）2010年1.1大数据的定义【CONCEPT】2011年大数据：下一个创新、竞争、生产的先驱在维克托·迈尔·舍恩伯格及肯尼斯·库克耶的《大数据时代》中，大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据的方法。(参考：BigData:ARevolutionThatWillTransformHowWeLive,Work,andThink)维基百科中定义到：“巨量资料(bigdata)，或称大数据，指所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理并整理成为帮助企业经营决策更积极目的资讯。1.1.1大数据定义主要发展变化时间轴1.1大数据的定义【CONCEPT】2012年2014年美国研究机构定义到：大数据是基于新的处理模式而产生的具有强大的决策力、洞察力以及流程优化能力的多样性的、海量的且增长率高的信息资产。（参考：HypeCycleforBigData,2012）Volume数据体量巨大。包括采集、存储和计算的量都非常大.Variety数据类型繁多。包括网络日志、音频、视频、图片、地理位置信息等，对数据处理能力有高要求。Velocity处理速度快，时效性要求高。这是区分于传统数据挖掘最显著的特征。Veracity/Value价值密度低，商业价值高。信息无处不在，但价值密度较低，如何精准通过数据价值“提纯”是关键。1.1大数据的定义【CONCEPT】1.1.2基于大数据特征的定义归纳对于大数据尚未有一个公认的定义，然而大多数不同的定义基本是从大数据的特征出发，通过这些特征的阐述和归纳试图给出其定义。3V定义：规模性（volume）、多样性（variety）、高速性（velocity）。4V定义：价值性（value）/真实性（veracity）。CONTENTS城市规划中的新兴数据1.21.2城市规划中的新兴数据1.2.1常见新兴数据类型大数据的出现不仅为科学、商业、教育等领域带来变革，也为城市规划行业的数据研究开辟了新世界。常见规划新兴数据大致可分为：感知数据、政府公开数据、互联网数据、开放地图数据、移动通信数据等，如图1.1。李乐，张恒，孙保磊，李刚.大数据在城市规划中的应用研究[R].天津：天津市城市规划设计研究院，2015.传统规划数据类型各类型常见具体数据例举遥感测绘数据如电子地图、航拍影像图、卫星遥感数据、地形图、建筑模型、地下管网数据等统计数据如社会、经济、人口等统计年鉴数据调查数据如规划现场踏勘数据集知识数据如论文期刊、规划案例、会议讲座、电子图书、照片视频等规划成果数据如总规、控规、专项规划成果等业务数据如规划院行政管理数据、各委办局专业数据等表1.1传统规划数据常见类型图1.1城市规划新兴数据常见类型【EMERGINGDATA】1.2城市规划中的新兴数据1.2.2新兴数据的特征基于传统规划数据与新兴数据的对比，我们可以浅析城市规划行业新兴数据的特征优势：两者在数据来源、体量范围、时效性等方面具有很大的差异（如表1.2所示）。李乐，张恒，孙保磊，李刚.大数据在城市规划中的应用研究[R].天津：天津市城市规划设计研究院，2015.表1.2城市规划传统数据与新兴数据对比【EMERGINGDATA】大数据在城市研究中的应用2相关研究综述2.1相关案例分析2.2CONTENTSCONTENTS相关研究综述2.12.1相关研究综述【RESEARCHOVERVIEW】2.1.1主要研究对象分类城市人口方面的研究城市空间方面的研究城市交通方面的研究城市管理方面的研究2.1相关研究综述2.1.2不同研究对象具体探究研究对象基于数据的研究与应用所采用的数据类型具体案例参考城市空间识别空间热点POI数据（导航地图信息数据）社交网络数据（签到数据、用户地理位置数据）公共服务设施评价和选址POI数据（导航地图信息数据）社交网络数据（用户地理位置数据、活动信息数据、情感文本数据）商业选址POI数据（导航地图信息数据）POI数据（导航地图信息数据）工业规划城市监测设备数据（视频监控数据、环境与气象数据）城市功能混合度评价POI数据（导航地图信息数据）土地投资与开发POI数据（导航地图信息数据）职住空间关系浮动车数据（GPS定位数据、出行轨迹数据）XiLiu,LiGong,YongxiGong,YuLiu*,Revealingtravelpatternsandcitystructurewithtaxitripdata.JournalofTransportGeography,2015,43,78-90.空间昼夜平衡浮动车数据（GPS定位数据、出行轨迹数据）空间效率浮动车数据（GPS定位数据、出行轨迹数据）空间评价与空间优化社交网络数据（用户地理位置数据、活动信息数据、情感文本数据）2.1相关研究综述2.1.2不同研究对象具体探究研究对象基于数据的研究与应用所采用的数据类型具体案例参考城市空间城市各功能区和组团之间的联系交通流数据(智能交通刷卡数据)手机数据（通话联系数据、定位数据）城市土地利用和空间结构浮动车数据（GPS定位数据、出行轨迹数据）POI数据（导航地图信息数据）城市空间交互社交网络数据（签到数据、用户地理位置数据）LiuY,SuiZ,KangC,GaoY(2014).UncoveringPatternsofInterUrbanTripandSpatialInteractionfromSocialMediaCheck-InData.PlosOne9(1):e86026.城市间关联程度交通流数据(航班/铁路班次信息数据)手机数据（通话联系数据、定位数据）刘瑜(项目主持).基于海量时空数据的城市居民移动模式研究(41271386),自然科学基金,2013.城镇群形态与发育程度交通流数据(航班/铁路班次信息数据)2.1相关研究综述【RESEARCHREVIEW】2.1.2不同研究对象具体探究研究对象基于数据的研究与应用所采用的数据类型具体案例参考城市人口人口流动监测手机数据（定位数据）浮动车数据（GPS定位数据、出行轨迹数据）交通流数据(智能交通刷卡数据、航班/铁路班次信息数据)市民出行活动城市监测设备数据（视频监控数据、环境与气象数据）社交网络数据（活动信息数据、情感文本数据）精细化人口职住位置分析手机数据（通话联系数据、定位数据）外来人口（游客）行为分析手机数据（通话联系数据、定位数据）特征人群识别和行为分析手机数据（通话联系数据、定位数据）社交网络数据（签到数据、活动信息数据、情感文本数据）刘瑜(项目主持).基于海量时空数据的城市居民移动模式研究(41271386),自然科学基金,2013.特定区域人群行为分析和空间优化手机数据（通话联系数据、定位数据）人群移动模式及时空分布特征手机数据（通话联系数据、定位数据）浮动车数据（GPS定位数据、出行轨迹数据）2.1相关研究综述【RESEARCHREVIEW】2.1.2不同研究对象具体探究研究对象基于数据的研究与应用所采用的数据类型具体案例参考城市交通地图导航与最优路线选择POI数据（导航地图信息数据）手机数据（定位数据）浮动车数据（GPS定位数据、出行轨迹数据）公共交通出行交通流数据(智能交通刷卡数据)城市监测设备数据（视频监控数据）出行目的与出行模式手机数据（通话联系数据、定位数据）浮动车数据（GPS定位数据、出行轨迹数据）LiGong,XiLiu,LunWu,YuLiu*,Inferringtrippurposesanduncoveringtravelpatternsfromtaxitrajectorydata.CartographyandGeogra-phicInformationScience.车速推演和道路交通评价手机数据（通话联系数据、定位数据）OD调查浮动车数据（GPS定位数据、出行轨迹数据）交通流数据(智能交通刷卡数据)交通用地一体化分析手机数据（通话联系数据、定位数据）交通管理城市监测设备数据（视频监控数据）浮动车数据（GPS定位数据、出行轨迹数据）2.1相关研究综述2.1.2不同研究对象具体探究研究对象基于数据的研究与应用所采用的数据类型具体案例参考城市管理社区安保及室内安防城市监测设备数据（视频监控数据）公共空间管理社交网络数据（用户地理位置数据、活动信息数据、情感文本数据）城市大型活动的应急管理社交网络数据（用户地理位置数据、活动信息数据、情感文本数据）环境治理城市监测设备数据（环境与气象数据）CONTENTS相关案例分析2.21.相关研究具体案例：基于海量时空数据的城市居民移动模式研究（2013）2.研究中所采用的大数据：利用位置感知设备（如手机、GPS接收机等）获取海量个体移动数据3.基于数据所提取的信息：集成地理信息系统、空间统计分析、数据挖掘等技术方法，挖掘城市居民移动模式及时空分布特征，分析该模式与城市土地利用、人口密度、交通网络等不同地理要素之间的关系。4.相关研究结论：建立城市尺度上的人类移动解释性模型，为城市活动系统的优化及各种城市问题的有效解决提供科学支撑。城市人口研究方面基于不同数据提取的城市不同地点活动量的日变化特征刘瑜(项目主持).基于海量时空数据的城市居民移动模式研究(41271386),自然科学基金,2013.刘瑜,肖昱,高松,康朝贵,王瑶莉.基于位置感知设备的人类移动研究综述[J].地理与地理信息科学,2011,27(4).2.2相关案例分析【CASE】1.相关研究具体案例：城市大型活动的应急管理，可以来张情绪地图（2015）2.研究中所采用的大数据：社交网络数据中的地理信息数据以及情绪文本数据3.基于数据所提取的信息：可以借此分析大型政治事件及公共活动中，市民的不同感受和情绪的地理空间分布情况。4.相关研究结论：对可能出现的城市危机进行预测和监控。城市管理研究方面任珏.城市大型活动的应急管理，可以来张情绪地图[EB/OL].罗马“危机可视化”地图罗马骚乱的数字化危机地图2.2相关案例分析【CASE】挑战和机遇3大数据的局限性3.1大数据推动规划行业变革3.2CONTENTSCONTENTS大数据的局限性3.13.1.1数据的开放性局限目前国内规划学者应用的大数据主要掌握在政府部门和企事业单位等第三方手中，数据的开放意识薄弱，开放壁垒森严，导致规划师经常面临难以获取所需数据或者是需要支付高额的费用才能获取数据的情况，极大限制了大数据在规划领域的广泛应用。3.1.2数据的技术方法局限由于大数据价值密度低和冗余性的特性，搜集到的数据并不能直接为得出结果服务，因此对数据处理技术提出很高的要求。而目前既有的大数据技术方法专业性过强、界面过于复杂，一般的城市规划师难以掌握，也难以迅速地在规划项目中使用。3.1.3数据的准确性和完整性局限新