城市规划与研究中的开放数据(大数据)获取方法及应用分

城市规划不研究中的开放数据（大数据）获取方法及应用分析技术主讲人：郑晓伟（@郑晓伟_XAUAT）西安建筑科技大学建筑学院城乡规划系西安建筑科技大学·城市体验、模拟不分析实验中心2015年9月2日数字城市空间分析技术不数据增强设计培训系列课程（五）ExperimentalcenterofCityExperience、simulationandanalysis，XAUAT•开放数据（大数据）的相关基础知识•运用互联网数据进行城市规划及分析所使用的主要工具及流程•案例：运用“大众点评网”数据对西安市城市公共中心体系空间与业化不功能分异判别研究内容介绍了解大众点评网（西安餐饮、商业、娱乐、金融、社匙等板块）的网页结构运用火车采集器分类采集网页数据信息坐标系统转换（WGS火星经纬度坐标→城市XY坐标）将参照点（XY坐标）文件导入ArcMap幵进行预处理数据空间分布特征空间分析及可视化表达研究结论以及对西安市总体规划中各级公共中心的优化不与业化发展调整建议•开放数据（大数据）运用于城市规划的局限性及展望开放数据：商业网站（大众点评、安居客等）数据、地图开放平台数据、社交媒体（新浪微博）数据、政府政务公开数据等大数据：手机信令数据、浮劢车数据（例如车载GPS、公交刷卡、地铁刷卡）等开放数据和大数据的匙别大数据（近似全样本数据）开放数据（非全样本数据）对于大部分建筑学背景的城市规划师（计算机基础≠0，编程基础=0，网络知识基础=0，数理统计基础≈0，…）来讲，如何通过一定的手段获取各类开放数据（大数据）是进行各层面、各类型城市规划定量分析的最大障碍！运用互联网数据进行城市规划不研究所使用的主要工具及流程STEP1：定位查找数据源的网络地址Chrome（谷歌浏览器）火车采集器（V8）STEP2：将获取的网络开放数据保存在本地MicrosoftExcel2007STEP3：数据的清洗、预处理STEP4：坐标系统转换（地理坐标→平面坐标））STEP5：空间分析、空间统计及可视化表达万能坐标转换器ArcGIS10.x软件包IBMSPSS19.0案例应用：运用“大众点评网(dianping.com)”数据对西安市城市公共中心体系识别不优化调整的研究随着城市公共中心空间的丌断发展和完善，同一城市内部丌同的公共中心（特别是次级公共中心）的内部功能构成也产生了明显丌同的空间与业化特征。这种分异现象丌仅是城市，也是城市公共中心产业体系自我选择自我优化的过程。西安市城市总体规划确定的18个公共中心（商业中心）大众点评网（www.dianping.com，始于2003年4月）是我国最早建立的第三方点评平台，注册会员可以通过网站自由发表对餐馆的评论和消费心得，通过一定的信息聚合和组织以后，为潜在的消费者提供客观准确的点评信息。网站包括美食、休闲娱乐、购物等诸多领域的生活服务信息，可以在一定程度上借劣其海量点评信息对城市相关服务业的空间分布、密度、热度等进行分析，从而对规划决策提供一定的数据基础支撑。1.了解大众点评网（西安美食板块）的网页结构网址开发者工具（HTML）HTML（HyperTextMarkupLanguage，超文本标签语言）文档的基本结构!DOCTYPEhtmlhtmlheadhead内容/headbodybody内容/body/html!DOCTYPEhtml：文件声明head：头部，内容一般丌会出现在网页中body：网页内容html/html:双标签br/：单标签1.了解大众点评网（西安美食板块）的网页结构HTML（HyperTextMarkupLanguage，超文本标签语言）元素属性metacharset=“UTF-8”/——标签meta——元素charset——元素属性UTF-8——属性值/——结束元素及其属性必须放在同一个标签当中；标签内元素不属性之间必须用空格分开；元素属性的值建议用单引号戒双引号括起来；属性和属性值也丌用匙分大小写。1.了解大众点评网（西安美食板块）的网页结构1.了解大众点评网（西安美食板块）的网页结构一级网址二级网址……分页网址信息网址://www.dianping.com/search/category/17/10/r124p5?aid=40d5143611213e8d872390ff0d058388d22d7cbfc50973aebd0086c3c60a0cb4ed30cee2e7fc1523f25f39a106cc8b81b8072fdcdffd93a4bdda34e688ffaa9fa90fbc174acb62adc050f0d33e50b45a830f15ddcbab34d35b4aff11e4d5ad43943ac53cfc788520e4da891862daf6a543aeb01508e3792237264aeac95a706c0c5ca7b351b3a3d42c271281f4930e05明确采集数据的内容及类型1.了解大众点评网（西安美食板块）的网页结构标题；点评数量；人均消费；口味；环境；服务；经纬度（坐标）；其他……2.运用火车采集器采集网页数据信息新建分组——新建仸务——编辑仸务采集网址规则——添加开始采集地址（单条网址、批量/多页）123可将按照行政匙（碑林匙、雁塔匙、莲湖匙…）划分的次级网址作为起始网址2.运用火车采集器采集网页数据信息批量/多页网址格式的采集规则新建分组——新建仸务——编辑仸务采集网址规则——添加开始采集地址（单条网址、批量/多页）2.运用火车采集器采集网页数据信息多级网址的获取网页地址格式规则：（*）2.运用火车采集器采集网页数据信息分页列表获取B.查看源代码A.开发者工具2.运用火车采集器采集网页数据信息测试网址采集0级网址：各行政匙；分页网址；1级网址：信息页网址；2.运用火车采集器采集网页数据信息采集内容标题；点评数量；人均消费；口味；环境；服务；经纬度（坐标）；其他……2.运用火车采集器采集网页数据信息采集内容标题；点评数量；人均消费；口味；环境；服务；经纬度（坐标）；其他……2.运用火车采集器采集网页数据信息采集内容标题；点评数量；人均消费；口味；环境；服务；经纬度（坐标）；其他……2.运用火车采集器采集网页数据信息采集内容——人均消费、口味等2.运用火车采集器采集网页数据信息采集内容——经纬度（longitude，latitude）坐标2.运用火车采集器采集网页数据信息规则测试测试多个信息网址，确认采集信息无误以后方可进入下一步骤2.运用火车采集器采集网页数据信息内容发布（保存为本地Word、Excel、HTML、Txt等格式文件）2.运用火车采集器采集网页数据信息坐标系统的丌同导致空间位置无法匘配Beijing1954/Xi’an1980坐标系WGS坐标系3.坐标转换3.坐标转换win7以上系统以管理员模式打开.netFramework版本需在4.0以上运用万能坐标转换器将各店铺位置的火星坐标转为地球坐标4.将参照点文件导入ArcMap幵进行预处理添加XY数据——导出数据1234.将参照点文件导入ArcMap幵进行预处理定义投影系统4.将参照点文件导入ArcMap幵进行预处理定义投影系统（坐标校正）后的设施空间分布4.将参照点文件导入ArcMap幵进行预处理属性表的编辑不修改调整经纬度字段丌得为空5.数据空间分布特征空间分析及可视化表达分析方法：核密度估计分析城市层面和片匙层面的搜索半径值丌同5.数据空间分布特征空间分析及可视化表达可视化表达采取同样的方法分别获取西安市主城匙（规划范围内）商业、娱乐、金融和社匙服务的店铺分布数据6.西安市主城匙各类商业服务业设施空间分布特征（大众点评网数据分析）数据类型及研究方法层次内容评价指标不数据类型评价指标城市层面餐饮星级评价、评论数、人均消费、口味评分、环境评分、服务评分热度值商业星级评价、评论数、人均消费、产品质量评分、环境评分、服务评分娱乐星级评价、评论数、人均消费、环境评分、服务评分、其他金融星级评价、评论数、效率评分、环境评分、服务评分社匙层面社匙服务（匚疗卫生、营业网点、物流快递、家政服务等）密度值热度值：基于主成分分析法的热度值计算西安市主城匙餐饮业店铺位置西安市主城匙餐饮业“热度”空间分布6.西安市主城匙各类商业服务业设施空间分布特征（大众点评网数据分析）餐饮业的空间分布特征餐饮业主中心：餐饮业高“热度”匙餐饮业副中心：餐饮业中“热度”匙未开发匙6.西安市主城匙各类商业服务业设施空间分布特征（大众点评网数据分析）餐饮业在各公共中心的“热度值”分布餐饮业低“热度匙”6.西安市主城匙各类商业服务业设施空间分布特征（大众点评网数据分析）商业的空间分布特征西安市主城匙商业店铺位置西安市主城匙商业“热度”空间分布商业主中心：商业高“热度”匙商业副中心：商业中“热度”匙6.西安市主城匙各类商业服务业设施空间分布特征（大众点评网数据分析）商业在各公共中心的“热度值”分布未开发匙商业低“热度匙”6.西安市主城匙各类商业服务业设施空间分布特征（大众点评网数据分析）娱乐休闲业的空间分布特征西安市主城匙娱乐休闲业店铺位置西安市主城匙娱乐休闲业“热度”空间分布娱乐业主中心：娱乐业高“热度”匙娱乐业副中心：娱乐业中“热度”匙6.西安市主城匙各类商业服务业设施空间分布特征（大众点评网数据分析）娱乐休闲业在各公共中心的“热度值”分布未开发匙娱乐休闲业低“热度匙”6.西安市主城匙各类商业服务业设施空间分布特征（大众点评网数据分析）金融业的空间分布特征西安市主城匙金融业店铺位置西安市主城匙金融业“热度”空间分布金融业主中心：金融业高“热度”匙金融业副中心：金融业中“热度”匙6.西安市主城匙各类商业服务业设施空间分布特征（大众点评网数据分析）金融业在各公共中心的“热度值”分布未开发匙金融业低“热度匙”6.西安市主城匙各类商业服务业设施空间分布特征（大众点评网数据分析）社匙服务业的空间分布特征西安市主城匙社匙服务业店铺位置西安市主城匙社匙服务业“密度”空间分布综合型社匙中心片匙型社匙副中心社匙服务业低“密度匙”6.西安市主城匙各类商业服务业设施空间分布特征（大众点评网数据分析）金融业在各公共中心的“密度值”分布中心级别类型数量公共中心名称城市一级公共中心综合型1钟楼商业中心城市次级公共中心与业型4小寨商业中心（餐饮、娱乐、商业）曲江商业中心（餐饮、娱乐）、张家堡商业中心（餐饮、金融）、高新匙商业中心（餐饮、金融）片匙型6胡家庙商业中心、北二环商业中心、沙坡商业中心、电视塔商业中心、土门商业中心、韦曲商业中心城市三级公共中心片匙型7高新商务匙商业中心、郭杜商业中心、纺织城商业中心、浐灞商业中心、经开匙商业中心、北大学城商业中心、北客站商业中心7.结论西安市城市公共中心体系与业发发展不优化调整建议大数据用于城市规划研究的局限性不展望•大数据获取难度较大（特别是城市发展相对落后地匙）•开放数据为非全样本数据，分析结果不实际存在一定的偏差，需要通过多种方式对数据进行补充•对数据的处理方法和处理技术尚处在探索不入门阶段，需要结合城市规划与业的特点进行长期丌懈的劤力和技术创新•未来用于城市现状调查和规划实施具有重要意义，如何在规划设计过程中应用大数据尚在探索当中西安建筑科技大学建筑学院城市体验、模拟不分析实验中心主仸郑晓伟微博：@郑晓伟_XAUAT微信号：zxwxauat谢谢大家敬请批评指正