【大数据分析分享系列】商品信息数据分析及展现系统的设计与开发

I【大数据分析分享系列】之商品信息数据分析及展现系统的设计与开发基于数据挖掘技术的智能化数据分析系统设计与开发潍坊物价信息数据分析及展现目录背景：......................................................................................................................................1实现过程：.............................................................................................................................1一、数据获取...........................................................................................................................2数据来源：............................................................................................................................2获取方式：............................................................................................................................21.使用Excel工具抓取....................................................................................................22.使用RCurl爬虫............................................................................................................2二、数据展现...........................................................................................................................3展现方式：............................................................................................................................3展现内容：............................................................................................................................31．价格分析...................................................................................................................3①价格走势：.............................................................................................................3II②价格对比：.............................................................................................................3③全国商品价格........................................................................................................42.居民消费指数................................................................................................................6①同比环比..................................................................................................................6②CPI比例..................................................................................................................7③各省月度CPI.........................................................................................................83.商品流通情况................................................................................................................94.各农作物主要产地....................................................................................................105.价格预测......................................................................................................................11三、数据预测........................................................................................................................12不足与展望：.......................................................................................................................191背景：商品价格和人们生活息息相关，比如农产品价格波动不仅会对农民收入和农民生产积极性产生直接影响，更关乎百姓的日常生活和切身利益。经常看新闻看到农民辛苦了一个季度的农作物全都烂在地里，因为价格太低廉，或者没有销路。虽然说物价波动是一种正常的经济现象，但是在一定程度上物价稳，人心才稳，社会才稳。为保持经济平稳健康发展、保障群众生活，稳定物价，信息公开显得尤为重要。价格监测和预测是维持物价稳定的一个重要环节。而对于商品价格、产量、以及销路、销量等数据公开，建立产品价格分析、监测、预测平台可以为相关政府管理部门提供生产调控、决策分析的依据，成为农门种植的依据，避免盲目种植。国家也有譬如南菜北运、西果东送等等政策但是数据实时公开，友好的向全国人民展示我认为还有很大的提升空间。实现过程：针对从价格信息网抓取来的数据利用eclipse工作平台开发出了商品信息数据分析及展现系统，实现了价格展示、价格分析、价格预测、居民消费指数分析、商品流通情况以及作物主要产地及产量的展示。价格分析包括价格走势、价格对比（市场之间对比）、价格展示（各省对比）。价格预测最后采用基于时间序列的神经网络算法做了初步短期价格预测。居民消费指数CPI作为反映消费者支付商品和劳务的价格变化情况，也是一种度量通货膨胀水平的工具，主要包括同比环比及其涨跌情况、CPI构成比例以及各省月度CPI展示等。分析结果以带有时间轴的折线图、柱状图、地图热力图、饼状图形式展示，界面美观，和用户交互性强，简单易懂。2一、数据获取数据来源：潍坊物价信息网；中华人民共和国国家统计局获取方式：针对数据来源网站信息大多有规律的更新，但网页数据结构保持不变，使用的方式有两种：1.使用Excel工具抓取1)通过Excel从网页导入数据，选中自己要导入的数据。2)新建宏，重复上步操作3)观察数据发布的网页地址规律，修改宏代码（使用该方法的好处是可用Excel对获取来的数据进行数据处理）2.使用RCurl爬虫（方便对抓回来的数据用R直接对数据进行相关分析计算）数据处理：因为各种原因，价格信息网提供的商品价格信息有数据单位不统一、商品名称不规范、市场名称前后不一、缺失值等等问题。经过对这些数据的分析和总结，3对数据进行了统一商品名称格式、规范市场名称、规范数据单位、去重和缺失值5方面的处理。存储方式：将处理好的数据，建好表结构存储到mysql数据库中。二、数据展现展现方式：使用Echarts在网页显示。展现内容：1．价格分析①价格走势：这里主要展示的是将爬取来的每日商品价格数据按商品类型取平均值（右侧图例选择要查看的商品类型），做曲线图。通过下面时间轴拖动、拉长查看某一范围内的价格走势；也可通过区域缩放按钮查看某一段曲线的详细走势。效果展示：（点击图片可放大）②价格对比：针对从潍坊物价信息网获取来的数据，根据价格采集地点进行价格对比。大体分为两类：超市价格和集市价格。以柱状图的方式可直观的看出某天某种商品在不同地点的价格高低情况。如要查看2014-08-01的价格对比情况。4效果展示如下：鼠标移动切换标签展示集市商品价格对比。③全国商品价格在地图上，以热力图的形式展现全国各省某种商品价格的高低。鼠标悬停显示具体价格信息。5此外，可以具体到某省下的各市价格展示：6继续往下深入，具体到某市下各区、镇价格展示（以潍坊市为例）：2.居民消费指数CPI(Consumerpriceindex)居民消费指数,反应通货膨胀或者紧缩的程度，一般来讲，物价全面的持续的上涨就会被认为发生的通货膨胀。①同比环比（数据来自潍坊物价信息网）可选择查看整体CPI涨跌情况，或者影响CPI八大类中某一类CPI涨跌情况。7如选择食品类，还可继续查看食品类下的具体涨跌情况效果展示如下：下方为时间轴，可以选择相关年份查看②CPI比例用饼状图的方式可直观展现八大类及其分类对整体CPI的构成影响。下方为时间轴，展现不同时间段的构成比例。8③各省月度CPI（下方为时间轴，可以选择年月份查看）93.商品流通情况国家有南菜北运、西果东送的政策，友好的相关信息展示，为合理分配资源开辟市场提供相关决策依据。10效果展示如下：4.各农作物主要产地鼠标悬停显示产地产量信息。11效果展示如下：5.价格预测主要包含两部分：1.价格预警2.商品价格预测价格预警：采用Ajax技术每隔一小时自动刷新属于，红色为预警标识。计算上一周价格移动平均值，和当前价格做差，涨跌绝对值大于0.5红色箭头标识预警。效果展示如下：12商品价格预测（以大白菜价格为例）：虚线为预测价格，实线为实际价格三、数据预测预测工具：rapidminer数据来源：潍坊物价信息网实现算法：基于时间序列神经网络的短期价格预测实现过程：（以大白菜价格为例）训练集：选取2013-2014内大白菜的价格。测试集：抽取1/3作为测试集。预测模型：方案有两种一是采用支持向量机SVM，二是采用神经网络，下面对两种模型进行评估。指数平滑和移动平均模型如下：首先使用支持向量机进行移动平均和指数平滑的