大数据与物流

大数据与物流沈庆琼物流教研室你脑海中的大数据是什么？•一、大数据的内涵•二、大数据的应用•三、大数据给物流带来什么4导入案例——美国零售商和怀孕预测•最早关于大数据的故事发生在美国第二大超市塔吉特百货。孕妇对零售商来说是个含金量很高的顾客群体，但是她们一般会去专门的孕妇商店。人们一提起塔吉特，往往想到的都是日常生活用品，却忽视了塔吉特有孕妇需要的一切。在美国，出生记录是公开的，等孩子出生了，新生儿母亲就会被铺天盖地的产品优惠广告包围，那时候再行动就晚了，因此必须赶在孕妇怀孕前期就行动起来。•塔吉特的顾客数据分析部门发现，怀孕的妇女一般在怀孕第三个月的时候会购买很多无香乳液。几个月后，她们会购买镁、钙、锌等营养补充剂。根据数据分析部门提供的模型，塔吉特制订了全新的广告营销方案，在孕期的每个阶段给客户寄送相应的优惠券。结果，孕期用品销售呈现了爆炸性的增长。2002年到2010年间，塔吉特的销售额从440亿美元增长到了670亿美元。大数据的巨大威力轰动了全美。•我们可以想象的是，许多孕妇在浑然不觉的情况下成了塔吉特的忠实拥趸，许多孕妇产品专卖店也在浑然不知中破产。商家们早晚要面对的一个问题就是：究竟是在浑然不觉中崛起，还是在浑然不觉中灭亡？一、大数据的内涵•1、定义：•“大数据”是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。•麦肯锡报告：大数据是指其大小超出了典型数据库软件的采集、储存、管理和分析等能力的数据集合。•奥巴马政府：未来的新石油一、大数据的内涵•2、数据来源物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器。•请问：•（1.）写在磁带、纸上的数据是大数据么？有用吗？•（2）滴滴打车要用到一个交通路况数据，需要用到什么样的数据？•（3）为什么今天的淘宝数据值钱了？一、大数据的内涵•今天的数据不是大，真正有意思和值钱的是数据变得在线了，这个恰恰是互联网的特点。所以在线的这个问题，远远比“大”更反映本质。——大数据的本质一、大数据的内涵•3、大数据的技术支持•（1）Hadoop平台互联网企业的海量数据采集工具，有Facebook开源的Scribe、LinkedIn开源的Kafka、淘宝开源的Timetunnel、Hadoop的Chukwa等，将这些数据上载到Hadoop中央系统进行处理分析。•（2）MapReduce分析大多数互联网企业采用Hadoop的HDFS分布式文件系统来存储数据，并使用MapReduce进行分析MapReduce目前最擅长的计算领域有流量统计、推荐引擎、趋势分析、用户行为分析、数据挖掘分类器、分布式索引等。例如——淘宝开源的Timetunnel•例如——在淘宝，每天有1000多台服务器生成日志文件，日志总量大概有10TB，每天成千上万的报表基于这些数据进行计算。有的报表每半小时计算一次，有的报表每天计算一次，还有些非报表应用需要实时进行数据分析。如何保证这些报表和应用按时收到自己需要的数据？每天10TB的数据该如何管理?•淘宝实时数据传输平台-Timetunnel就是因这些需求而诞生的，目前在淘宝Timetunnel使用三台服务器服务所有的应用，每秒钟实测流入流量峰值为50MB/S(压缩后)，流出流量为130MB/S(压缩后)。Timetunnel保证为所有的报表按时准备好所需数据，延迟不超过1分钟;保证为所有的实时应用提供实时数据，延迟不超过1秒。10MapReduce在用户行为上体现的价值•一分钟内，微博推特上新发的数据量超过10万；社交网络“脸谱”的浏览量超过600万…….………..•这些庞大数字，意味着什么？MapReduce用户行为体现的价值•它意味着，一种全新的致富手段也许就摆在面前，它的价值堪比石油和黄金。具体有六大价值：●华尔街根据民众情绪抛售股票；●对冲基金依据购物网站的顾客评论，分析企业产品销售状况；●银行根据求职网站的岗位数量，推断就业率；●投资机构搜集并分析上市企业声明，从中寻找破产的蛛丝马迹；●美国疾病控制和预防中心依据网民搜索，分析全球范围内流感等病疫的传播状况；●美国总统奥巴马的竞选团队依据选民的微博，实时分析选民对总统竞选人的喜好。例如：用户行为分析美国华尔街德温特资本市场公司首席执行官保罗·霍廷每天的工作之一，就是利用电脑程序分析全球3.4亿微博账户的留言，进而判断民众情绪，再以“1”到“50”进行打分。根据打分结果，霍廷再决定如何处理手中数以百万美元计的股票。霍廷的判断原则很简单：如果所有人似乎都高兴，那就买入；如果大家的焦虑情绪上升，那就抛售。这一招收效显著2012年第一季度，霍廷的公司获得了7%的收益率。二、大数据的应用二、大数据的应用（一）在风电领域的应用•1、结合了大数据分析和天气建模技术的能源电力系统能够提高风电的可靠性•2、检测和采集风机的运转数据、风场的运营数据•3、预测风电和太阳能的可用性例如——•IBM与丹麦的全球风电涡轮机制造商-维斯塔斯风力系统合作开发的智慧分析创新方案。维斯塔斯借助IBM的大数据分析和超级计算技术，使之能够整合来自于天气预报，潮汐，传感器，卫星图像，森林砍伐地图，天气建模研究所得到的海量级数据，进而策略性地的设置风力涡轮机组。改善了能源的产出，也降低整个项目生命周期所需的维护和运营成本。二、大数据的应用（二）在智能交通的应用•在实时智能分析和数据挖掘方面，做到高效事前预警、事后分析，实现智能化的信息分析、预测，为视频监控领域业务带来深刻的变革。•1、卡口和电警的应用——车辆的查找、布控和案件线索搜索•2、把海量的视频数据进行浓缩、提取特征摘要、减少了存储空间，关键数据的二次备份•3、对图片进行匹配和模式识别，增强事前预警的功能。车流量的监控车辆识别车辆的监控和调度二、大数据的应用•快递旺季来临，大数据如何推动快递信息化？二、大数据的应用（三）在快递行业的应用•1、电子面单•2、大数据路由分单•3、“超时异常件”管理•4、物流预警雷达•5、大数据反炒信系统261、电子面单•2015年8月，国内排名前15的快递公司全部实现了电子面单的普及使用。•据圆通、中通等快递企业的数据显示，使用电子面单，发货速度能提升30％以上。根据德邦快递的使用后的数据对比，录单效率提升了15倍。2、大数据路由分单•结合互联网地图的空间定位技术，可用数据实现包裹跟网点的精准匹配。•订单一产生，就能够知道派送的网点，未来可帮助快递公司做网点派件量预报。•可以对揽件和派件地址进行精准定位，为快递员提供更精准的线路规划和配送分派。3、“超时异常件”管理•通过大数据，将这些包裹订单数据筛选出来，可以帮助快递企业及时了解自己产生了多少“超时异常件”，哪个网点最严重，并通过订单及时了解原因，有针对性地着手改善。4、物流预警雷达•物流预警雷达可以通过大数据对包裹量进行提前预测，来引导商家备仓发货，帮助快递公司调配运能能力资源。5、大数据反炒信系统•大数据反炒信系统，控制好网购的最后流程、物流环节，对物流订单的流转数据进行全程监控，并且根据炒信订单特征，自动识别炒信运单号以及应对商家的商品订单。•UPS快递的最佳行车路径•UPS快递多效地利用了地理定位数据。为了使总部能在车辆出现晚点的时候跟踪到车辆的位置和预防引擎故障，它的货车上装有传感器、无线适配器和GPS。同时，这些设备也方便了公司监督管理员工并优化行车线路。UPS为货车定制的最佳行车路径是根据过去的行车经验总结而来的。2011年，UPS的驾驶员少跑了近4828万公里的路程。34三、大数据给物流带来什么？•（一）推动智慧物流发展•1、做好整合和拆分：利益交换模式——用服务换取管理•2、数据的充分利用——数据的数量高于质量，数据的相关性优于数据逻辑性或因果性，朝着动态化、个性化发展•3、围绕网络和流程问题发展——对资源的管控和对作业流程（服务流程）的优化三、大数据给物流带来什么？（二）驱动电商物流变革关注：•1、物流仓储平台建设•2、物流信息平台建设建议：•高效率的信息管理，搭建网络平台；简化所有单证手续；引进电子数据交换系统；发布物流系统电子数据交换标准；配套自动存储和回复系统。三、大数据给物流带来什么？•（三）加速公路运输整合•物流当前主要的运力：自有车辆、签约承运商、业务量大时临时租车。•社会整合后的运力：时间、空间、管理和服务。物流业为什么要做大数据？主要是因为：•第一，快递走入民生的势头越来越猛，对每一个节点的信息化需求也越来越多，这就需要通过大数据把信息化对接起来。•第二，从企业自身角度来讲，信息化对企业管理者的重要性也越来越突出。•第三，提高对数据的加工能力，通过加工实现数据的增值。38