大数据的介绍及案例分享

大数据大数据的概念大数据(BigData)是指“无法用现有的软件工具提取、存储、搜索、共享、分析和处理的海量的、复杂的数据集合。网络上每一笔搜索，网站上每一笔交易、每一笔输入都是数据，通过计算机做筛选、整理、分析，所得出的结果可不仅仅只得到简单、客观的结论，更能用于帮助企业经营决策，搜集起来的数据还可以被规划，引导开发更大的消费力量。大数据与传统数据的区别？银行做数据业务做了十多年，那么大数据和传统数据的仓库有哪些差异？实际上就是群体和个体的差异。互联网数据完全瞄向个体，数据结构也是精准于个体，而传统的数据面向经营指标、面向群体。宏观意义上来看，假如小明去了一百次书店，以前要回答的问题是他第一百零一次买不买书，即业绩和经营指标的问题；而现在，互联网关心的是什么？最关心的是他第一百零一次买什么书，需要将什么样的内容推荐给他。这不是一个概率问题，而是一个模糊的程度问题。要量化这个程度，我们一定要基于个体，而不是基于群体的共性描述。传统定义上，更多关注的是一类人群，用同一类规则制订套餐给他们；而在互联网时代，要把每个人都精准刻画出来，进行精准匹配。有电商说他们要做到一百万用户要有一百万个商店，特别是在移动的小屏幕上，三次点击以后就会损失一个客户。所以差异化绝对不可能是对群体共性的描述，而完全是对个体差异的刻画。关于大数据的深度分析，很重要内容就是个性化的信息推荐。个性化的信息推荐不仅仅是基于用户的相似性这么简单的东西，还有大量比较深入的复杂模型。比如说，就用户看资讯而言，我们怎么样去判断一个用户点开一条八卦资讯后，是继续深挖八卦到死，还是转而浏览另外一个新闻。同样，有的用户登陆淘宝只是逛逛而已，有些用户则是很明确地想要买一些东西，这就需要对用户的意图进行预测，这里面涉及到一些比较难的机器学习技术。我们现在生活的是信息化的世界，未来会走向个性化。在这一点上有一个例子，耐克制作了一款鞋子，在这个鞋子里装上了传感器，然后穿上这个鞋子的人，你一天大概走多少路，而且你走路的状态比如着力点等相关情况的数据都会通过传感器传到耐克公司，耐克公司就会根据这些数据来给你量身定做鞋子。这样，未来的销售模式将会是个性化的。大数据的典型特征（3V）“大数据”这个词，光从字面来看，可能会让人觉得只是容量非常大的数据集合而已。但是，容量只不过是大数据特征的一个方面，如果只拘泥于数据量的话，就无法深入理解当前围绕大数据所进行的讨论。因为“用现有的一般技术难以管理”这样的状况，并不仅仅是由于数据量增大这一个因素所造成的。大数据的特征，可以用三个V开头的关键词来描述。（1）Volume（容量）看到大数据这个词，大多数人的第一印象恐怕就是Volume，也就是数据量吧。从刚才我们讲到的大数据的定义来看，也就是指用现有技术无法管理的数据量，从现状来看，基本上是指从几十TB到几PB这样的数量级。当然，随着技术的进步，这个数值也会不断变化。例如，在5年以后，也许只有几EB数量级的数据量才能够称得上是大数据了。截至目前，人类生产的所有印刷材料的数据量是200PB(1PB=210TB)，而历史上全人类说过的所有的话的数据量大约是5EB(1EB=210PB)。当前，典型个人计算机硬盘的容量为TB量级，而一些大企业的数据量已经接近EB量级。（2）Variety（多样性）除了传统的销售、库存等数据，现在企业所采集和分析的数据还包括像网站日志数据、呼叫中心通话记录、Twitter和Facebook等社交媒体中的文本数据、智能手机中内置的GPS（全球定位系统）所产生的位置信息、时刻生成的传感器数据，甚至还有图片和视频，数据的种类和几年前相比已经有了大幅度的增加。其中，近年来爆发式增长的一些数据，如互联网上的文本数据、位置信息、传感器数据、视频等，用企业中主流的关系型数据库是很难存储的，它们都属于非结构化数据。当然，在这些种类的数据中，也有一些是过去就一直存在并保存下来的。然而，和过去不同的是，这些大数据并非只是存储起来就够了，还需要对其进行分析，并从中获得有用的信息。以美国企业为代表的众多企业正在致力于这方面的研究。监控摄像机的视频数据正是其中之一。近年来，超市、便利店等零售企业几乎都配备了监控摄像机，目的是为了防止盗窃和帮助抓捕盗窃嫌犯，但最近也出现了使用监控摄像机的视频数据来分析顾客购买行为的案例。例如，美国大型折扣店FamilyDollarStores，以及高级文具制造商万宝龙（Montblanc），都开始尝试利用监控摄像头对顾客在店内的行为进行分析。以万宝龙为例，它们过去都是凭经验和直觉来决定商品陈列的布局，但通过分析监控摄像机的数据，将最想卖出去的商品移动到最容易吸引顾客目光的位置，使得销售额提高了20%。此外，美国移动运营商T-Mobile也在其全美1000家店中安装了带视频分析功能的监控摄像机，可以统计来店人数，还可以追踪顾客在店内的行动路线、在展台前停留的时间，甚至是试用了哪一款手机、试用了多长时间等，对顾客在店内的购买行为进行分析。（3）Velocity（速度）数据产生和更新的频率，也是衡量大数据的一个重要特征。例如，整个日本的便利店在24小时内产生的POS（PointOfSales）数据，电商网站中由用户访问所产生的网站点击流数据，高峰时高达每秒7000条的Twitter推文，日本全国公路上安装的交通堵塞探测传感器和路面状况传感器（可检测结冰、积雪等路面状态）等，每天都在产生着庞大的数据。广义的大数据刚才我们讲解了大数据的定义，即用现有的一般技术难以管理的大量数据的集合，并且用三个V对大数据的特征进行了描述。但是，仅凭这个定义还无法解释当前大数据的火爆局面，因为这个定义的着眼点仅仅在于数据的性质上。这个定义我们把它视为狭义上的定义，而我们需要在广义层面上为大数据下一个定义：这个狭义的定义所说的具备3V特征的数据就相当于是宾语，那么我们还需要主语和谓语。谓语就是“存储、分析、处理”这些数据，（而用什么方法来进行分析处理，是机器学习还是统计分析或者其它什么，这些可以看做是方式状语），主语那就是谁，谁来处理这些数据。这个谁就是指的“数据科学家”目前在欧美是十分紧俏的，他们通过分析这些数据获得实用意义和观点这就是大数据的广义定义，它是一个综合性的概念。大数据应用案例穿孔卡片与美国人口普查美国在1880年进行的人口普查，耗时8年才完成数据汇总。因此，他们获得的很多数据都是过时的。1890年进行的人口普查，预计要花费13年的时间来汇总数据。而法律规定必须在十年内完成，即使不考虑这种情况违反了宪法规定，它也是很荒谬的。然而，因为税收分摊和国会代表人数确定都是建立在人口的基础上的，所以必须要得到正确的数据，而且必须是及时的数据。后来，美国人口普查局就和当时的美国发明家赫尔曼-霍尔瑞斯（HermanHollerith）签订了一个协议，用他的穿孔卡片制表机来完成1890年的人口普查。经过大量的努力，霍尔瑞斯成功地在1年时间内完成了人口普查。这简直就是一个奇迹，当时在这个项目上霍尔瑞斯并没赚多少钱，后来他成立了一个公司，向其他国家卖他的产品，老了以后他把公司卖给了他的一个主管，成了成立IBM的三家公司之一。但是，将穿孔卡片作为收集处理大数据的方法依然过于昂贵。毕竟，每个美国人都必须填一张可制成穿孔卡片的表格，然后再进行统计。这还是非常麻烦的。70万家企业联网“直报”统计数据我们知道国家统计局每年都要编写的《中国统计年鉴》。和美国一样，以前我们国家统计数据，是层层上报，人工统计，比如，国家进行人口普查，是县级——市级——省级——国家这样层层上报人口数据，这样得到的数据往往滞后，很不准确。从2012年2月18日开始，全国70万家三上企业和房地产开发经营企业在统一的数据采集和处理平台上，通过互联网直接向国家数据中心或国家认定的省级数据中心报送统计数据。这样就保证了数据的准确性，及时性。2013年11月19日下午，阿里巴巴、百度、中国联通等11家涉足大数据的领军企业代表与国家统计局签署关于大数据的战略合作协议，共同探讨和推进大数据在政府统计中的应用。战略合作内容，主要是共同研究探讨建立大数据应用的统计标准，包括指标定义、口径、范围、分类等；确定利用企业数据完善、补充政府统计数据的内容、形式及实施步骤，包括数据采集、处理、分析、挖掘、发布等。在此基础上，合作双方将建立战略合作关系。政府统计部门收集的数据来源更广更多，有各个部门的行政记录，有电商企业的数据，有包括搜索记录、社交记录和媒体等互联网数据。电子政务：通过政府信息化，大数据能够提高政府决策的科学性和精准性，提高政府预测预警能力以及应急响应能力，节约决策的成本。以财政部门为例，基于云计算、大数据技术，财政部门可以按需掌握各个部门的数据，并对数据进行分析，做出的决策可以更准确、更高效。另外，也可以依据数据推动财政创新，使财政工作更有效率、更加开放、更加透明。麻省理工与通货紧缩预测软件“10亿价格项目”（TheBillionPricesProject，BBP）提供了一个有趣的例子。美国劳工统计局的人员每个月都要公布消费物价指数（CPI），这是用来测试通货膨胀率的。这些数据对投资者和商家都非常重要。在决定是否增减银行利率的时候，美联储也会考虑消费指数。一旦发生通货膨胀，工人工资也会增加。联邦政府在支付社会福利和债券利息的款项时，这项指数也是他们参考的依据。联邦政府为了得到这些数据，会雇用很多人向全美90个城市的商店、办公室打电话、发传真甚至登门拜访。他们反馈回来的各种各样的价格信息达80000种，包括土豆的价格、出租车的票价等。政府采集这些数据每年大概需要花费两亿五千万美元。这些数据是精确的也是有序的，但是这个采集结果的公布会有几周的滞后。2008年的经济危机表明，这个滞后是致命的。政策决策者为了更好地应对变化，需要及时了解通货膨胀率，但如果以传统的依赖采样和追求精确的方式进行数据收集，政府就不可能及时获得数据了。麻省理工学院（MIT）的两位经济学家，阿尔贝托·卡瓦略（AlbertoCavell）和罗伯托·里哥本（ObertoRigobon）就对此提出了一个大数据方案，那就是接受更混乱的数据。通过一个软件在互联网上收集信息，他们每天可以收集到50万种商品的价格。收集到的数据很混乱，也不是所有数据都能轻易进行比较。但是把大数据和好的分析法相结合，这个项目在2008年9月雷曼兄弟破产之后马上就发现了通货紧缩趋势，然而那些依赖官方数据的人直到11月份才知道这个情况。沃尔玛沃尔玛零售巨头是最早在零售业运用大数据的，因而改变了整个行业。沃尔玛通过大数据提前预知顾客明天会做什么，并提前准备。这就是人习惯性的力量通过大数据总结汇总分析出的。沃尔玛有一个经典的案例，那就是：啤酒和尿布的例子，这个例子大家都知道，现在看看沃尔玛另外两个例子：请把蛋挞与飓风用品摆在一起依据是注意到2004年沃尔玛对历史交易记录这个庞大数据库进行观察，这个数据库记录的不仅包括每一个顾客的购物清单以及消费额，还包括购物篮中的物品，具体购买时间，甚至购买当日的天气。通过大数据，沃尔玛注意到，每当季节性飓风来临之前，不仅手电筒销量增加，而且美式早餐含糖零食蛋挞销量也增加了，因此每当季节性飓风来临时，按前面摆放在一起，以方便行色匆匆的顾客，从而增加销量。东海岸——中海岸——西海岸在美国，东海岸与中海岸时差两小时，东海岸的沃尔玛超市早上开门营业两小时之后，这时候中海岸才开始营业，沃尔玛就会把东海岸当天这两小时的营业情况、相关数据传给中海岸，中海岸就会根据这个数据知道了这天人们的购买喜好，决定货品怎么摆放，哪些货物摆放在一起会比较好，然后等中海岸的沃尔玛营业两小时之后，西海岸才到早上，才开始营业，同样，把东海岸和中海岸的营业数据传到西海岸。这种方式给沃尔玛带来了很大的利润。美国折扣零售商塔吉特与怀孕预测大数据运用的极致，非美国折扣零售商塔吉特莫属了。《纽约时报》曾报道过塔吉特公司怎样在不被清楚告知的情况下预测出一个女性的怀孕情况。很多人都不知道，对于零售商来说，知道一个顾客是否怀孕非常重