大数据时代读后感

近几年,“大数据”这个词频繁地出现在人们的视野当中,它不仅被写入阿里巴巴、谷歌等互联网公司的战略规划中,同时在我国国务院和其他国家的政府报告中也被多次提及，甚至在我的家乡内蒙古自治区，乌兰察布市集宁区也已经耗资15亿建成了华为云大数据中心，将来还要发展成内蒙古的大数据中心。这些改变都使我对大数据产生浓厚的兴趣。因此通过多方途径了解后，最终决定以《大数据时代》一书，作为我进一步了解大数据的入门书籍。《大数据时代》一书是由英国作者维克托迈尔舍恩伯格所著。主要描述了大数据对21世纪人们生活、工作与思维各方面所做出的重大变革。本书作者舍恩伯格在大数据领域是最受人尊敬的权威发言人之一。他二十多年来一直致力于网络经济、信息与创新、信息监管、网络规范与战略管理方面的研究,从维也纳大学到哈佛大学,从新加坡国立大学到牛津大学,很多世界上著名的互联网研究学府都留下了他的足迹。开阔的学术视野与系统的学术造诣,更让他不断为企业与商业应用提供强大的理论支持。他的咨询客户包括微软、惠普、IBM、亚马逊、facebook、twitter、VISA等大数据先锋们,所以在《大数据时代》一书中,他将掌握的最前沿的大数据应用案例给予充分的分析,并对大数据的价值链与角色定位给予清晰的预见。首先舍恩伯格清晰的阐述了大数据的基本概念和特点,并列出明确的观点。不管对于产业实践者,还是对于政府和公众机构,都非常具有价值。作者将本书分为3个部分。第一部分提出了大数据时代处理数据理念上的三大转变:不是随机样本，而是全体数据;不是精确性，而是混杂性;不是因果关系，而是相关关系;第二部分作者从万事万物数据化和数据交叉复用的巨大商业价值两个方面,讲述大数据最核心的模块：一切皆可数据化，并阐释了数据的新价值和其运用方法;第三部分,作者描绘了因大数据的出现而可能出现的担忧与隐患,包括产业生态环境、数据安全隐私、信息公正公开等问题。刚看到第一部分时，作者便向我们阐述了一个奇妙的“云时代”。他认为在抽样研究调查的时期,由于研究的条件欠缺,只能以少量的数据获取最大的信息,而在现在，无论是计算量还是计算速度，我们都达到了一个比较好的高度，我们可以在很短的时间内获取到海量的数据。因此如果我们以更多甚至是与之相关的全部数据去分析一个事物，就可以让我们更清楚地看到以前无法揭示的细节信息。看到过管理学中的一个例子,其结论就是通过大数据分析得出的:一般周末去超市购物买婴儿用品的爸爸们通常会到啤酒区购买啤酒,而其他用品却很少出现在他们的购物车中。通过这项分析,超市管理人员将婴儿用品和啤酒分开放在了相距最远距离的区域,消费者会在来回间对中间的商品有些关注,从而增加了购物量,超市也增加了盈利。而如果只是分析抽样数据的话，我们就无法确定购买婴儿用品的人与父亲们与啤酒之间的这种关联，自然也就不会做出将婴儿用品和啤酒分开放在了相距最远距离的区域这样的举动了。作者同时也指出随着数据使用的越来越多,其得出的结果并不一定能越来越精确,特别是大数据时代各种结构化与非结构化类型的数据聚集在一起难免导致结果的不太精确。大数据时代要求我们重新审视精确性的优劣。作者特别举了谷歌翻译成功的例子。谷歌翻译之所以优于IBM的Candide系统并不是因为它拥有更好的算法机制。和微软的班科和布里尔一样,谷歌翻译增加了各种各样的数据,并且接受了有错误的数据。(其语库来自于未经过滤的网页内容,会包含一些不完整的句子、拼写错误、语法错误以及其他各种错误)。在不是因果关系,而是相关关系的篇章中。作者指出在大数据时代往往知道是什么要比知道为什么来的更实在。作者列举了林登的亚马逊推荐系统的成功,证实了大数据在分析相关性方面的优势以及在销售中获得的成功。沃尔玛也是充分利用并挖掘各类数据信息的先锋和代表,和我刚才所介绍的啤酒与婴儿用品的案例,以及作者举的有关蛋挞和飓风天气的案例,都说明了掌握了相关关系对于其策略的帮助。建立在相关关系分析法基础上的预测是大数据的核心。Aviva保险公司利用几百种生活方式的数据,如爱好、长浏览网页等间接的预测出哪些人更可能患高血压、糖尿病和抑郁症。UPS国家快递公司通过使用预测性分析检测其全美6万辆车队。进行防御性的修理,节约巨大得的成本。这些都充分显示了大数据在预测方面的优势。接下来的第二部分，作者讲的是大数据时代的商业变革。作者用莫里绘制导航图的例子告诉我们,远在信息数字化之前,对数据的运用就已经开始了。莫里利用大量的人力去分析多年保存的航海记录,他从这些大量的数据中获取到新的利用价值。绘制的图表帮助商人节约一大笔钱,使年轻的海员们间接获取了成千上万名经验丰富的航海家的指导。日本先进工业技术研究所越水重臣教授通过安装压力传感器将人屁股特征数据化,进而形成对乘客身份的特征识别。这项技术为汽车防盗系统提供了方案。MasterCardd.Advisor部门通过分析来自210个国家的15亿信用卡用户的650亿条交易记录,分析得出商业发展和客户消费趋势,如通过分析发现如果一个人下午四点左右给汽车加油的话,他很可能在接下来的一个小时内去购物或者去餐馆吃饭,且在这一小时里大约花费35到40美元。商家正可以利用这个分析结果,在加油的小票背面附加上附近商店的优惠券。这些例子都证明了大数据蕴藏着巨大的商业价值。根据提供价值的不同来源,大数据价值链包括三大构成部分。包括第一种是基于数据本身的公司。这些公司拥有大量数据或者至少可以收集到大量数据,却不一定有从数据中提取价值或者用数据催生创新思想的技能。第二种是基于技能的公司。它们通常是咨询公司、技术供应商或者分析公司。它们掌握了专业技能但并不一定拥有数据或者提出数据创性用途的才能。比如说,沃尔玛和Pop-Tarts这两个零售商就是借助天睿公司的分析来获得营销点子,天睿就是一家大数据分析公司。第三种是基于思维的公司。皮特.华登,Jetpac的联合创始人,就是通过想法获得价值的一个例子,他通过用户分享到网上的旅行照片来为人们推荐下一次旅行目的地。对于某些公司来说,数据和技能并不是成功的关键。挖掘数据的新价值的创新思维才是这些公司脱颖而出的优势所在。这就意味着，在现在这个时代，掌握了大数据就相当于掌握了与其他企业竞争的竞争力。如何更快更廉价的提取、保存数据，如何正确的利用数据成为了当今企业需要关注的一个重点。一旦成功的掌握了大数据，不但可以超过现有的对手，甚至可以遥遥领先。本文的第三部分讲了大数据带来无数好处的同时带来的不良影响以及如何面对这些影响。包括如数据的收益的处理问题以及数据中用户资料的隐私和决策过程带来的影响。举个最近的例子，阿里巴巴的大数据处理能力在淘宝这一款电商软件上体现的淋漓尽致。通过分析大数据很多情况下都会推送到你想要购买的商品以及最合适的价格，为我们带来了很多的便利。但同时支付宝的隐私门丑闻，偷偷调用摄像头录像偷偷调用麦克风录音的行为，被爆出之后也让我们心有余悸。然而这仅仅是个典型案例。真正被别人翻遍隐私却茫然不知的例子太多了。比如网易邮箱，去年被乌云爆出被拖库，几亿用户密码密保问题泄露，然后大家一阵哗然。实际上圈里人都知道，网易邮箱这些年被拖库就像月经一样，根本就是公开的秘密。2011年出现过一个新闻，一款叫做CIQ的预置在所有苹果手机和运营商定制的安卓手机中的APP，会窃取用户隐私数据，包括联系人、短信等，每隔72小时就会发送一次数据到位于美国的服务器。而作者在保护个人隐私方面提出了几种想法。一种是使用数据时征询数据所有个人的知晓和授权。第二个技术途径就是匿名化。作者同时也指出了这两种方式的难度。一方面收集到的数据可能会被后续的多次利用。另一方面,匿名化会在数据收集越来越多和数据的相互结合关联使用时变得无效。作者列列举电影《少数派报告》的情节说明越来越依赖数据时,大数据可能将我们禁锢在可能性之中。当然通过分析犯罪的常发地与常发时间,合理安排警力会对治安防范提供不小的帮助。尽管如此，我们也必须要知道，大数据在给我们生活提供便利的同时,也让隐私保护的法律手段失去了作用。我们必须杜绝对大数据的过分依赖，作者也在文章的结尾提到了大数据提供给人们的只是参考答案,我们在利用这个工具时要铭记人类的作用是无法完全替代的。大数据是时代发展的必然趋势，在读完本书后更加确信了这一点，但在运用大数据的同时，我们也要深知大数据为我们提供的不是最终答案，只是参考答案，而更好的方法和答案还在不久的未来。我们还需要不断的学习和探索。