“每月一读”专家说书活动-大数据时代

“每月一读”专家说书活动好书报告人力资源部“每月一读”好书报告在人类历史长河中，即使是在现代社会日新月异的发展中，人们还主要是依赖抽样数据、局部数据和片面数据，甚至在无法获得实证数据的时候纯粹依赖经验、理论、假设和价值观去发现未知领域的规律。因此，人们对世界的认识往往是表面的、肤浅的、简单的、扭曲的或者是无知的。维克托指出，大数据时代的来临使人类第一次有机会和条件，在非常多的领域和非常深入的层次获得和使用全面数据、完整数据和系统数据，深入探索现实世界的规律，获取过去不可获取的知识，得到过去无法企及的商机。大数据的出现，使得通过数据分析获得知识、商机和社会服务的能力从以往局限少数象牙塔之中的学术精英圈子扩大到了普通机构、企业和政府部门。门槛的降低直接导致了数据的容错率提高和成本的降低，正如维克托所强调的，重要的是人们可以在很大程度上对于因果的追求中解脱出来，转而将注意力放在相关关系的发现和使用上。大数据时代的经济学、政治学、社会学和许多科学门类都会发生巨大甚至是本质上的变化和发展，进而影响人类的价值体系、知识体系和生活方式。引言“每月一读”好书报告《大数据时代》【美】维克托·迈尔-舍恩伯格肯尼思·库克耶【著】盛杨燕周涛【译】推荐书籍“每月一读”好书报告作者简介好书快览本书观点感悟解读结语精髓摘读导读“每月一读”好书报告作者简介他是十余年潜心研究数据科学的技术权威，他是最早洞见大数据时代发展趋势的数据科学家之一，也是最受人尊敬的权威发言人之一。他的学术成果斐然，有一百多篇论文公开发表在《科学》《自然》等著名学术期刊上，他同时也是哈佛大学出版社、麻省理工出版社、通信政策期刊、美国社会学期刊等多家出版机构的特约评论员。维克托·迈尔-舍恩伯格（ViktorMayer-Schönberger）“每月一读”好书报告作者简介好书快览本书观点感悟解读结语精髓摘读导读“每月一读”好书报告如今，一个大规模生产、分享和应用数据的时代正在开启，大数据的真是价值就像漂浮在海洋中的冰山，第一眼只能看到冰山的一角，绝大部分都隐藏在表面之下。互联网时代，尤其是社交网络、电子商务与移动通信把人类社会带入了一个以PB（1024TB）为单位的结构与非结构数据信息的新时代。以云计算为基础的信息存储、分享和挖掘手段，可以便宜、有效地将这些大量、告诉、多变化的终端数据存储下来，并随时经行分析与计算。数据，这个21世纪人类探索的新边疆，正在被云计算发现、征服。书籍快览——本书亮点“每月一读”好书报告书籍快览——本书要点•本书作者抛出了大数据时代处理数据理念上的三大转变：要全体不要抽样，要效率不要精确，要相关不要因果；接着从万事万物数据化和数据交叉复用的巨大价值两个方面，讲述驱动大数据战车在材质和智力方面向前滚动的根本原动力；最后，作者冷静的描绘了大数据帝国前夜的脆弱和不安，包括产业生态环境、数据安全隐私、信息公正公开等问题。•本书从大数据时代的思维变革、商业变革、管理变革三个方面讲述了大数据时代是一场生活、工作与思维的大变革，是一次重大的时代转型。“每月一读”好书报告作者简介好书快览本书观点感悟解读结语精髓摘读导读“每月一读”好书报告《大数据时代》目录序言推荐序一拥抱“大数据时代”推荐序二实实在在大数据译者序在路上·晃晃悠悠引言一场生活、工作与思维的大变革大数据，变革公共卫生大数据，变革商业大数据，变革思维大数据，开启重大的时代转型预测，大数据的核心大数据，大挑战第一部分大数据时代的思维变革01更多：不是随机样本，而是全体数据让数据“发声”小数据时代的随机采样，最少的数据获得最多的信息全数据模式，样本=总体02更杂：不是精确性，而是混杂性允许不精确大数据的简单算法比小数据的复杂算法更有效纷繁的数据越多越好混杂性，不是竭力避免，而是标准途径新的数据库设计的诞生03更好：不是因果关系，而是相关关系关联物，预测的关键“是什么”，而不是“为什么”改变，从操作方式开始大数据，改变人类探索世界的方法第二部分大数据时代的商业变革04数据化：一切皆可“量化”数据，从最不可能的地方提取出来数据化，不是数字化量化一切，数据化的核心当文字变成数据当方位变成数据当沟通变成数据世间万物的数据化05价值：“取之不尽，用之不竭”的数据创新数据创新1：数据的再利用数据创新2：重组数据“每月一读”好书报告《大数据时代》目录数据创新3：可扩展数据数据创新4：数据的折旧值数据创新5：数据废气数据创新6：开放数据给数据估值06角色定位：数据、技术与思维的三足鼎立大数据价值链的3大构成大数据掌控公司大数据技术公司大数据思维公司和个人全新的数据中间商专家的消亡与数据科学家的崛起大数据，决定企业竞争力第三部分大数据时代的管理变革07风险：让数据主宰一切的隐忧无处不在的“第三只眼”我们的隐私被二次利用了预测与惩罚，不是因为“所做”，而是因为“将做”数据独裁挣脱大数据的困境08掌控：责任与自由并举的信息管理管理变革1：个人隐私保护，从个人许可到让数据使用者承担责任管理变革2：个人动因VS预测分析管理变革3：击碎黑盒子，大数据算法师的崛起管理变革4：反数据垄断大亨结语正在发生的未来参考文献“每月一读”好书报告本书观点——大数据时代生活、工作与思维的大变革“每月一读”好书报告本书观点——大数据、思维变革大数据，改变人类探索世界的方法，在小数据时代，我们会假想世界是怎么运作的，然后通过收集和分析数据来验证这种假想。在不久的将来，我们会在大数据的指导下探索世界，不再受限于各种假想。我们的研究始于数据，也因为数据我们发现了以前不曾发现的联系。“每月一读”好书报告2003年，埃奇奥尼决定开发一个系统，用来推测当前网页上的机票价格是否合理。在基于41天之内的12000个价格样本之上，他创立了一个预测系统，这个小项目逐渐发展成为一家得到风险投资基金支持的科技创业公司，名为Farecast。Farecast票价预测工具帮助消费者抓住最佳购买时机，而在此之前还没有其他网站能让消费者获得这些信息。本书观点——大数据，商业变革到2012年为止，Farecast系统用了将近10亿条价格记录来帮助预测美国国内航班的票价。Farecast票价预测的准确率已经高达75%，使用Farecast票价预测工具购买机票的旅客，平均没涨机票可节省50美元。Farecast是大数据公司的一个缩影，也代表了当今世界发展的趋势。“每月一读”好书报告本书观点——样本=主体我们可以用Lytro相机来打一个恰当的比方。Lytro相机是具有革新性的，因为它把大数据运用到了基本的摄影中。与传统相机只可以记录一束光不同，Lytro相机可以记录整个光场里所有的光，达到1100万束之多。具体生成什么样的照片则可以在拍摄之后再根据需要决定。用户没必要在一开始就聚焦，因为该相机可以捕捉到所有的数据，所以之后可以选择聚焦图像中的任一点。整个光场的光束都被记录了，也就是收集了所有的数据，“样本=总体”。因此，与普通照片相比，这些照片就更具“可循环利用性”。如果使用普通相机，摄影师就必须在拍照之前决定好聚焦点。同理，因为大数据是建立在掌握所有数据，至少是尽可能多的数据的基础上的，所以我们就可以正确地考察细节并进行新的分析。在任何细微的层面，我们都可以用大数据去论证新的假设。“每月一读”好书报告假设你要测量一个葡萄园的温度，但是整个葡萄园只有一个温度测量仪，那你就必须确保这个测量仪是精确的而且能够一直工作。反过来，如果每100棵葡萄树就有一个测量仪，有些测试的数据可能会是错误的，可能会更加混乱，但众多的读数合起来就可以提供一个更加准确的结果。因为这里面包含了更多的数据，而它不仅能抵消掉错误数据造成的影响，还能提供更多的额外价值。现在想想增加读数频率的这个事情。如果每隔一分钟就测量一下温度，我们至少还能够保证测量结果是按照时间有序排列的。如果变成每分钟测量十次甚至百次的话，不仅读数可能出错，连时间先后都可能搞混掉。试想，如果信息在网络中流动，那么一条记录很可能在传输过程中被延迟，在其到达的时候已经没有意义了，甚至干脆在奔涌的信息洪流中彻底迷失。虽然我们得到的信息不再那么准确，但收集到的数量庞大的信息让我们放弃严格精确的选择变得更为划算。本书观点——不是精确性，而是混杂性“每月一读”好书报告本书观点——不是因果关系，而是相关关系•杰夫·贝索斯，亚马逊公司的创始人以及总裁开始尝试根据客户个人以前的购物喜好，为其推荐具体的书籍。从一开始，亚马逊已从每一个客户身上捕获了大量的数据。比如说，他们购买了什么书籍？哪些书他们只浏览却没有购买？他们浏览了多久？哪些书是他们一起购买的？客户的信息数据量非常大，所以亚马逊必须先用传统的方法对其进行处理，通过样本分析找到客户之间的相似性。但这些推荐信息是非常原始的，就如在买一件婴儿用品时，会被淹没在一堆差不多的婴儿用品中一样。詹姆斯·马库斯回忆说：“推荐信息往往为你提供与你以前购买物品有微小差异的产品，并且循环往复。”詹姆斯·马库斯从1996年到2001年都是亚马逊的书评家，在他的回忆录《亚马逊》里，他说道：“那种感觉就像你和一群脑残在一起逛书店。”•格雷格·林登很快就找到了一个解决方案。他意识到，推荐系统实际上并没有必要把顾客与其他顾客进行对比，这样做其实在技术上也比较烦琐。它需要做的是找到产品之间的关联性。1998年，林登和他的同事申请了著名的“item-to-item”协同过滤技术的专利。方法的转变使技术发生了翻天覆地的变化。•因为估算可以提前进行，所以推荐系统快如闪电，而且适用于各种各样的产品。因此，当亚马逊跨界销售除书以外的其他商品时，也可以对电影或烤面包机这些产品进行推荐。由于系统中使用了所有的数据，推荐会更理想。林登回忆道：“在组里有句玩笑话，说的是如果系统运作良好，亚马逊应该只推荐你一本书，而这本书就是你将要买的下一本书。”•如今，据说亚马逊销售额的三分之一都是来自于它的个性化推荐系统。有了它，亚马逊不仅使很多大型书店和音乐唱片商店歇业，而且当地数百个自认为有自己风格的书商也难免受转型之风的影响。事实上，林登的工作彻底改变了电子商务，现在几乎每个人都在使用电子商务。“每月一读”好书报告作者简介好书快览本书观点感悟解读结语精髓摘读导读“每月一读”好书报告摘读1——莫里的导航图，大数据的最早实践之一有经验的海员有时依靠经验能安全航海，但有时也会陷入危险之中。在从纽约到里约热内卢这条繁忙的航线上，水手们往往倾向于与自然斗争而不是顺应自然。美国船长一直被劝导前往里约热内卢不能通过海峡，因为那样存在很大风险，所以船长会选择在东南方向的航线上航行，再穿过赤道驶向西南方向。而这样一来，航行的距离就相当于穿越大西洋两次。这是很荒谬的，其实直接沿着海峡向南航行就可以了。为了提高精确度，莫里需要更多的信息，因此他创建了一个标准的表格来记录航海数据，并且要求美国所有的海军舰艇在海上使用，返航后再提交表格。商船也拼命地想得到他的图表，莫里就要求以他们的航海日志作为回报（病毒型社交网络的早期版本）。他宣称：“每艘航行在公海上的船舶从此以后都可以被视为一个浮动的天文台，一个科学的殿堂。”为了改进和完善图表，他需要寻求更多的数据（正如谷歌利用网页排名来获得更多的数据）。莫里让船长定期向海里扔掷标有日期、位置、风向以及当时洋流情况的瓶子，然后再来寻找这些瓶子。许多船挂了一面特殊的旗帜，表明它参与了这个信息交流计划。这些旗帜就是出现在一些网多船挂了一面特殊的旗帜，表明它参与了这个信息交流计划。这些旗帜就是出现在一些网站上的友情链接的前身。站上的友情链接的前身。通过分析这些数据，莫里知道了一些良好的天然航线，这些航线上的风向和洋流都非常利于航行。他所绘制的图表帮助商人们节省了一大笔钱，因为航海路程减少了三分之一左右。一个船长感激地说：“我在得到你的图表之前都是在盲目地航行，你的图表真的指引了我。”有一些顽固的人拒绝使用这个新制的图表，而当他们因为使用旧方法航行到半路出了事故或者花费的航行时间长很多的时候，他们反而帮助证明了莫里系统的实用性。“每月一读”好书报告摘读2——大数