大数据那些事儿

大数据那些事儿目录页第2页左右未来十年的四大趋势目录页第3页“世界的本质就是数据，大数据将开启一次重大的时代转型”“从因果关系到相关关系的思维变革才是大数据的关键，建立在相关关系分析法基础上的预测才是大数据的核心”“大数据是这个时代的的新黄金”维克托•迈尔-舍恩伯格《经济学人》说，在大数据领域，他是最受人尊敬的权威发言人之一；《科学》说，若要发起一场关于大数据的深入讨论，没有比他更好的发起者了；第一财经《头脑风暴》两期节目邀请他激辩大数据；央视《对话》邀请他引爆大数据目录页第4页目录认识大数据大数据带来的变革大数据的应用大数据的风险认识大数据01020304带来的变革大数据的风险大数据的应用正文.第一章第5页认识大数据010203040506积极心态老板心态宽容心态感恩心态空杯心态认识大数据01020304带来的变革大数据的风险大数据的应用第一章认识大数据01数据有多“大”02大数据的定义03大数据的特点正文.第一章第6页认识大数据010203040506积极心态老板心态宽容心态感恩心态空杯心态认识大数据01020304带来的变革大数据的风险大数据的应用01数据有多“大”例证正文.第一章第7页认识大数据010203040506积极心态老板心态宽容心态感恩心态空杯心态认识大数据01020304带来的变革大数据的风险大数据的应用01数据有多“大”•百度每天的关键词搜索量50亿次，谷歌33.3亿次；•淘宝天猫2012年双11一天营业额达191亿人民币。中国小商品城全年成交额才580.03亿元人民币；•每天有2940亿封电子邮件发出，如果这些是纸质信件，在美国需要花费两年时间处理；•每天有2.5亿张照片上传至社交网站Facebook，如果都打印出来，摞在一起能有80个埃菲尔铁塔那么高；•每天有86.4万小时视频被上传至视频网站Youtube，相当于不间断播放视频98年；•谷歌翻译每天处理的文字数量,每天翻译次数达10亿次，相当于一百万册图书，超过了全世界的专业翻译人员一年能够翻译的文字规模；•累积起来，互联网一天之内产生的信息总量，可以装满1.68亿张DVD光盘。•……例证正文.第一章第8页认识大数据010203040506积极心态老板心态宽容心态感恩心态空杯心态认识大数据01020304带来的变革大数据的风险大数据的应用01数据有多“大”例证•1Byte=8Bit•1KB=1,024Bytes•1MB=1,024KB=1,048,576Bytes•1GB=1,024MB=1,048,576KB=1,073,741,824Bytes•1TB=1,024GB=1,048,576MB=1,099,511,627,776Bytes•1PB=1,024TB=1,048,576GB=1,125,899,906,842,624Bytes•1EB=1,024PB=1,152,921,504,606,846,976Bytes•1ZB=1,024EB=1,180,591,620,717,411,303,424Bytes•《红楼梦》含标点87万字（不含标点853509字）•每个汉字占两个字节：1汉字=16bit=2*8位=2bytes•1GB约等于671部红楼梦•1TB约等于631,903部•1PB约等于647,068,911部•美国国会图书馆藏书（151,785,778册）（2011年4月：收录数据235TB）•1EB=4000倍美国国会图书馆存储的信息量正文.第一章第9页认识大数据010203040506积极心态老板心态宽容心态感恩心态空杯心态认识大数据01020304带来的变革大数据的风险大数据的应用01数据有多“大”概念GBTBPBEBZB在2006年，个人用户才刚刚迈进TB时代，全球一共新产生了约180EB的数据；在2011年，这个数字达到了1.8ZB。而有市场研究机构预测：到2020年，整个世界的数据总量将会达到35.2ZB（1ZB=10亿TB）！正文.第一章第10页认识大数据010203040506积极心态老板心态宽容心态感恩心态空杯心态认识大数据01020304带来的变革大数据的风险大数据的应用02大数据的定义概念大数据---BigData，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据技术---是指从各种各样类型的巨量数据中，快速获得有价值信息的技术。解决大数据问题的核心是大数据技术。目前所说的大数据不仅指数据本身的规模，也包括采集数据的工具、平台和数据分析系统。大数据研发目的是发展大数据技术并将其应用到相关领域，通过解决巨量数据处理问题促进其突破性发展。因此，大数据时代带来的挑战不仅体现在如何处理巨量数据从中获取有价值的信息，也体现在如何加强大数据技术研发，抢占时代发展的前沿。正文.第一章第11页认识大数据010203040506积极心态老板心态宽容心态感恩心态空杯心态认识大数据01020304带来的变革大数据的风险大数据的应用03大数据的特点讲解1.Volume数据量大2.Variety数据类型繁多3.Value价值密度低4.Velocity更新速度快结构化数据、半结构化数据和非结构化数据如今的数据类型早已不是单一的文本形式，订单、日志、音频，对处理能力提出了更高的要求沙里淘金，价值密度低以视频为例，一部一小时的视频，可能有用的数据仅仅只有一两秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”是目前大数据汹涌背景下亟待解决的难题实时获取需要的信息大数据区分于传统数据最显著的特征。如今已是ZB时代，在如此海量的数据面前，处理数据的效率就是企业的生命数据量巨大全球在2010年正式进入ZB时代，IDC预计到2020年，全球将总共拥有35ZB的数据量正文.第二章第12页认识大数据010203040506积极心态老板心态宽容心态感恩心态空杯心态认识大数据01020304带来的变革大数据的风险大数据的应用第二章大数据带来的变革01全新的生活方式02全新的思维方式03全新的商业模式04全新的管理模式正文.第二章第13页认识大数据010203040506积极心态老板心态宽容心态感恩心态空杯心态认识大数据01020304带来的变革大数据的风险大数据的应用例证01全新的生活方式•购物：不受时空限制，随时随地购物。在看不到商品的情况下，口碑就是质量。正文.第二章第14页认识大数据010203040506积极心态老板心态宽容心态感恩心态空杯心态认识大数据01020304带来的变革大数据的风险大数据的应用例证01全新的生活方式•旅行：足不出户，安排好一切。正文.第二章第15页认识大数据010203040506积极心态老板心态宽容心态感恩心态空杯心态认识大数据01020304带来的变革大数据的风险大数据的应用例证01全新的生活方式•信息：人人都是传媒。正文.第二章第16页认识大数据010203040506积极心态老板心态宽容心态感恩心态空杯心态认识大数据01020304带来的变革大数据的风险大数据的应用例证01全新的生活方式•社交：你所有的朋友都能在网络上找到。正文.第二章第17页认识大数据010203040506积极心态老板心态宽容心态感恩心态空杯心态认识大数据01020304带来的变革大数据的风险大数据的应用02全新的思维方式讲解•更多---分析事物时，依赖该事物的所有数据，不再是进行样本分析。–利用所有数据，而不再仅仅依靠一部分数据–全数据模式，样本=总体•更杂---在大数据时代，允许不精确。–纷繁的数据越多越好–要想获得大规模数据带来的好处，混乱应该是一种标准途径，而不应该是竭力避免的•更好---更注重相关关系，而不是因果关系。–注重“是什么”，而不是“为什么”–通过找出一个关联物并监控它，我们就能预测未来。正文.第二章第18页认识大数据010203040506积极心态老板心态宽容心态感恩心态空杯心态认识大数据01020304带来的变革大数据的风险大数据的应用02全新的思维方式例证无所不包的谷歌翻译系统2006年，谷歌公司也开始涉足机器翻译，谷歌翻译开始利用一个更大更繁杂的数据库，也就是全球的互联网，而不再只利用两种语言之间的文本翻译。谷歌翻译系统为了训练计算机，会吸收它能找到的所有翻译，掌握用不同语言翻译的质量参差不齐的数十亿页的文档，上万亿的语料库就相当于950亿句英语。尽管其输入源很混乱，但较其他翻译系统而言，谷歌的翻译质量相对而言还是最好的，而且可翻译的内容更多。到2012年年中，谷歌数据库涵盖了60多种语言，甚至能够接受14种语言的语音输入，并有很流利的对等翻译。正文.第二章第19页认识大数据010203040506积极心态老板心态宽容心态感恩心态空杯心态认识大数据01020304带来的变革大数据的风险大数据的应用02全新的思维方式故事“啤酒与尿布”的故事在一家超市中，人们发现了一个特别有趣的现象：尿布与啤酒这两种风马牛不相及的商品居然摆在一起。但这一奇怪的举措居然使尿布和啤酒的销量大幅增加了。这可不是一个笑话，而是一直被商家所津津乐道的发生在美国沃尔玛连锁超市的真实案例。原来，美国的妇女通常在家照顾孩子，所以她们经常会嘱咐丈夫在下班回家的路上为孩子买尿布，而丈夫在买尿布的同时又会顺手购买自己爱喝的啤酒。这个故事揭示了一个道理：商品之间具有相关性，也就是说，商品在卖场中不是孤立的，不同商品在销售中会形成相互影响关系。1993年，美国学者Agrawal提出，通过分析购物小票中的商品集合，从而找出商品之间关联关系的关联算法，并根据商品之间的关系，发现客户的购买行为规律。沃尔玛从上个世纪90年代开始将这种算法引入到POS机数据分析中，并获得了成功。这个案例可以说是今天大数据产生的萌芽。正文.第二章第20页认识大数据010203040506积极心态老板心态宽容心态感恩心态空杯心态认识大数据01020304带来的变革大数据的风险大数据的应用故事03全新的商业模式《纸牌屋》Netflix并不是任何一个电视台，而是电视台和电影院的平台，是北美最大的付费订阅视频网站。基于其3000万北美用户观看视频时留下的行为数据，预测出凯文·史派西、大卫·芬奇和“BBC出品”三种元素结合在一起的电视剧产品将会大火特火。此外，Netflix还通过“大数据”观测到另一流行趋势：越来越多的人不再像30年前那样，在固定晚上的固定时刻守在电视机前，等着收看电视剧的最新剧集，而是“攒”起来，直到整季剧情全部播放完毕之后，才选一个自己方便的时间段和地点，在方便的设备（多数是网络设备，如电脑、iPad）上一次性观看。正文.第二章第21页认识大数据010203040506积极心态老板心态宽容心态感恩心态空杯心态认识大数据01020304带来的变革大数据的风险大数据的应用03全新的商业模式例证当文字变成数据当文字变成数据，它就大显神通了——人可以用之阅读，机器也可用之分析。所以，谷歌精明地利用这些数据化了的文本来改进它的机器翻译服务。系统可以找出译语的单词和词组在源语中的对应词和词组是什么。一旦得到答案，系统就可以把翻译看成是一个简单的数学问题，只需要用电脑找出两种语言之间最恰当的对等词和词组。现在很多公司都在电子书领域激烈地竞争着，亚马逊连同它的Kindle电子书就是这个领域的先驱者，国内的多看也因此获益匪浅。正文.第二章第22页认识大数据010203040506积极心态老板心态宽容心态感恩心态空杯心态认识大数据01020304带来的变革大数据的风险大数据的应用03全新的商业模式例证当方位变成数据1978年见证了一个伟大的转变，当时构成全球定位系统（GPS）的24颗卫星发射成功。无论是汽车上的导航系统还是智能手机，地面上的接收器都能通过计算接收信号所需时间的差异对它们进行三角定位。如今，全球定位系统能精确到米，就这样，它实现了自古以来无数航海家、制图家和数学家的梦想。通过与技术手段的融合，全球定位系统能够快速地进行地理定位，而且不需要任何专业知识。UPS快递有