大数据

大数据：变革世界的关键资源引言第一次信息革命第二次信息革命第三次信息革命第四次信息革命第五次信息革命第六次信息革命语言的创造猿→人信息得以交流和传递文字的出现信息可以被储存在文字中进行传播，解决了语言的时间和空间的局限性印刷术的发明扩大了信息的交流、传递的容量和范围无线电的发明电磁波传播信息，速度增长几十亿倍电视的出现声音、图片影像、文字实现同时远距离实时传播（摘自人民出版社《大数据领导干部读本》）计算机与互联网的使用突破了人类大脑及感觉器官加工利用信息的能力，人类进入信息社会时代引言第七次信息革命？现在我们正经历着一场信息革命。这不是在技术上、机器设备上、软件上或速度上的一场革命，而是一场“概念”上的革命。以往50年信息技术的重点在“技术”上，目的在于提升信息传播范围、传播能力和传播效率。而新的信息革命的重点将会在“信息”上。——彼得·德鲁克《21世纪的管理挑战》*马云对未来的预测，是建立在对用户行为分析的基础上。“2008年初,阿里巴巴平台上整个买家询盘数急剧下滑，欧美对中国采购在下滑。海关是卖了货,出去以后再获得数据;而我们提前半年时间从询盘上推断出世界贸易发生变化了。”腾讯在天津投资建立亚洲最大的数据中心；百度也在投资建立大数据处理中心；国内大数据*2012年3月，美国奥巴马政府宣布投资2亿美元启动“大数据研发计划”，旨在提高和改进从海量和复杂数据中获取知识的能力，加速美国在科学和工程领域发明的步伐，增强国家安全。这是继1993年美国宣布“信息高速公路”计划后的又一次重大科技发展部署，由美国国家科学基金会、能源部等6个联邦部门共同投资。美国的大数据战略政府对大数据的重视程度6习近平政府管理不仅要讲究策略，还要讲究手段，比如大数据技术的应用，2014年3月8日“大数据”首次写入政府工作报告奥巴马“将投入巨资拉动与大数据相关的产业”“数据为“未来的石油“，是美国综合国力的一部分，是与陆权、海权、空权同等重要的“国家核心资产”。李克强：加快推进全国中小企业征信系统建设,通过大数据等技术优化中小企业征信资质。李克强经济数据和目标的进一步调整，中小企业将面临更大的压力，互联网金融除了解决便利性问题外，更重要的是如何围绕特有的大数据资源展开对实体经济的服务汪洋数据为王，财政工作离不开大数据一、什么是大数据触手可及的数据0102什么是大数据大数据的五个特点1.什么是大数据它什么都知道会员卡号是：342623我想要一个海鲜披萨。**披萨店为您服务。您的会员卡号是？为什么？海鲜披萨不适合您。根据您的医疗记录，你的血压和胆固醇都偏高。您可以试试我们的低脂健康比萨。那你们有什么推荐？您上星期一在国家图书馆借了一本《低脂健康食谱》。你怎么知道我会喜欢吃这种的？好。那要一个家庭特大号，多少钱？99元，它足够您一家六口吃。但您母亲应该少吃。你们直接把比萨送我家吧，你们多久会送到？大约30分钟。如果您不想等，可以自己骑车来。根据我们CRM全球定位系统的车辆行驶自动跟踪系统记录，您登记有一辆车号为SV-568的摩托车，而您目前正在铁山路右侧骑着这辆摩托车……她上月刚做了心脏手术，还在恢复期。1.什么是大数据大数据——挖掘和整合一切有用的信息，为人类社会提供更好的服务。•21世纪前10年……社交媒体的产生，数据开始呈现爆炸式的增长，大数据的提法开始进入大众的视野并获得了越来越多的关注。2.大数据的五个特点类型多75%•网络日志、音频、视频、图片、地理位置信息•社交媒体中产生的数据25%“1、2、3、4”等传统数字以及符号非结构化数据结构化数据2.大数据的五个特点容量大•美国的国会图书馆5000•百度每天处理数据量根据IDC（国际数据公司）的监测统计，2011年全球数据总量已经达到1.8ZB，而这个数值还在以每两年翻一番的速度增长，预计到2020年全球将总共拥有35ZB的数据量，增长近20倍，相当于我们地球上所有海滩沙粒总数的57倍。截至2010年，人类拥有的信息总量大概是1.2Z存储数据量最大的图书馆之一。2011年4月，拥有235TB的数据一首歌4M×1024×1024一部电影1G×1024一图书馆藏书1T×1024谷歌每小时处理1P13亿中国人人手1本500页书的信息量总和=1E吉（G）兆（M）太（T）拍（P）艾（E）泽（Z）约为5000个美国图书馆总和2.大数据的五个特点•数据产生得快一台大型粒子对撞机里共有1.5亿个传感器每秒钟发生粒子对撞6亿次仅仅使用十万分之一一年积累25PB的数据1TB的硬盘×25000个剔除99.999%•数据处理速度快大数据通过云计算，以上数据储存仅需20分钟共计1PB，速度1G/s，还剩144小时已完成50%存取速度快2.大数据的五个特点应用价值大大数据之“大”，其实并不在于其表面的“大容量”，而在于其潜在的“大价值”。如果不能把拥有的数据转化为价值，那么拥有再多的数据也是毫无意义的。个人位置大数据服务8000亿美元的市场规模——麦肯锡研究院对美国的测算零售业大数据帮助企业增加60%的利润制造业大数据降低50%的产品开发制造装配成本2.大数据的五个特点具备大智能更加智能的社会传感器、可穿戴式设备等微小的计算设备将进一步普及“万物皆互联、无处不计算”实时收集数据确保安全行驶谷歌无人驾驶汽车二、大数据是如何产生的123保存数据的能力在增强处理数据的能力在增强生产数据的能力在增强大数据的背后推手1.随着存储器硬件能力的提升，人类保存数据的能力在增强世界上第一款硬盘——IBM商用硬盘存储器一兆字节的存储量需要6000多美元1955年2010年一兆字节的存储量仅需要0.005美分2020年1T硬盘=一杯咖啡的钱=一个图书馆的全部信息2.随着物联网技术与互联网经济的发展，人类生产数据的能力在增强传感器感知和运输不断生产的数据移动设备收集了大量的用户数据2.随着物联网技术与互联网经济的发展，人类生产数据的能力在增强社交媒体及互联网经济的发展移动设备收集了大量的用户数据记录各自的活动和行为留下支付行为、空间位置、兴趣爱好、信用历史等每个网民都是数据的生产者3.随着云计算的诞生与发展，人类处理数据的能力在增强•云计算一般由数量惊人的计算机群构成，谷歌云计算拥有的服务器超过100万台；•云计算系统是一个极其庞大的资源池子，用户可以随时、随地、按需灵活地购买，就像购买煤气和自来水一样便利；•云计算让普通人体验每秒10万亿次的运算能力。而如此强大的计算能力，可以模拟核爆炸、预测气候变化和市场发展趋势。三、大数据可以做什么1234大数据让政府治理更精准透明大数据让公共服务更智慧大数据让商业创新更迅猛大数据让经济治理更有效大数据可以做什么1.大数据让政府治理更精准透明1.大数据让政府治理更精准透明百度地图1用户去目的地前，用百度地图搜索地点和规划路线3提前1—2小时对即将到来的风险进行预警2百度地图通过分析大量数据，预测相关地点的人流量避免如上海外滩踩踏事件一类悲剧再度发生1.大数据让政府治理更精准透明设计人员编入流感关键词，如温度计、流感症状、肌肉疼痛、胸闷等只要用户输入这些关键词，系统就会展开跟踪分析，创建地区流感图表和流感地图预测出世界上不同国家和地区的流感传播情况2009年，甲型H1N1流感暴发的几周前，“谷歌流感趋势”成功预测了流感在美国境内的传播，其分析结果甚至具体到特定的地区和州，并非常及时，令公共卫生官员备感震惊。而传统上，美国疾病控制中心要在流感暴发一两周之后才可以做到这些。谷歌流感趋势谷歌工程师认为，搜索流感信息的人数与实际患病人数之间存在密切关联。谷歌一周疫情报告1.大数据让政府治理更精准透明大数据“第三只眼”使政府治理更加透明化，打造阳光政府反腐倡廉反应各地区的腐败轻重程度、廉洁指数、市民抱怨度、市民对政府的满意度等网民搜索反腐关键词2.大数据让经济治理更有效经济治理领域是大数据创新应用的沃土大数据是提高经济治理质量的有效手段2.大数据让经济治理更有效支付宝“芝麻信用”——“芝麻信用分”，授权开通后，每个支付宝用户都可以看到自己的芝麻信用分。分数越高代表信用程度越好，违约可能性越低。天猫淘宝淘宝电影水费电费工商学历学籍公安内部数据外部数据……支付宝网购相关行为数据政府已经开放的外部数据…芝麻信用分高芝麻信用分低租车、住酒店无押金签证无需财产证明…找不到工作租不到房子贷不到款…2.大数据让经济治理更有效12342012年7月，通用电器公司投资1.7亿美元在纽约州斯克内克塔迪市开设了一家电池工厂。3.大数据让公共服务更智慧3.大数据让公共服务更智慧高德导航高德公司基于位置服务大数据的能力，与乌镇、古北水镇两家旅游公司合作，上线了全国首个“智慧景区”服务，解决游客在景区容易遇到的迷路、拥堵、排队等问题。地图渲染分类筛选导游语音智慧景区3.大数据让公共服务更智慧基于大数据技术，有朝一日，机器的诊疗准确率甚至可能超过人类历史上最有名的名医。4.大数据让商业创新更迅猛未来，无论是在中国，还是在世界其他国家，数据密集型产业将成为发展最快的产业。拥有数据最多的公司将迅速崛起为这个时代的领军公司。商业领域变革4.大数据让商业创新更迅猛北美最大的付费订阅视频网站——Netflix2012年，Netflix准备推出自制剧。不过在决定拍什么、怎么拍上，Netflix推出了自己的秘密武器——大数据。收集预测拍摄四、大数据应用案例商品零售大数据37此事经被《纽约时报》报道后，塔吉特“大数据”的巨大威力轰动全美在美国，有一位父亲怒气冲冲地跑到塔吉特卖场，质问为何将带有婴儿用品优惠券的广告邮件，寄送给他正在念高中的女儿?然而后来证实，他的女儿果真怀孕了。这名女孩搜寻商品的关键词，以及在社交网站所显露的行为轨迹，使沃尔玛捕捉到了她的怀孕信息。模型发现，许多孕妇在第2个妊娠期的开始会买许多大包装的无香味护手霜；在怀孕的最初20周大量购买补充钙、镁、锌的善存片之类的保健品。最后塔吉特选出了25种典型商品的消费数据构建了“怀孕预测指数”，通过这个指数，Target能够在很小的误差范围内预测到顾客的怀孕情况，因此Target就能早早地把孕妇优惠广告寄发给顾客。消费大数据38亚马逊“预测式发货”的新专利，可以通过对用户数据的分析，在他们还没有下单购物前，提前发出包裹。这项技术可以缩短发货时间，从而降低消费者前往实体店的冲动。从下单到收货之间的时间延迟可能会降低人们的购物意愿，导致他们放弃网上购物。所以，亚马逊可能会根据之前的订单和其他因素，预测用户的购物习惯，从而在他们实际下单前便将包裹发出。根据该专利文件，虽然包裹会提前从亚马逊发出，但在用户正式下单前，这些包裹仍会暂存在快递公司的转运中心或卡车里。亚马逊为了决定要运送哪些货物，亚马逊可能会参考之前的订单、商品搜索记录、愿望清单、购物车，甚至包括用户的鼠标在某件商品上悬停的时间。大数据+政治39在筹备过程中，奥巴马背后的数据分析团队一直在收集、存储和分析选民数据。在这次的大选中，奥巴马竞选阵营的高级助理们决定将参考这一团队所得出的数据分析结果来制定下一步的竞选方案。利用在竞选中可获得的选民行动、行为、支持偏向方面的大量数据。比如，在东海岸找到一位对女性群体具备相同号召力的名人，从而复制“克鲁尼效应”并为奥巴马筹集竞选资金。“Twitter的政治指数”提供了一个衡量社会化媒体平台的用户如何评价候选人的方式。奥巴马积极的情绪指数是59，而罗姆尼的只有53证监会大数据40回顾“老鼠仓”的查处过程，在马乐一案中，“大数据”首次介入。深交所此前通过“大数据”查出的可疑账户高达300个。实际上，早在2009年，上交所曾经有过利用“大数据”设置“捕鼠器”的设想。通过建立相关的模型，设定一定的指标预警，即相关指标达到某个预警点时监控系统会自动报警。而此次在马乐案中亮相的深交所的“大数据”监测系统，更是引起了广泛关注。深交所有几十人的监控室，设置了200多个指标用于监测估计，一旦出现股价偏离大盘走势，深交所利用大数据查探异动背后是哪些人或机构在参与。金融大数据41阿里“水文模型”是按小微企业类目、级别等分别统