大数据思维与决策--范文慧

2016.04.27范文慧清华大学自动化系大数据思维与决策个人简介清华大学自动化系教授/博导中国仿真学会副理事长中国仿真学会组织工作委员会主任委员中国仿真学会复杂系统建模与仿真专业委员会主任委员中国仿真学会仿真技术应用专业委员会副主任委员中国仿真学会仿真科普与教育工作委员会副主任委员中国自动化学会系统仿真专业委员会副主任委员北京市复杂产品先进制造系统工程技术研究中心专家委委员中国标准化研究院科学技术专家委委员中国智慧城市发展研究中心西北分中心（克拉玛依）特邀研究员联系方式：地址：北京市海淀区清华大学中央主楼601室邮编：100084电话：[phone]手机：[phone]传真：[phone]Email:[e-mail]提纲一、大数据时代二、大数据内涵三、大数据思维四、大数据技术五、结束语大数据订外卖披萨的案例一、大数据时代请看视频01-3分钟41、数据定义一、大数据时代5宇宙构成的元素：物质、能量、信息2、信息革命一、大数据时代63、能源革命一、大数据时代7杰里米·里夫金新的通信技术（ICT）和新的能源系统结合将再次出现——互联网技术和可再生能源融合美国华盛顿特区经济趋势基金会总裁，享有国际声誉的社会批评家和畅销书作家一、大数据时代4、数据爆炸（1）8一、大数据时代94、数据爆炸（2）最早提出“大数据时代”到来的是麦肯锡：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。《纽约时报》2012年2月的一篇专栏中称“大数据时代”已经降临，在商业、经济及其他领域中决策将日益基于数据和分析而作出而并非基于经验和直觉。一、大数据时代5、大数据时代（1）2012年3月奥巴马政府发布了“大数据研究和发展倡议”拟投资2亿美元启动“大数据发展计划”以期在科学研究、环境、生物医学等领域利用大数据技术进行突破。2012年5月联合国发表《大数据促发展挑战与机遇》政务白皮书，指出大数据对于世界各国是一个历史机遇，探讨如何利用包括社交网络在内的大数据资源造福人类。102014年10月29日，国务院常务会议特别强调了要扩大移动互联网、物联网等信息消费，提升宽带速度，支持网购发展和农村电商配送。加快健康医疗、企业监管等大数据应用。2015年的《政府工作报告》也强调，要制定“互联网+”行动计划，推动移动互联网、云计算、大数据、物联网等与现代制造业结合，促进电子商务、工业互联网和互联网金融健康发展。一、大数据时代5、大数据时代（2）11如果一个个人拒绝大数据时代，可能会失去生命；如果一个国家拒绝大数据时代，可能会失去这个国家的未来！一、大数据时代6、小结12无论你知道与不知道，无论你接受与不接受大数据时代已经来临！1、大数据的定义二、什么是大数据麦肯锡全球研究所：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合。Gartner定义：是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产1Byte=8bit进率1024（2的10次方）计算Mega[兆]M.10^03Giga[吉]G.10^06Tera[太]T.10^09Peta[拍]P.10^12Exa[艾]E.10^15Zetta[泽]Z.10^18Yotta[尧]Y.10^21进制单位全称及译音13©涂子沛《数据之巅》《大数据》2、大数据的特征二、什么是大数据Volume大量14Velocity高速6000万用户登录/天20亿次页面访问/天每天1.2亿次网站访问响应时间小于100毫秒由于输入速度加快，所以要求输出速度也要加快•大数据的惊人不止是在数量上，同时数据还是巨量具有动态分析价值的数据。•访问响应时间的加快，数据库读写速度的加快，对电商企业来说就等于多成交。•对于很多情况下，动态的数据价值远大于静态数据，比如气象预测，灾难预测，快销行业等。2、大数据的特征二、什么是大数据152、大数据的特征二、什么是大数据16Veracity真实数据的重要性就在于对决策的支持；数据的真实性和质量才是获得真知和思路最重要的因素，是制定成功决策最坚实的基础；准确源自于对全部数据的处理分析；大数据的核心思想之一。2、大数据的特征二、什么是大数据17大数据能做一个预言家谷歌和推特都曾用大数据，提前7天到一个月，在2009年准确预测当年的流感趋势一小时的视频，在不间断的监控过程中，可能有用的数据仅仅只有一两秒大数据分析犹如“大海捞针”Value价值2、大数据的特征二、什么是大数据182、大数据的特征二、什么是大数据5V规模性（Volume）价值性（Value）真实性（Veracity）高速性（Velocity）多样性（Variety）193、大数据的应用（1）二、什么是大数据2021丹麦风轮机制造商维斯塔斯，在世界上最大的超级计算机上部署IBM大数据解决方案，通过分析包括PB量级气象报告、潮汐相位、地理空间、卫星图像等结构化及非结构化的海量数据•优化风力涡轮机布局，有效提高风力涡轮机的性能，为客户提供精确和优化的风力涡轮机配置方案；•帮助客户降低每千瓦时的成本；•提高客户投资回报估计的准确度；•将业务用户请求的响应时间从几星期缩短到几小时。3、大数据的应用（2）二、什么是大数据电力大数据22数据即能量（Energy）：电力大数据使用过程中不断精炼而增值数据即交互（Exchange）：电力数据同行业外数据的交互融合数据即共情（Empathy）：挖掘和满足电力用户，建立情感联系，提供电力服务3、大数据的应用（3）二、什么是大数据3、大数据的应用（3）二、什么是大数据23电力大数据5、大数据的好处二、什么是大数据请看视频03-15分钟24肯尼斯·库克耶给我们展现了由大数据给机器学习和人类知识带来的翻天覆地的变化。我们可以从我们能收集的信息中来了解这个世界以及人类在这个世界中所处的地位。大数据即将改变我们的生活、工作和思考方式，可以帮助我们管理事业、过想要的充满希望幸福和健康的生活大数据核心是预测什么大数据思维三、大数据思维大数据思维，是指一种意识，认为公开的数据一旦处理得当就能为千百万人急需解决的问题提供答案。251、不是随机样本，而是全体数据三、大数据思维©《大数据时代》26小数据的随机采样，•统计学用尽可能少的数据来证实尽可能重大的发现；•统计学本身存在许多固有的缺陷。全数据模式，样本=总体•数据深度探讨，抽样几乎无法；•用所有数据，抽样会淹没掉的信息；•所有数据的方法，非随机分析法。诺贝尔奖自1901年创办至2016年共110届的诺贝尔数据，排除48次空缺或无生辰资料及23个机构获奖外，提供了877份科学家的案例，统计如下：三、大数据思维大数据诺贝尔奖案例27三、大数据思维大数据诺贝尔奖案例诺贝尔奖大数据告诉你：最聪明的星座是谁？28腾讯科技讯2月8日，猴年除夕红包：•红包收发总量：微信80.8亿个；QQ：42亿个，双双创下历史新高。•微信：共有4.2亿人收发红包，•QQ：在“刷一刷”抢红包中吸引3.08亿人。•微信，广东人发送的红包最多，收到的也最多；除夕当天，有人收到5279个红包，也有人发出79193个红包。•“年度最值钱”的红包照片，共收到597个红包；来自河南的29岁女性用户，为了看照片共发出了219个红包，当日最多。三、大数据思维大数据红包案例29允许不精确•“小数据”最基本、最重要的是减少错误，保证质量；大数据的简单算法比小数据的复杂算法更有效•数据多比少好，更多数据比算法系统更智能还要重要；2、不是精确性，而是混杂性三、大数据思维谷歌翻译好不是因为它拥有一个更好的算法机制，利用成千上万数据，它接受了有错误的数据。©《大数据时代》30纷繁的数据越多越好•大数据用概率说话，要学会拥抱混乱。•掌握了大量新型数据时，精确性就不那么重要；•错误并不是大数据固有的特性，而是现实问题。大数据与葡萄酒品质预测三、大数据思维小数据专家（直觉与经验）：罗伯特·帕克•使用传统的“品咂并吐掉”的方法。•葡萄酒在装瓶之前盛放在橡木桶里发酵18-24个月，评酒家在4个月后才能第一次品尝，很难得出酒品质的准确信息。大数据专家：奥利·阿什菲尔特•在品酒师第一次尝酒的数月之前，是在卖出的数年之前，葡萄收获时就能预测出葡萄酒的未来品质。奥利预测：1989年法国波尔多酒（仅仅在木桶放了3个月）将成为“世纪佳酿”;如果1961年评级为100，那么1989年将会达到149；“1989年能够卖出35年中所生产的葡萄酒的最高价”事实证明，奥利是对的。©《大数据思维与实践》31正确的观点不一定总是受欢迎的！大数据与葡萄酒品质预测遭到讥讽和鄙视：•“这个公式显然是可笑的，我们无法重视它”•“介入极端和滑稽可笑之间”•“一个彻头彻尾的骗子”•“其实是在用尼安德特人的思维来看待葡萄酒，这是非常荒谬甚至非常可笑的”•“如果他邀请我去他家喝酒，我会感到恶心”•“就像某些影评一样，根据演员和导演来告诉你电影有多好，实际上却从来没有看过那部电影”•“愚蠢可笑”•“既愤怒又恐惧，他确实让人感到恐慌。”•当他在酒行演讲时，后面嘘声一片三、大数据思维©《大数据思维与实践》32大数据与葡萄酒品质预测根据1952年～1980年期间6家波尔多名庄（白马、拉图、拉菲、爱士图尔、蒙特罗斯、碧尚女爵）10个年份的60款葡萄酒在1990年～1999年期间的伦敦市场拍卖价格曲线，推导出一条葡萄酒价格公式：超级大数据分析的崛起，并不意味着直觉判断的消亡，也不是说工作中累计的经验不重要。最优秀、最聪明的人对于运用统计与直觉都游刃有余。葡萄酒价格被解释变量=0.0240AGE（酒龄）+0.608TEMP（葡萄生长期平均气温）-0.0038RAIN（8月至9月的降水量）+0.00115WRAIN（上年10月至本年3月的降水量）三、大数据思维©《大数据思维与实践》33“是什么”而不是“为什么”•相关关系核心是量化两个数据值之间的数理关系•相关关系通过识别有用的关联物来帮助我们分析一个现象，捕捉现在和预测未来；而不是揭示其内部的运作机制•相关关系帮助更好地了解这个世界3、不是因果关系，而是相关关系三、大数据思维©《大数据时代》34人类通过因果关系与相关关系分析而了解世界在小数据中，相关关系也是有用的大数据折扣零售商与怀孕预测案例三、大数据思维美国折扣零售商塔吉特与怀孕预测©《大数据时代》35大数据流感传播预测案例•5000万条美国人最频繁检索的词条•4.5亿个不同的数学模型•与实际流感病例对比后，软件发现45条检索词条的组合•用于一个特定的数学模型后，预测与官方数据的相关性高达97%•唯一关注：特定检索词条的使用频率与流感在时间和空间上的传播之间的联系。©大数据时代-一场生活、工作与思维的大变革36小数据专家（直觉与经验）专家：流感爆发一两周之后才可以做到。大数据专家：谷歌公司在2009年甲型H1N1流感爆发的几周前，预测流感是从哪里传播出来的，判断非常及时。三、大数据思维大数据与机票价格预测•建立在12000个价格样本基础之上，而这些数据都是从一个旅游网站上爬取过来的•到2012年为止，用了将近十万亿条价格记录来帮助预测美国国内航班的票价，准确度已经高达75％，平均每张机票可节省50美元•不需要去解开机票价格差异的奥秘，只推测会发生什么，未来时间内上涨还是下降世界就是一系列的大数据问题，而且他认为自己有能力解决这些问题37小数据专家（直觉与经验）：无法完成大数据专家：埃齐奥尼，2003年创立机票价格预测系统Farecast，微软公司以1.1亿美元收购三、大数据思维4、小结三、大数据思维大数据的精髓在于三个思维转变（认识世界与改造世界的方法）第一个转变：分析样本=分析全集第二个转变：追求精确=接受混杂第三个转变：寻找因果=探求相关©《大数据时代》3839•ETL（Extract-Transform-Lo