大数据的处理和分析计算机科学导论第十讲

大数据的处理和分析计算机科学导论第十讲计算机科学技术学院陈意云0551-63607043,[e-mail]~yiyun/课程内容•课程内容围绕学科理论体系中的模型理论,程序理论和计算理论1.模型理论关心的问题给定模型M，哪些问题可以由模型M解决；如何比较模型的表达能力2.程序理论关心的问题–给定模型M，如何用模型M解决问题–包括程序设计范型、程序设计语言、程序设计、形式语义、类型论、程序验证、程序分析等3.计算理论关心的问题给定模型M和一类问题,解决该类问题需多少资源2本次讲座与这些内容关系不大讲座提纲•大数据的魅力–数据挖掘、大数据、大数据案例、大数据的特点•大数据时代的思维变革–样本和全体、精确性和混杂性、因果关系和相关关系•大数据的处理–几种主要处理方式、MapReduce编程模型•大数据的分析–关键技术概述、PageRank初步3•数据挖掘–数据挖掘的定义1.从数据中提取出隐含的、过去未知的、有价值的潜在信息2.从大量数据或者数据库中提取有用信息的科学–相关概念：知识发现1.数据挖掘是知识发现过程中的一步2.粗略看：数据预处理数据挖掘数据后处理预处理:将未加工输入数据转换为适合处理的形式后处理:如可视化,便于从不同视角探查挖掘结果大数据的魅力4•数据挖掘–典型事例：购物篮分析顾客一次购买商品1面包、黄油、尿布、牛奶2咖啡、糖、小甜饼、鲑鱼3面包、黄油、咖啡、尿布、牛奶、鸡蛋4面包、黄油、鲑鱼、鸡5鸡蛋、面包、黄油6鲑鱼、尿布、牛奶7面包、茶叶、糖、鸡蛋8咖啡、糖、鸡、鸡蛋9面包、尿布、牛奶、盐10茶叶、鸡蛋、小甜饼、尿布、牛奶大数据的魅力5•数据挖掘–典型事例：购物篮分析顾客一次购买商品1面包、黄油、尿布、牛奶2咖啡、糖、小甜饼、鲑鱼3面包、黄油、咖啡、尿布、牛奶、鸡蛋4面包、黄油、鲑鱼、鸡5鸡蛋、面包、黄油6鲑鱼、尿布、牛奶7面包、茶叶、糖、鸡蛋8咖啡、糖、鸡、鸡蛋9面包、尿布、牛奶、盐10茶叶、鸡蛋、小甜饼、尿布、牛奶经关联分析，可发现顾客经常同时购买的商品：尿布牛奶大数据的魅力6•大数据–大数据，或称海量数据，指所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息–例如：Google每天有来自全球30亿条搜索指令每天都有成千上万的人通过Google搜索信息，从出游的路线和耗时、治疗某种疾病的方法和某研究方向的最新学术资料，各式各样的搜索要求都有这样的搜索引擎无疑极大地方便了人们的生活和工作大数据的魅力7•大数据–大数据，或称海量数据，指所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息–这一系列搜索数据从侧面显示出搜索这些信息的人的本身情况，比如他们的想法、需求、忧虑等非常有价值的信息–如果这些搜索数据能准确地反映人们的生活和工作状况，那么就有可能利用这些信息来察觉商业趋势、避免疾病扩散、打击犯罪、测定实时交通路况和预测选举结果等大数据的魅力8•大数据–大数据，或称海量数据，指所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息–与小数据集的比较：在总数据量相同的情况下，与个别分析独立的小型数据集相比，将各个小型数据集合并后进行大数据分析可得出许多额外的信息和数据关联性–这正是大型数据集盛行的原因–数据挖掘则是探讨用以解析大数据的方法大数据的魅力9•大数据案例—谷歌预测冬季流感的传播–2008年11月谷歌公司启动“谷歌流感趋势”(GoogleFluTrends,GFT)项目–GFT项目把5000万个美国人最频繁检索的词项与美国疾病预防控制中心告知的2003年～2008年季节性流感传播期间的数据进行比较，以确定相关检索词项–为测试这些检索词项的使用频率与流感在时间和空间上传播之间的联系，GFT共处理了4.5亿个不同的数学模型大数据的魅力10•大数据案例—谷歌预测冬季流感的传播–为测试这些检索词项的使用频率与流感在时间和空间上传播之间的联系，GFT共处理了4.5亿个不同的数学模型–在把得出的预测与2007年和2008年疾病预防控制中心记录的实际流感病例进行对比后，GFT的软件发现了45个检索词项的组合–把这些检索词项用于一个特定的数学模型后，其预测与官方数据相关性高达97%大数据的魅力11•大数据案例—谷歌预测冬季流感的传播–2009年谷歌把研究成果发表在《自然》杂志上，这篇引人注目的论文令公共卫生官员和计算机科学家感到震惊–文章不仅预测了流感在全美的传播，而且具体到特定的地区和州–并且预测非常及时，不像疾病预防控制中心的信息会有一两周的延迟（因为人们从患病到求医会滞后，信息从医院传到疾控中心也需要时间，疾控中心每周只进行一次数据汇总）–信息滞后两周对一种飞速传播的疾病是致命的大数据的魅力12•大数据案例—谷歌预测冬季流感的传播–在论文发表后的几周内，出现了一种称为甲型H1N1的新流感病毒，它在短短几周内迅速传播开来，全球的公共卫生机构都担心一场致命的流行病即将来袭–这时，与习惯性滞后的官方数据相比，谷歌的预测是一个更有效、更及时的指示标，公共卫生机构的官员因此获得了非常有价值的数据信息–谷歌的方法不需要分发口腔试纸和联系医生，因为它是建立在大数据的基础之上大数据的魅力13大数据的魅力•大数据案例—谷歌预测冬季流感的传播–这是当今社会所独有的一种新型能力：以一种前所未有的方式，通过对海量数据的分析，获得巨大价值的产品和服务，或深刻的洞见–大数据不仅会变革公共卫生，也会变革商业、变革思维，改变政府与民众关系的方法，…，开启重大的时代转型14大数据的魅力•大数据案例—谷歌预测冬季流感的传播–2013年2月，GFT再次上头条，不是因为什么新的成就，而是因2013年1月，美国流感发生率达到峰值，GFT事先的估计比实际数据高两倍–造成这种结果的原因：大数据傲慢（BigDataHubris）：认为自己拥有的数据是总体，可以完全取代科学抽样基础上形成的传统小数据，而非作为后者的补充还有搜索算法变化等原因–大数据运用的典范GFT的失败并不能够抹灭大数据本身的价值15大数据的魅力•大数据的特点–体量巨大(Volume)数据集合的规模不断扩大，已从GB(1024MB)到TB(1024GB)再到PB级，甚至已经开始以EB和ZB来计数至今，人类生产的所有印刷材料的数据量是200PB未来10年，全球大数据将增加50倍，管理数据仓库的服务器的数量将增加10倍16大数据的魅力•大数据的特点–种类繁多(Variety)数据种类繁多，并且被分为结构化、半结构化和非结构化的数据半结构化和非结构化的数据，包括网络日志、传感器数据、音频、视频、图片、地理位置信息等，占有量越来越大，已远远超过结构化数据17大数据的魅力•大数据的特点–价值密度低(Value)数据总体的价值巨大，但价值密度很低以视频为例，在长达数小时连续不断的视频监控中，有用数据可能仅一二秒另一极端是各个数据都有贡献，但单个数据价值很低18大数据的魅力•大数据的特点–速度快(Velocity)数据往往以数据流的形式动态快速地产生，具有很强的时效性用户只有把握好对数据流的掌控才能有效利用这些数据例如，一天之内需要审查500万起潜在的贸易欺诈案件；需要分析5亿条日实时呼叫的详细记录，以预测客户的流失率19大数据时代的思维变革数据采集和数据处理技术已经发生了翻天覆地的变化，人们的思维和方法要跟得上这个变化大数据时代的精髓在于人们分析信息时的三个转变，这些转变将改变人们决策的制定和对表象的理解20大数据时代的思维变革•变革一—更多:不是随机样本,而是全体数据1.随机抽样：用最少的数据获得最多的信息–过去由于获取和分析全体数据的困难，抽样调查是一种常用统计分析方法。它根据随机原则从总体中抽取部分实际数据进行调查，并运用概率估计方法，根据样本数据推算总体相应的数量指标–抽样分析的精确性随抽样随机性的增加而提高，与样本数量的增加关系不大。抽样随机性高时，分析的精度能达到把全体作为样本调查时的97%–样本选择的随机性比样本数量更重要21大数据时代的思维变革•变革一—更多:不是随机样本,而是全体数据1.随机抽样：用最少的数据获得最多的信息–抽样分析的成功依赖于抽样的随机性，但实现抽样的随机性非常困难–当想了解更深层次的细分领域的情况时，随机抽样方法不一定有效，即在宏观领域起作用的方法在微观领域可能失去了作用–随机抽样需要严密的安排和执行，人们只能从抽样数据中得出事先设计好的问题的结果22大数据时代的思维变革•变革一—更多:不是随机样本,而是全体数据2.全体数据：用全体数据可对数据进行深度探讨–流感趋势预测分析了整个美国几十亿条互联网检索记录，使得它能提高微观层面分析的准确性，甚至能够推测某个特定城市的流感状况–信用卡诈骗需通过观察异常情况来识别，这只有在掌握所有的数据时才能做到–社会科学是被“样本=全体”撼动得最厉害的一门学科。这门学科过去非常依赖于样本分析、研究和调查问卷。当记录下人们的平常状态，就不用担心在做研究和调查问卷时存在的偏见了23大数据时代的思维变革•变革二—更杂：不是精确性，而是混杂性–对小数据而言，最基本和最重要的要求就是减少错误，保证质量。因为收集的数据较少，应确保每个数据尽量精确，以保证分析结果的准确性–允许不精确数据是大数据的一个亮点,而非缺点。因为放松了容错的标准，就可以掌握更多数据；而掌握大量新型数据时，精确性就不那么重要了–例如，与服务器处理投诉时的数据进行比较，用语音识别系统识别呼叫中心接到的投诉会产生不太准确的结果,但它有助于把握事情的大致情况–不精确的大量新型数据能帮助掌握事情发展趋势24大数据时代的思维变革•变革二—更杂：不是精确性，而是混杂性–执迷于精确性是信息缺乏时代的产物，大数据时代要求重新审视精确性的优劣，如果将传统的思维模式运用于数字化、网络化的21世纪，就会错过重要信息，失去做更多事情，创造出更好结果的机会–另一方面，需要与数据增加引起的各种混乱（数据格式不一致，数据错误率增加等）做斗争。错误并不是大数据的固有特性，但可能是长期存在并需要去处理的现实问题25大数据时代的思维变革•变革三—更好:不是因果关系,而是相关关系1.因果关系与相关关系–因果关系是指一个事件是另一个事件的结果–相关关系是指两个事件的发生存在某个规律–与通过逻辑推理研究因果关系不同，大数据研究通过对巨量数据做统计性的搜索、比较、聚类、分析和归纳，寻找事件（或数据）之间的相关性–一般来说，统计学无法检验逻辑上的因果关系–也许正因为统计方法不致力于寻找真正的原因,才促进数据挖掘和大数据技术在商业领域广泛应用26大数据时代的思维变革•变革三—更好:不是因果关系,而是相关关系2.相关关系帮助捕捉现在和预测未来–如果A和B经常一起发生，则只需注意到B发生了,就可以预测A也发生了–故障经常是慢慢出现的，通过收集所有数据，可预先捕捉到事物要出故障的信号。如把发动机的嗡嗡声、引擎过热等异常情况与正常情况对比，就能知道什么地方将出毛病，及时更换或修复–过去需先有想法，然后收集数据来测试想法的可行性，现在可以对大数据进行相关关系分析知道机票是否会飞涨、哪些词项最能显示流感的传播27大数据时代的思维变革•变革三—更好:不是因果关系,而是相关关系3.大数据改变人类探索世界的方法–越来越多的事物不断地数据化，将拓展人类的视野，使得人们可从大量的数据中，发现隐藏在其中的自然规律、社会规律和经济规律–当网页变成数据，谷歌具备了令人大跌眼球的全文搜索能力，在几个毫秒之内，就能让人们检索世界上几乎所有的网页–当方位变成数据，每个人都能借助GPS快速到达目的地28大数据时代的思维变革•变革三—更好:不是因果关系,而是相关关系3.大数据改变人类探索世界的方法–当情绪变成数据，人们甚至根据大家快乐与否判断股市的涨跌–上述这些不同的数据可归结为几类相似的数学模型，从而使得