大数据将给我们带来怎样的变化

大数据带来的工作、学习和生活的变化以及给我们的启示我们都听过这个预测：到2020年，电子数据存储量将在2009年的基础上增加44倍，达到35万亿GB。根据IDC数据显示，截止到2010年，这个数字已经达到了120万PB，或1.2ZB。如果把所有这些数据都存入DVD光盘，光盘高度将等同于从地球到月球的一个来回——也就是大约480,000英里。对于那些喜欢杞人忧天的人来说，这是数据存储的末日即将到来的不祥预兆。而对于机会主义者们而言，这就好比是个信息金矿，随着技术的进步，金矿开采会变得越来越容易。走进大数据--一种新兴的数据挖掘技术，它正在让数据处理和分析变得更便宜更快速。大数据技术一旦进入超级计算时代，很快便可应用于普通企业，在遍地开花的过程中，它将改变许多行业业务经营的模式。在计算机世界里，大数据被定义为一种使用非传统的数据过滤工具，对大量有序或无序数据集合进行的挖掘过程，它包括但不仅限于分布式计算(Hadoop)。大数据已经站在了数据存储宣传的风口浪尖，也存在着大量不确定因素，这点上非常像“云”。我们请教了一些分析人士和大数据爱好者，请他们解释一下大数据究竟是什么，以及它对于未来数据存储的意义。大数据走进历史舞台适用于企业的大数据已经出现，这在部分程度上要归功于计算能耗的降低以及系统已具备执行多重处理的能力这样一个事实。而且随着主存储器成本的不断下降，和过去相比，公司可以将更多的数据存到存储器中。并且，将多台计算机连到服务器集群也变得更容易了。这三个变化加在一起成就了大数据，IDC数据库管理分析师CarlOlofson如是说。“我们不仅要把这些事情做好，还要能承受得起相应的开支”，他说。“过去的某些超级计算机也具有执行系统多重处理的能力，(这些系统紧密相连，形成了一个集群)但因为要使用专门的硬件，它的成本高达几十万美元甚至更多。”现在我们可以使用普通硬件完成相同的配置。正因为这样，我们能更快更省得处理更多数据。大数据技术还没有在有大型数据仓库的公司中得到广泛普及。IDC认为，想让大数据技术得到认可，首先技术本身一定要足够便宜，然后，必须满足IBM称之为3V标准中的2V，即：类型(variety)，量(volume)和速度(velocity)。种类要求指的是待存储数据的类型分为结构化数据和非结构化数据。量是指存储和分析的数据量可以很庞大。“数据量不只是几百TB，”Olofson说：“要视具体情况而定，因为速度和时间的关系，有时几百GB可能就算很多了。如果我现在一秒能完成过去要花一小时才能完成的300GB的数据分析，那结果将大为不同。大数据就是这样一种技术，它可以满足这三个要求中的至少两个，并且普通企业也能够部署。”关于大数据的三大误解对于大数据是什么以及大数据能干什么存在很多误会。下面就是有关大数据的三个误解：1、关系数据库无法大幅增容，因此不能被认为是大数据技术(不对)2、无需考虑工作负载或具体使用情况，Hadoop或以此类推的任何MapReduce都是大数据的最佳选择。(也不对)3、图解式管理系统时代已经结束。图解的发展只会成为大数据应用的拦路虎。(可笑的错误)大数据带来的工作变化‘大数据时代’的来临，对我们统计数据的生产方式带来了很大的挑战。统计部门要充分利用‘海量数据’并对其进行标准化处理，发掘这一数据‘宝库’，认真把握好这一促进政府统计改革发展的难得机遇。”在2012年12月27日开幕的全国统计工作会议上，国家统计局局长马建堂首次对“大数据时代”进行解读，并对政府统计部门如何应对“大数据时代”的机遇和挑战提出要求。传统数据采集方式不仅需要科学地确定调查对象，还需要通过标准化的报表进行数据采集、汇总和分析。然而随着信息化、网络化时代的到来，行政管理、生产经营、商务活动等众多领域正在源源不断地产生海量的、即时的电子化数据，国内许多企业和民间调查机构已经在开发、挖掘和利用这些数据资源，为用户提供咨询服务。随着“大数据”资源的急剧增加和数据挖掘技术的日益成熟，为用户提供的服务正在从商务领域向公共领域渗透，官方统计作为公共统计数据信息主渠道的地位面临一定的挑战。谈及一些发达国家政府统计工作的经验，马建堂指出，近年来，国外许多政府统计机构已经开始积极应用现代化信息技术，广泛利用行政记录、企业财务会计资料来采集数据，积极研究使用“大数据”生产统计信息，努力减轻调查对象的负担。统计工作必须适应“大数据时代”的变化和要求，马建堂强调，通过有效利用客观存在的海量数据，能够有效降低统计调查成本，有效减轻被调查者的负担，缓解被调查者配合程度降低的矛盾，能够提高统计数据的即时性，缩短统计数据生产周期，改善统计数据的质量。统计部门要勇敢面对挑战，顺应历史发展潮流，积极使用科学方法发掘这一巨大的“数据宝库”。大数据对生活的改变“（大数据）在人的生活方方面面都可以体现，比如我们说的电子商务，也是这样，现在是需要你在网上通过海量的数据去找，找你喜欢的东西，当我了解到你偏好、你的年龄、你的职业、你的收入、你的生活习惯之后，在你需要这个产品之前的时候，我就推送给你。这个就很可怕了，作为人，你所有方方面面的需求，我都可以通过数据的分析以后推送给你，就意味着你生活的每个方方面面，这个时候它产生的广告价值是巨大的。”）：“大数据”已成为目前使用频率最高的技术热词之一，想象未来寻常的一天：清晨，智能闹钟在你的浅睡眠时间而非预设时间唤醒你；起床后，衣橱里的衣服会根据你当天的活动进行推荐搭配。此时，车库里的汽车正在根据你的设定进行预热或冷却；驾车上班，你的自动汽车会根据交通状况规划路线并持续更新；走在路上或在室内，你的可穿戴设备记录着你的运动水平、情绪波动、心率、血压和食物摄取等信息，还有许多你能想象到的和想象不到的应用场景，而这一切都是大数据在背后支撑的，几乎所有人都在讨论大数据背后所带来的科技方面、技术方面的进步，观念上的改变，以及背后所蕴含的巨大价值。如果你要知道，北京人、上海人、广州人他们各自最想去哪些城市旅游？本周那个热点人物的搜索最多，哪款手机受关注最高?百度指数可以直接为你解答。全国哪个地方的男士为女士购买商品最大方？哪个星座的女生网上花钱最多，淘宝指数可以为你呈现。在美国热播美剧《纸牌屋》，就是通过海量数据库调研分析，预测了观众的喜好口味，搭配出来剧情、导演、演员班底，并一炮走红。全球零售巨头沃尔玛对消费者购物进行数据分析，发现男性顾客在购买婴儿尿布湿时，常常会顺便搭配购买几瓶啤酒来犒劳自己，于是推出了将啤酒和尿布捆绑销售的促销手段。如今这个啤酒+尿布的数据分析成果，已成为科学家通俗解释“大数据”的科学案例。大数据对学习的改变大数据可以收集足够多的信息，且覆盖面广泛。我们在制作和利用大数据时，需要用个性化的方法把它们组织起来，将其运用于教育领域，进而帮助我们以前所未有的视角判断什么可行、什么不可行；展示那些以前不可能观察到的学习层面，实现学生学业表现的提升；基于学生的需求而非统一的课程标准来定制个性化课堂，促进理解并提高成绩。200多年以来，学习一直是学校体系的一部分。但其实在此之前，还没有现代意义上的学校或者大学，教育基本上是以个人形态存在的。一些富人家的孩子会获得一个一对一的导师，但这样的教育只有少数人才可以享有。现在教育是由普通大众来获得，这无论如何都是一个好事，是前进的一大步。但是，目前的这种情况还是不够的。为什么这么说呢？因为，作为学生，其实我们每一个人都有自己独特的个性、需求和学习上的倾向。但是，目前我们这个教育系统还没有办法支持这个个性。如何才可以改变、完善这个系统？就是要通过对数据的收集和利用。如今一些技术上的进展已经为有关数据的大规模收集和利用创造了条件。在我看来，大数据正是可以从这个意义上重塑学习的三个主要特征，即反馈、个性化和概率预测。说到这里，我想举多邻国（Duolingo）的例子。它的主体是一个语言学习网站，同时提供网页版和手机应用版。多邻国也是由一位计算机科学系的教授创建的，他叫路易斯·冯·安。多邻国是免费的。通过下载它提供的应用程序，你就可以在手机上学习国外的语言，非常有意思，使用起来也非常轻松。现在已经有成千上万的人用这个应用程序来学习语言。多邻国的贡献在于，它是一套数据导向式的教学方式。无论用户是花几分钟还是几个小时在手机上用这个应用程序学习，他们都可以通过后台程序来跟踪收集大家学习语言的数据。通过学生在应用程序上回答一个个问题，系统和多邻国的团队会分析用户一般会纠结于哪些问题，会犯哪些错误。通过分析使用者的互动数据，分析他们的学习方式，从而再反过来，用这些积累下来的数据去改进整个应用程序。路易斯·冯·安曾说，其实他们对于到底如何学习外语所知不多，但是他们可以通过对数据的分析来了解学生更容易犯什么样的错误，从而帮助他们更好地学习。比如，他们发现母语为西班牙语的人在学习英语时，有些词其实应该晚一点再学。这样他们在学英语的过程中就会更少碰到障碍，从而更易获得进步。而在此之前，我们传统的教学是怎样获得反馈的呢？就是通过考试。考试之后你通常会获得一个分数，这就是你可以通过一场考试得到的全部反馈了。但事实上，这个分数可以帮到你的不是很多，它并不能帮助你更好地改善你的学习。它既没有办法很好地分析你的学习过程，也不告诉你究竟该如何来改善你的学习。而事实上，问题很可能并不在于你本身的努力程度，而在于你的学习方式不对、你用的教科书不对、或者你遇到的教学方式可能根本不适合你。随着教育的发展，越来越多教育者开始注意到收集反馈的重要性，但凭借既有的方式，他们收集到的正确数据非常有限，或者在量上远远未能达到可以改进教学的规模。多邻国的例子可以启发我们：当通过大数据，收集信息和反馈具备了更好的基础、更多的可能性，我们不仅更容易收集到数据了，还可能收集到更多可以帮助我们改善学习方法的数据。如果我们可以更多关注学习的过程，而不仅仅是像以往那样更多关注学习的成绩，我们的学习和教育现状一定会有所改变。它会找到更好的收集反馈的方式，还能使我们的教学更适合于每一个个人。当一个学生对他的学习内容并不十分理解时，他可以用一种新的方法学习。他可以慢慢学，不必用同别人一样的方法来学习。大数据在这个问题上的优势在于：它可以收集足够多的信息，且覆盖面广泛。我们在制作和利用大数据时，需要用个性化的方法把它们组织起来，将其运用于教育领域，进而帮助我们以前所未有的视角判断什么可行、什么不可行；展示那些以前不可能观察到的学习层面，实现学生学业表现的提升；基于学生的需求而非统一的课程标准来定制个性化课堂，促进理解并提高成绩。当然，在这个指导思想下设计出来的课程单，除了根据学生的需求，也会考虑到他们的潜能。类似这样的教学项目在现实中已经有所实践。既然我们可以截取、混合最爱的音乐并将之刻录到iPod播放器中，那么，为什么不能对我们的学习做出同样的操作呢？所以，对于改善人类的教育而言，“个性化”是仅次于“反馈”的第二大要点。大数据可以重塑学习的第三大要点在于“概率预测”。所谓概率预测，就是通过大数据，我们能够对人们的整体学习状况和个体的知识掌握情况产生独到的见解。然后，基于某种高度的可能性，对个体为提高其学业成绩需要实施的行为作出预测。比如，选择最有效的教材、教学风格和反馈机制。在由孟加拉裔美国人萨尔曼·可汗创立的可汗学院中就曾遇到这样一个例子。后台数据显示，有一个七年级的女孩一直搞不定数学，然后她就反反复复地学这几门课。但突然有一天，她学习了别的课，竟然就开窍了。她对所学内容的反应越来越快，在夏季结束时她成了最好的学生之一。可汗学院研究了一下她这个案例，发现正是因为她在中途突然改变了学习的内容和方法，才带来了转变。这个例子正揭示了“概率预测”的可用武之地。有时候，我们的学习之所以没有进展，正是因为课堂的配置出了问题。由此，可汗学院提出了“翻转课堂”的理念。“翻转课堂”提倡的是，你先在课外阅读材料或者观看视频，这些内容通常由世界上最好的老师来讲授。然后，你再带着满脑子的问题去上课，和你所在学校的老师进行探讨。通过这个方式，你可以找到最合适你的教材和更有针对性的、适合