大数据的时代已经到来

大数据的时代已经到来1、11月4日下午科学会堂，我参加了由《上海科学技术协会》主办的讲座，主题为“大数据新技术应用与展望”，这次讲座由上海交通大学教授、博导、上海市计算机学会副理事长傅育熙先生主持，演讲的嘉宾有三位，他们分别是——原中国工程院副院长、中国工程院院士邬贺铨先生、澳大利亚科学院院士、澳大利亚工程院院士、澳大利亚研究委员会桂冠教授，顾敏先生和德国国家科学工程院院士、德国IT首席科学家、德国波茨坦大学哈索-普拉特纳研究院院长，梅内尔先生。6、在了解讲座的内容之前，我们先来了解一下什么是大数据？大数据技术(bigdata)，或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。（在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中，大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理。）大数据的4V特点，或者说特点有四个层面：第一，数据体量巨大。从TB级别，跃升到PB级别；第二，数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三，处理速度快，1秒定律，可从各种类型的数据中快速获得高价值的信息，这一点也是和传统的数据挖掘技术有着本质的不同。第四，只要合理利用数据并对其进行正确、准确的分析，将会带来很高的价值回报。业界将其归纳为4个“V”——Volume（大量）、Velocity（高速）、Variety（多样）、value（价值）。从某种程度上说，大数据是数据分析的前沿技术。简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。明白这一点至关重要，也正是这一点促使该技术具备走向众多企业的潜力。7、大数据最核心的价值大数据最核心的价值就是在于对于海量数据进行存储和分析。相比起现有的其他技术而言，大数据的“廉价、迅速、优化”这三方面的综合成本是最优的。8、关于大数据的历史早在1980年，著名未来学家阿尔文·托夫勒便在《第三次浪潮》一书中，将大数据热情地赞颂为“第三次浪潮的华彩乐章”。不过，大约从2009年开始，“163大数据”才成为互联网信息技术行业的流行词汇。美国互联网数据中心指出，互联网上的数据每年将增长50%，每两年便将翻一番，而目前世界上90%以上的数据是最近几年才产生的。此外，数据又并非单纯指人们在互联网上发布的信息，全世界的工业设备、汽车、电表上有着无数的数码传感器，随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化，也产生了海量的数据信息。9、大数据的意义对于“大数据”（Bigdata）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘，但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。9、大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。最小的基本单位是bit，按顺序给出所有单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB，它们按照进率1024（2的十次方）来计算：•8bit=1Byte•1KB=1,024Bytes•1MB=1,024KB=1,048,576Bytes•1GB=1,024MB=1,048,576KB•1TB=1,024GB=1,048,576MB•1PB=1,024TB=1,048,576GB•1EB=1,024PB=1,048,576TB•1ZB=1,024EB=1,048,576PB•1YB=1,024ZB=1,048,576EB•1BB=1,024YB=1,048,576ZB•1NB=1,024BB=1,048,576YB•1DB=1,024NB=1,048,576BB12、大数据的用途大数据可分成大数据技术、大数据工程、大数据科学和大数据应用等领域。目前人们谈论最多的是大数据技术和大数据应用。工程和科学问题尚未被重视。大数据工程指大数据的规划建设运营管理的系统工程；大数据科学关注大数据网络发展和运营过程中发现和验证大数据的规律及其与自然和社会活动之间的关系。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。有些例子包括网络日志，RFID，传感器网络，社会网络，社会数据（由于数据革命的社会），互联网文本和文件;互联网搜索索引;呼叫详细记录，天文学，大气科学，基因组学，生物地球化学，生物，和其他复杂或跨学科的科研，军事侦察，医疗记录;摄影档案馆视频档案;和大规模的电子商务。13、大数据的应用洛杉矶警察局和加利福尼亚大学合作利用大数据预测犯罪的发生。Google流感趋势(GoogleFluTrends)利用搜索关键词预测禽流感的散布。统计学家内特.西尔弗(NateSilver)利用大数据预测2012美国选举结果。麻省理工学院利用手机定位数据和交通数据建立城市规划。梅西百货的实时定价机制。根据需求和库存的情况，该公司基于SAS的系统对多达7300万种货品进行实时调价。PredPolInc.公司通过与洛杉矶和圣克鲁斯的警方以及一群研究人员合作，基于地震预测算法的变体和犯罪数据来预测犯罪发生的几率，可以精确到500平方英尺的范围内。在洛杉矶运用该算法的地区，盗窃罪和暴力犯罪分布下降了33%和21%。利用起互联网大数据，对消费者的喜好进行判定。商户可以为消费者定制相应的独特的个性服务，甚至可以在一些商品或者服务上匹配用户心情等等。商家还可以根据大数据为消费者提供其可能会喜好的特色产品，活动，小而美的小众商品等等。地产业的升级改造，具有令人兴奋的商业前景。一个ShoppingMall的投资往往高达数十亿元，设想一下，如果智能化升级能够让一个ShoppingMall的顾客数量和人均消费提升30%-50%，为此投入几百万元甚至上千万元对于投资方来说非常划算，那么仅仅针对国内ShoppingMall的智能化升级就是一个千亿元级别的市场。“大数据”的影响，增加了对信息管理专家的需求，甲骨文，IBM，微软和SAP花了超过15亿美元的在软件智能数据管理和分析的专业公司。这个行业自身价值超过1000亿美元，增长近10%，每年两次，这大概是作为一个整体的软件业务的快速。大数据已经出现，因为我们生活在一个有更多信息的社会中。有46亿全球移动电话用户有20亿人访问互联网。基本上，人们比以往任何时候都与数据或信息交互。1990年至2005年，全球超过1亿人进入中产阶级，这意味着越来越多的人收益的这笔钱将反过来导致更多的信息增长。思科公司预计，到2013年，在互联网上流动的交通量将达到每年667艾字节。大数据，其影响除了经济方面的，它同时也能在政治、文化等方面产生深远的影响，大数据可以帮助人们开启循“数”管理的模式，也是我们当下“大社会”的集中体现，三分技术，七分数据，得数据者得天下。大数据时代可以给我们带来什么便利呢？在讲座中，这三位院士向我们介绍了大数据技术发展趋势和前景。当今社会，计算机和网络等技术的迅猛发展，信息量急遽增长，人类社会已进入一个大数据时代，大数据产业面临着不同的机遇和挑战。为满足大数据的PB（百万GB）容量的需求，通常大数据中心占地庞大，能源消耗巨大。这个时候就要靠新技术让大数据派上用场。从1950年首台巨无霸型计算机问世，到如今人们掌上的手机，计算机技术发展突飞猛进，计算机中的软件也从单机到复杂。这些终端每天产生的数据也从早年阿波罗分析器的4k，到如今智能手机的上百万行，计算机能力飞速演进标志着大数据时代的到来。马路上的摄像头日以继夜在拍摄，这些没有起点也没有终点的“活”数据如何为人所用？邬贺铨说，信息融合与信息抽取的技术可以让人们不再大海捞针。比如，以色列特拉维夫将实时路况信息传输到驾驶员的手机上，将整个城市摄像头的大数据可视化，让数据派上了用场。在很多行业，大数据都得到了应用，邬贺铨举了一个大数据推动生产个性化的例子。某服装公司累积了超过200万名顾客个性化定制的版型数据，包括款式（领型、袖型、扣型、口袋、衣片组合等）和工艺数据，用这些数据建立了个性化量身定制服装数据系统。只需将顾客的数据输入系统自动建模，就能形成专属于该顾客的版型，并将成衣数据分解到各个工序，跟随电子标签流转到车间每个工位。GE公司在每一个飞机引擎上安装了20个传感器，在飞行过程中通过卫星回传收集到引擎状态的数据，每个引擎飞行1小时就会产生20TB的数据，通过对数据的分析，就能提前1个月预测引擎的维护需求。美国雷神公司的导弹工厂自动保留了每个导弹的数据，包括配件和操作员，湿度及温度，当发生错误时，有助于找出究竟是哪个环节出了问题。梅内尔也介绍说，德国将大数据应用到癌症病人的治疗中，用内存技术可以将原本需要花上几周时间的基因分析缩短到几秒内完成，让癌症病人尽快得到救治。大数据很有用，但是这么庞大的数据，我们怎么来存储呢？院士们说：拯救大数据时代靠光盘。用光盘存储大数据？这或许不是天方夜谭。如今存放高清电影的蓝光DVD光盘，通常容量规格是20个GB，而纳米层面的超级光盘可以达到100万个GB的容量，刻录下原先5万倍的内容。顾敏在报告中说，数据产业巨头建设的P级数据中心，总面积足有一个足球场大小。在数据中心成百上千的服务器机柜内，存储介质与常用硬盘一样，都是磁盘。他说，美国全国用电量的3%是花在存储大数据上的，而磁盘的寿命通常也就三五年，到第3年，就要用新的盘重新存储一次，并且这个过程会流失20%的资料，没有可持续性。光盘的存储密度已到极限，无法与时俱进？顾敏解释说，光盘靠光点存储数据，激光刻录的光点越多越密，存储数据就越多。一根头发丝直径约10万个纳米，“蓝光碟”的光点直径只有250纳米，而运用今年获诺贝尔奖的项目“超分辨率荧光显微技术”超级光盘光点直径仅仅9个纳米。目前，顾敏团队已经实现了一张超级光盘存储0.34PB（34万GB）的大容量，达成了三分之一的PB级目标。他认为，依照这样的技术路径，装进1个PB指日可待。明年是光纤发明50周年，也是联合国确定的国际光年。据透露，超级光盘概念专利已授权于“脸谱”公司，“脸谱”网站计划投入2亿美元兴建光子数据中心，全面替代磁盘数据中心。届时，从容量上讲，一个足球场大小的数据中心就可以缩小为一张超级光盘。而且，光盘寿命数倍于磁盘，将成为拯救大数据时代的新媒介。