时空大数据：挑战与机遇

时空大数据：挑战与机遇01020304引言时空大数据面临的挑战与机遇CONTENT“互联网+”与大数据05总结01引言PARTONE1.引言当前，人们都在谈论“大数据”，甚至认为全球信息化已迈入“大数据时代”。随着智能感知、互联网和物联网及云计算（互联网+）等新兴信息技术的迅速发展，人们的行为、位置，甚至身体、生理特征，大气、水质、环境的每一点变化，都成为了可被感知、记录、存储、分析和利用的数据；事实上，随着全球卫星导航定位技术、天空地一体遥感技术、地理信息系统技术和通信网络技术的发展，地球表层的几何特征和物理特征等，早就成为了可被感知、记录、存储、分析和利用的地理时空数据（时空数据）。因此，“大数据时代”的到来，是信息时代数字化、网络化和智能化发展的必然趋势，是全球信息化发展到高级阶段的产物。1.引言“大数据”正在成为人类社会创造大价值，一切靠数据说话，凭数据决策，已经成为人们必须面对的问题。正因为如此，关注并从事该领域研究的人越来越多，特别是近几年来，一些学者撰写和出版了不少有关大数据的著作，各地先后成立了不少大数据方面的中心、实验室、研究院等。1.（英）迈尔-舍恩伯格，（英）库克耶著，盛杨燕，周涛译，大数据时代[M]，浙江人民出版社，2013.62.（美）BillFranks著，黄海，车皓阳，王悦等译，驾驭大数据[M]，人民邮电出版社3.（美）著，王斌译，大数据挖掘[M]，人民邮电出版社，2013.24.（英）迈尔-舍恩柏格著，袁杰译，删除：大数据取舍之道[M]，浙江人民出版社，2013.15.涂子沛著，大数据[M]，广西师范大学出版社，20126.（美）JureLeskovec，AnandRajaraman，JeffreyDavidUllman著，王斌译，大数据：互联网大规模数据挖掘与分布式处理（第2版）[M]，人民邮电出版社，2015.77.（美）坎塔尔季奇著，王晓海，吴志刚译，数据挖掘：概念、模型、方法和算法(第2版)[M]，清华大学出版社，2013.18.（美）JiaweiHan等著，范明等译，数据挖掘：概念与技术[M]，机械工业出版社，2012.31.引言撰写出版的著作：9.段云峰，秦晓飞著，大数据的互联网思维[M]，电子工业出版社，2015.1010.（美）埃里克·西格尔著，周昕译，大数据预测[M]，中信出版社，2015.411.（美）BernardMarr著，秦磊，曹正凤译，智能大数据SMART准则：数据分析方法、案例和行动纲领[M]，电子工业出版社，2015.1012.（美）陈封能，（美）斯坦巴赫，（美）库玛尔著，范明等译，数据挖掘导论（完整版）[M]，人民邮电出版社，2011.113.（美）MichaelManoochehri著，戴志伟，许杨毅等译，寻路大数据：海量数据与大规模分析[M]，电子工业出版社，2014.1114.杨旭著，重构大数据统计[M]，电子出版社，2014.815.杨轶莘著，大数据时代下的统计学[M]，电子出版社，2015.916.陈建英，黄演红著，互联网+大数据—精准营销的利器[M]，人民邮电出版社，2015.81.引言17.吴朝晖，陈华钧，杨建华著，空间大数据信息基础设施[M]，浙江大学出版社，2013.118.（美）库兹韦尔著，李庆诚，董振华，田源译，奇点临近（2045年，当计算机智能超越人类）[M]，机械工业出版社，2016.319.（美）杰瑞·卡普兰著，李盼译，人工智能时代（人机共生下财富、工作与思维的大未来）[M]，浙江人民出版，2016.420.（美）雷·库兹韦尔著，盛杨燕译，人工智能的未来（揭示人类思维的奥秘）[M]，浙江人民出版社，2016.321.（日）松尾丰，盐野诚，陆贝施译，大智能时代：智能科技如何改变人类的经济、社会与生活[M]，机械工业出版社，2016.122.王汉华，刘兴亮，张小平著，智能爆炸（开启智能新时代）[M]，机械工业出版社，2015.923.王家耀等编著，网格地理信息服务概论[M]，科学出版社，2014.61.引言1.国家超级计算天津中心大数据处理技术与应用国家地方联合工程实验室2.中国科学院大学工程管理与信息技术学院大数据工程技术研究室3.浙江省海洋大数据工程技术重点实验室4.江苏省大数据工程技术实验室（创建于2011年，依托单位：南京信息工程大学）5.南京大学PASA大数据实验室（创建于2010年，依托单位：南京大学）6.四川省成都市电子科大大数据研究中心（创建于2014年，依托单位：成都电子科技大学）7.京津翼大数据研究中心（创建于2015年，依托单位：首都经济贸易大学）1.引言成立的研究机构：8.中国国际经贸大数据研究中心（创建于2012年，依托单位：国家工业和信息化部和电子商务协会）9.中国教育大数据研究院（创建于2015年，依托单位：曲阜师范大学和中国统计信息服务中心）10.农业互联网大数据中心（创建于2015年，依托单位：中国农业大学和软通动力信息技术（集团）有限公司）11.环保大数据研究中心（创建于2014年，依托单位：西安交通大学）12.中国旅游大数据研究中心（创建于2015年，依托单位：北京第二外国语学院）13.国家级大数据产业发展集聚区（创建于2015年，依托单位：贵阳·贵安）14.武汉东湖大数据交易中心（创建于2015年，依托单位：武大吉奥、武汉智慧产业园、汉口银行、武汉东湖创投）1.引言15.智能地学信息处理湖北省重点实验室（创建于2015年，依托单位：中国地质大学（武汉））16.华东师范大学数据科学与工程研究院（创建于2012年，依托单位华东师范大学）17.山东农业大学农业大数据研究中心18.厦门大学云计算域大数据研究中心19.华中科技大学大数据—数据流联合研究中心20.石油大学大数据研究中心21.清华大学遥感大数据研究中心22.湖南大学大数据处理与行业应用研究中心（创建于2013年，依托单位：湖南大学）23.北京大学大数据技术研究院（创建于2014年，依托单位北京大学）1.引言1、论述商业大数据的多（受商业利益驱动）的多，研究科学大数据的少（科学决策驱动不够）2、研究一般大数据的多，而涉及时空大数据的少，这涉及对大数据与时空大数据本质的认识问题3、研究大数据统计分析的多，真正研究大数据挖掘与知识发现的少4、试图掌握（拥有）大数据的多，而真正应用大数据的少，有的甚至不知道怎样应用大数据5、数据隐含价值→技术发现价值→应用实现价值或数据→大数据统计分析与挖掘→决策支持的大数据技术系统尚未形成6、大数据的产业化还刚刚起步，更未形成大数据产业体系（软件产品、软硬件集成产品、数据产品）7、数据科学的边界还不够清晰，大数据理论研究薄弱，更未形成大数据理论体系1.引言面临的问题：02“互联网+”与大数据PARTTWO2.“互联网+”与大数据2015年3月5日上午举行的十二届全国人大三次会议上，李克强总理在《政府工作报告》中首次提出“互联网+”，制定了“互联网+”行动计划，旨在推动移动互联网、物联网、云计算、大数据等与现代制造业结合，促进电子商务、工业互联网和互联网金融健康发展，引导互联网企业拓展国际市场。2016年3月18日公布的《十三五规划纲要》中提出，实施网络强国战略、实施“互联网+”和大数据战略及行动计划，分别在第三篇第十七章，第四篇专栏6（智慧农业），第五篇第二十三章及专栏8，第六篇第二十六章、第二十七章和第二十八章及专栏9，第八篇及专栏13（智慧城市）……，都提到了“互联网+”、大数据、智慧城市、智慧农业、智慧交通，等等。“互联网+”本质上是互联网、物联网、云计算等新兴信息技术在各行各业“全工作流”、“全产业链”、“全价值链”中的深度融合集成创新应用，使之成为现代制造业、生产性服务业发展的新动力。本质现在“互联网+”已经开始融入各行各业。可以说，我们这个时代已经就此打上了“互联网+”的烙印，中国已经开启了“互联网+”时代的大门，将引起一场科技革命和产业变革。意义2.“互联网+”与大数据“互联网+”：跨界融合。+，就是跨界，就是变革，就是开放。创新驱动。传统的资源驱动方式→创新驱动发展。重塑结构。打破原有的社会结构、经济结构、地缘结构、文化结构、管理模式。尊重人性。互联网力量之强大最根本的是源于对人性最大限度的尊重，对人体验的敬畏，对人的创造性的重视。真正体现“以人为本”。开放生态。“互联网+”本身就是开放的，重要的是化解掉过去制约创新的环境，真正实现“大众创业、万众创新”。连接一切。这是“互联网+”的目标。特征2.“互联网+”与大数据2.“互联网+”与大数据最早提出大数据时代到来的是全球知识咨询公司麦肯锡，该公司称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和应用，预示着新一波生产率增长和消费盈余浪潮的到来”。进入2012年以来，大数据（BigData）这个词越来越多的被提及，人们用它来描述和定义信息爆炸时代产生的海量数据。有的学者甚至认为，“这是一场革命，庞大的数据资源使得各个领域开始了‘量化’进程，无论学界、商界还是政府，所有领域都将开始这种进程”。正是这种一切都可“量化”（数据化）的趋势，截止到2012年，数据量已从TB（1TB=1024GB）级跃升到PB（1PB=1024TB）、EB（1EB=1024PB）乃至ZB（1ZB=1024EB）级。大数据时代的到来2.“互联网+”与大数据国际数据公司（IDC）的研究结果表明，2011年的数据总量已高达1.82ZB，相当于当时全球每人平均生产200GB以上数据。IBM的研究称，整个人类文明所获得的全部数据中，有90%是2011-2012年生产的，预计到2020年，全世界所产生的数据规模将达到2012年的44倍。这将是一个“除了上帝任何人都必须用数据来说话”的时代的到来。大数据时代的到来单位：ZB1ZB=1024EB1EB=1024PB1PB=1024TB2.“互联网+”与大数据•企业经济效益的推动•信息技术革命的推动从电子计算机的诞生，到数字化及数据存储设备的发展，到数据的在线（网络）传输，再到数据的智能化处理及智能服务，尤其是基于智能感知技术的穿戴设备的兴起，伴随而来的是分布式协同并行计算、网格计算、云计算和互联网技术的飞速发展，反映了大数据时代到来的脉络。大数据时代的到来的动因2.“互联网+”与大数据•各国政府看好大数据的应用前景是决定性因素2012年3月，美国政府发布了《大数据研究和发展倡议》2012年4月，英国，美国，德国，芬兰和澳大利亚联合推出“世界大数据周”活动2013年9月，美国政府发布了第二轮大数据研究项目2014年5月，美国白宫发布了2014年全球大数据白皮书的研究报告《大数据：抓住机遇，守护价值》2014年我国首次将大数据写入政府工作报告中国国务院于2015年印发《促进大数据发展行动纲要》2016年3月公布的国家《十三五规划纲要》提出了“大数据战略及行动计划”大数据时代的到来的动因2.“互联网+”与大数据•定义关于大数据的定义，目前还没有一个统一的公认的说法。综合Gartner公司的MervAdrian、麦肯锡全球数据研究所、Wikipedia和大数据研究机构Cartner等给出的定义（概念），可以认为：大数据是指其规模（体量）和复杂程度（多样性）都常常超出了目前数据库管理软件和传统数据处理技术在可接受的时间内（快速性）收集、存储、管理、检索、分析、挖掘和可视化（价值）能力的数据集的聚合。如何认识大数据•定义variety多样性value低值性velocity快速性veracity不确定性•类型多（文本、图像、音频、视频）•异构（无模式或模式不明显）•非结构化数据占数据总量的80-90%•大量的不相关信息•高价值总量，低价值密度•需要深度分析和挖掘•处理速度快（1秒定律）•每分钟谷歌有200万次访问•流数据，实时更新（毫秒级）•主要是新而非事后•语法或语义的不确定性•数据不一致、不完整引发的不确定性•真伪难辨volume巨量性•数据量TB-PB-EB•未来18个月产生的数据量等于有史以来