浅谈大数据的研究应用

关于大数据的相关问题研究科目：信息资源建设类别：期末作业专业：图书情报2014学号：12014001692姓名：赵丽云南大学期末论文摘要近来，大数据引起了产业界、科技界和政府部门的高度关注。本文简要阐述了大数据的内涵和研究现状，探讨了大数据的重大意义，最后归纳总结大数据时代所面临的新挑战。关键字：大数据大数据时代数据资源云南大学期末论文目录一、大数据的内涵................................................................................................1二、大数据的研究综述........................................................................................2（一）学术界对大数据的研究....................................................................2（二）各国政府对大数据的研究................................................................31.中国.....................................................................................................32.美国.....................................................................................................43.日本.....................................................................................................54.英国.....................................................................................................5三、大数据的意义................................................................................................5（一）大数据带来产业升级和新的经济增长模式....................................6（二）大数据引发科学研究思维与方法的一场革命................................6（三）大数据管理提供新的国家竞争平台................................................7四、大数据面临的挑战........................................................................................7（一）市场竞争对管理者提出更高要求....................................................7（二）大数据时代的个人隐私遭遇大挑战................................................7（三）信息资源争夺导致国家实力进一步分化........................................8五、结论................................................................................................................8参考文献................................................................................................................9云南大学期末论文1关于大数据的相关问题研究早在20世纪80年代，美国著名的未来学家阿尔温·托夫勒就预言：“如果说IBM的主机拉开了信息化革命的大幕，那么大数据则是第三次浪潮的华彩乐章。”[1]但是，大数据概念受到广泛关注，是近几年才有的事。近年来，随着互联网、物联网、云计算、三网融合等ＩＴ与通信技术的迅猛发展，数据的快速增长成了许多行业共同面对的严峻挑战和宝贵机遇，因而信息社会已经进入了大数据（BIGDATA）时代。大数据的涌现不仅改变着人们的生活与工作方式、企业的运作模式，甚至还引起科学研究模式的根本性改变．一般意义上，大数据是指无法在一定时间内用常规机器和软硬件工具对其进行感知、获取、管理、处理和服务的数据集合。维基百科对大数据的定义则简单明了：“大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。”[2]一、大数据的内涵大数据已经在悄然掀起一场新的革命，它将会是未来社会创新、生产力发展、市场变革的风向标。下面我们从大数据内涵出发，对大数据时代到来，大数据具有的怎样的含义简要说明。人、机、物三元世界的高度融合引发了数据规模的爆炸式增长和数据模式的高度复杂化，世界已进入网络化的大数据（BigData）时代。以数据为中心的传统学科（如基因组学、蛋白组学，天体物理学和脑科学等）的研究产生了越来越多的数据。例如，用电子显微镜重建大脑中的突触网络，1立方毫米大脑的图像数据就超过1PB。但近年来大数据的飙升主要还是来自日常生活，特别是互联网公司的服务。“据著名咨询公司IDC的统计，2011年全球被创建和复制的数据总量为1.8ZB（10的21次方），其中75%来自于个人（主要是图片、视频和音乐），远远超过人类有史以来所有印刷材料的数据总量（200PB）。”[4]云南大学期末论文2大数据是一个比较抽象的概念，它与“海量数据”（massivedata）和“超大规模数据”（verylargedata）在概念上一脉相承，但在数据体量、数据复杂性和产生速度三个方面均大大超出了传统的数据形态，也超出了现有技术手段的处理能力。对于大数据尚未有一个公认的定义，不同的定义基本是从大数据的特征出发，通过这些特征的阐述和归纳试图给出其定义。在这些定义中，比较有代表性的是3V定义[3]：一是规模性（volume），即数据体量巨大，从TB级别跃升到PB、EB级别；二是多样性（variety），即数据类型繁多，如音频、视频、文本、图片等；三是高速性，即更新、处理速度快。除此之外，还有提出4V定义的，即尝试在3V的基础上增加一个新的特性。关于第4个V的说法并不统一，如国际数据公司（IDC）认为大数据还应具有价值性（value）[6]，即具有很高的商业价值，大数据的价值往往呈现出稀疏性的特点。IBM公司则认为大数据必须具有真实性（veracity）[7]。二、大数据的研究综述随着以博客、社交网络、基于位置的服务LBS为代表的新型信息发布方式的不断涌现，以及云计算、物联网等技术的兴起，数据正以前所未有的速度在不断地增长和累积，大数据时代已经来到。学术界、工业界甚至于政府机构都已经开始密切关注大数据问题，并对其产生浓厚的兴趣。（一）学术界对大数据的研究在学术界，美国一些知名的数据管理领域的专家学者则从专业的研究角度出发，联合发布了一份白皮书《ChallengesandopportunitieswithBigData》［3］。该白皮书从学术的角度出发介绍了大数据的产生，分析了大数据的处理流程，并提出大数据所面临的若干挑战。《自然》杂志2008年9月推出了BigData专刊[8]，以社论、特写、评议等形式，从计算机网络、信息管理、生物学、医学、互联网经济学等多角度介绍了海量数据带来的挑战，探讨了大数据的出现及其如何处理的问题。计算社区联盟（Computingcommunityconsortium）在2008年发表了报告“Bigdatacomputing：creatingrevolutionarybreakthroughsin云南大学期末论文3commerce,science,andsociety”［9］，阐述了在数据驱动的研究背景下，解决大数据问题所需的技术以及面临的一些挑战。《科学》杂志则在2011年2月推出专刊“DealingwithData”[3]，主要围绕着科学研究中大数据的问题展开讨论，说明大数据对于科学研究的重要性。全球知名的咨询公司麦肯锡（Mckinsey）2011年6月份发布了一份关于大数据的详尽报告“Bigdata：Thenextfrontierforinnovation，competition，andproductivity”［10］，对大数据的影响、关键技术和应用领域等都进行了详尽的分析。进入2012年以来，大数据的关注度与日俱增。在经济领域，2012年1月的达沃斯世界经济论坛将大数据作为会议主题之一，发布了“BigData，BigImpact：NewPossibilitiesforInternationalDevelopment”的主题报告，探索、研究如何让大数据释放潜能、跨越鸿沟，为低收入人群及国家的发展服务。（二）各国政府对大数据的研究1.中国2012年5月，香山科学会议组织了以“大数据科学与工程——一门新兴的交叉学科？”为主题的第424次学术讨论会，来自国内外35个单位横跨IT、经济、管理、社会、生物等多个不同学科领域的43位专家代表参会，并就大数据的理论与工程技术研究、应用方向以及大数据研究的组织方式与资源支持形式等重要问题进行了深入讨论。6月，中国计算机学会青年计算机科技论坛（CCFYOCSEF）举办了“大数据时代，智谋未来”学术报告会，就大数据时代的数据挖掘、体系架构理论、大数据安全、大数据平台开发与大数据现实案例进行了全面的讨论。《IT时代周刊》、IT商业新闻网、全国CIO/CTO俱乐部于2012年7月21日主办“大数据2012论坛”，北京大学信息化与信息管理研究中心于2012年7月22日主办“首届中国大数据应用论坛”，同年10月召开Hadoop与大数据技术大会，12月14日在京召开中国大数据发展与应用峰会。中国计算机学会大数据专家委员会成立了大数据共享联盟（BigDataAlliance），是由大数据相关产学研机构和个人自愿组成的学术性、公益性的社会云南大学期末论文4组织。宗旨是建立并持续积累和维护运行一个大数据收集、展示和共享平台，促进各种基于大数据的研究与开发应用。建立大数据联盟共享平台，包括大数据收集、大数据展示、大数据共享，目的是促进大数据研发。深圳大数据产学研联盟已经于2013年3月底正式揭牌成立。大数据世界论坛（BIGDATAWorldForum）作为中国及亚洲地区创办及规模最大的大数据专业论坛，2013年7月18日在北京召开第三届大数据世界论坛，共同交流大数据领域前沿技术与发展趋势，探讨如何使用更有效的架构捕捉、存储、整合、管理和分析海量数据，支持企业决策和业务发展，实现大数据的商业价值。由宽带资本、百度在线、中国联通、亿赞普、联想集团、北京大学等企业、高校共同发起，于2013年成立中关村大数据产业联盟，组织成立中关村大数据工程中心，发布大数据年度发展报告，并策划一系列业界交流活动，加快中关村大数据产业生态环境构建。联盟成立活动上还发布了云天使基金、中云融汇基金和大数据实验室孵化基金三支产业投资基金。2.美国美国联邦政府国防部、能源部、卫生总署等7部委联合推动，于2012年3月底发布了投资2亿美元大数据专项研究计划(BigDataInitiative），把大数据从商业层面上升到国家战略层面。与此同时，联合国一个名为“GlobalPulse”的倡议项目在今年5月发布报告“Bigdatafordeve