国内外大数据发展现状和趋势

当前，许多国家的政府和国际组织都认识到了大数据的重要作用，纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要抓手，实施大数据战略。美国政府将大数据视为强化美国竞争力的关键因素之一，把大数据研究和生产计划提高到国家战略层面。2012年3月29日，奥巴马政府宣布投资2亿美元启动《大数据研究和发展计划》，希望增强收集海量数据、分析萃取信息的能力。以美国科学与技术政策办公室（OSTP）为首，国土安全部、美国国家科学基金会、国防部、美国国家安全局、能源部等已经开始了与民间企业或大学开展多项大数据相关的各种研究开发。美国政府为之拨出超过2亿美元的研究开发预算。奥巴马指出，通过提高从大型复杂的数字数据集中提取知识和观点的能力，承诺帮助加快在科学与工程中的步伐，改变教学研究，加强国家安全。据悉，美国国防部已经在积极部署大数据行动，利用海量数据挖掘高价值情报，提高快速响应能力，实现决策自动化。而美国中央情报局通过利用大数据技术，将分析搜集的数据时间由63天缩减到27分钟。2012年5月美国数字政府战略发布，更是提出要通过协调化的方式，所有部门共同提高收集、储存、保留、管理、分析和共享海量数据所需核心技术的先进性，并形成合力；扩大大数据技术开发和应用所需人才的供给。以信息和客户为中心，改变联邦政府工作方式，为美国民众提供更优公共服务。英国商业、创新和技能部在2013年初宣布，将注资6亿英镑发展8类高新技术，其中对大数据的投资即达1.89亿英镑。负责科技事务的国务大臣戴维·威利茨说，政府将在计算基础设施方面投入巨资，加强数据采集和分析，这也将吸引企业在这一领域的投资，从而在数据革命中占得先机。英国在大数据方面的战略举措有：在本届议会期满前，开放有关交通运输、天气和健康方面的核心公共数据库，并在五年内投资1000万英镑建立世界上首个“开放数据研究所”；政府将与出版行业等共同尽早实现对得到公共资助产生的科研成果的免费访问，英国皇家学会也在考虑如何改进科研数据在研究团体及其他用户间的共享和披露；英国研究理事会将投资200万英镑建立一个公众可通过网络检索的“科研门户”。通过大数据技术使用，优化政府部门的日常运行和刺激公共机构的生产力，可以为英国政府节省130亿至220亿英镑；减少福利系统中的诈骗行为和错误数量将为英国政府节省10亿至30亿英镑；有效地追收逃税漏税将为英国政府节省20亿至80亿英镑。通过合理、高效使用大数据技术，英国政府每年可节省约330亿英镑，相当于英国每人每年节省约500英镑。具体而言，通过数据使用，优化政府部门的日常运行和刺激公共机构的生产力，可以为英国政府节省130亿至220亿英镑；减少福利系统中的诈骗行为和错误数量将为英国政府节省10亿至30亿英镑；有效地追收逃税漏税将为英国政府节省20亿至80亿英镑。法国政府为促进大数据领域的发展，将以培养新兴企业、软件制造商、工程师、信息系统设计师等为目标，开展一系列的投资计划。法国政府在其发布的《数字化路线图》中表示，将大力支持“大数据”在内的战略性高新技术，法国软件编辑联盟曾号召政府部门和私人企业共同合作，投入3亿欧元资金用于推动大数据领域的发展。法国生产振兴部部长ArnaudMontebourg、数字经济部副部长FleurPellerin和投资委员LouisGallois在第二届巴黎大数据大会结束后的第二天共同宣布了将投入1150万欧元用于支持7个未来投资项目。这足以证明法国政府对于大数据领域发展的重视。法国政府投资这些项目的目的在于“通过发展创新性解决方案，并将其用于实践，来促进法国在大数据领域的发展”。众所周知，法国在数学和统计学领域具有独一无二的优势。日本为了提高信息通信领域的国际竞争力、培育新产业，同时应用信息通信技术应对抗灾救灾和核电站事故等社会性问题，日本总务省于2012年7月新发布“活跃ICT日本”新综合战略，今后日本的ICT战略方向备受关注。其中最为关注的是其大数据政策（从各种各样类型的数据中，快速获得有价值信息的能力），日本正在针对大数据推广的现状、发展动向、面临问题等进行探讨，以期对解决社会公共问题作出贡献。2013年6月，安倍内阁正式公布了新IT战略——“创建最尖端IT国家宣言”。“宣言”全面阐述了2013～2020年期间以发展开放公共数据和大数据为核心的日本新IT国家战略，提出要把日本建设成为一个具有“世界最高水准的广泛运用信息产业技术的社会”。在重视发展科技的印度，大数据技术也已成为信息技术行业的“下一个大事件”，目前，不仅印度的小公司纷纷涉足大数据市场淘金，一些外包行业巨头也开始进军大数据市场，试图从中分得一杯羹。去年，印度全国软件与服务企业协会预计，印度大数据行业规模在3年内将达到12亿美元，是目前规模的6倍，同时还是全球大数据行业平均增长速度的两倍。印度毫无疑问是美国亦步亦趋的好学生。在2012年初，印度联邦内阁批准了国家数据共享和开放政策。在数据开放方面，印度效仿美国政府的做法，制定了一个一站式政府数据门户网站data.gov.in，把政府收集的所有非涉密数据集中起来，包括全国的人口、经济和社会信息。争夺新一轮技术革命制高点的战役已经打响，中国政府在美国提出《大数据研究和发展计划》的2012年也批复了“十二五国家政务信息化建设工程规划”，总投资额估计在几百亿，专门有人口、法人、空间、宏观经济和文化等五大资源库的五大建设工程。我国的开放、共享和智能的大数据的时代已经来临！2012年8月份国务院制定了促进信息消费扩大内需的文件，推动商业企业加快信息基础设施演进升级，增强信息产品供给能力，形成行业联盟，制定行业标准，构建大数据产业链，促进创新链与产业链有效嫁接。同时，构建大数据研究平台，整合创新资源，实施“专项计划”，突破关键技术。大力推进国家发改委和中科院基础研究大数据服务平台应用示范项目，广东率先启动大数据战略推动政府转型，北京正积极探索政府公布大数据供社会开发，上海也启动大数据研发三年行动计划。当前，在政府部门数据对外开放，由企业系统分析大数据进行投资经营方面，上海无疑是先行一步。2014年5月15日，上海市自今年起推动各级政府部门将数据对外开放，并鼓励社会对其进行加工和运用。根据上海市经信委印发的《2014年度上海市政府数据资源向社会开放工作计划》，目前已确定190项数据内容作为2014年重点开放领域，涵盖28个市级部门，涉及公共安全、公共服务、交通服务、教育科技、产业发展、金融服务、能源环境、健康卫生、文化娱乐等11个领域。其中市场监管类数据和交通数据资源的开放将成为重点，这些与市民息息相关的信息查询届时将完全开放。这意味着企业运用大数据在上海“掘金”的时代来临，企业投资和上海民生相关的产业如交通运输、餐饮等，可以不再“盲人摸象”。在立足国家战略和产业政策推动大数据收集和分析技术快速发展的同时，我们也应清醒地认识到避免数据垄断和保护数据安全的重要性，及早开展相关法律法规的探讨和研究。伴随着大数据时代的来临，世界各国对数据的重视提到了前所未有的高度。套上大数据的光环后，原本那些存放在服务器上平淡无奇的陈年旧数一夜之间身价倍增。按照世界经济论坛报告的看法，“大数据为新财富，价值堪比石油”。正如大数据之父维克托所预测，“虽然数据还没有被列入企业的资产负债表，但这只是一个时间问题。”今天的国家将大数据视为国家战略，并且在实施上，也已经进入到企业战略层面，这种认识已经远远超出当年的信息化战略。我们上面介绍了许多国外的动态，末了自然也要落脚到本国，思考本国可能采取的发展道路。但是，尚未见到网络安全战略和信息化发展战略全文（据说两会期间公布，也就是这几天），我们也不妨先总结国外的情形，以便进行比较。2014年2月27日中央网络安全和信息化领导小组宣告成立，组长习近平指出，没有网络安全就没有国家安全，没有信息化就没有现代化。建设网络强国，要有自己的技术，有过硬的技术；要有丰富全面的信息服务，繁荣发展的网络文化；要有良好的信息基础设施，形成实力雄厚的信息经济；要有高素质的网络安全和信息化人才队伍；要积极开展双边、多边的互联网国际交流合作。从话的另一方面也说明目前我们没有自己的过硬技术，网络文化还有点问题，基础设施还是太差，人才队伍素质跟不上需求，也没有可靠的盟友，信息经济实力太弱。毫无疑问，中国的底子太薄了。但是，大数据是信息化时代的“石油”。开发大数据资源的能力将影响未来国家的核心竞争力。我国不能幻想走在别人修好的道路，更不能等靠，只能依赖自身能力加速前行，这种能力就是将数据转化为信息和知识的速度与技术，而这种转化速度和技术，则决定了大数据技术能力的高低。