农业大数据应用机遇与挑战48

农业大数据应用机遇与挑战2014年4月24日王文生研究员中国农业科学院农业信息研究所2提纲1、国际大数据研究与应用现状2、大数据的工具与方法3、农业大数据的机遇与挑战4、农业大数据未来应用探讨3提纲1、国际大数据研究与应用现状2、大数据的工具与方法3、农业大数据的机遇与挑战4、农业大数据未来应用探讨41、国际大数据研究与应用现状大数据概念和意义5V规模性(Volume)、多样性(Variety)、高速性(Velocity)、价值性(Value)，真实性(Veracity)。大数据将是下一个社会发展阶段的“石油”和“金矿”。无论是个人、企业还是国家，谁能更好地抓住数据、理解数据、分析数据，谁就能在下一波的社会竞争中脱颖而出。关于数据的知识，将成为个人知识结构中的必备要素和基础。51、国际大数据研究与应用现状美国大数据在美国已经发展到如火如荼的地步。政府部门、IT企业、零售、医疗等传统行业以及互联网、软硬件公司将大数据能够影响的方方面面都展示在人们面前，尽管这些在美国还被认为是“初级阶段”。放眼望去，大数据时代已经撼动了美国社会的方方面面，从商业科技到医疗、政府、教育、经济、人文以及社会的其他各个领域。61、国际大数据研究与应用现状美国2012年3月，奥巴马政府宣布“大数据的研究和发展计划。”白宫声明公开称:“通过提高我们从大型复杂的数字数据集中提取知识和观点的能力，承诺帮助加快在科学与工程中的步伐，加强国家安全，并改变教学研究。”美国国家科学基金、国家卫生研究院、能源部、国防部、国防部高级研究计划局、地质勘探局等6个联邦政府部门，宣布将启动2亿美元的投资计划，提高从大量数字数据中访问、组织、收集发现信息的工具和技术水平，从而了解更多正在进行的联邦政府的计划，解决大数据所带来的机遇和挑战，并计划与工业界、大学研究界、非营利性机构一起利用大数据所创造的机会。71、国际大数据研究与应用现状美国美国国家卫生研究院开展的“国际千人基因组计划”，它将创建的人类遗传变异研究数据集，免费开放，供研究人员自由访问和使用；美国国家科学基金会和美国国家卫生研究院将对大数据进行联合招标，改进核心科学与技术手段，提高从各种大型数据集中提取重要信息并对其进行有效管理、分析和可视化的能力。81、国际大数据研究与应用现状美国美国国防部则计划每年投资2.5亿美元左右，在各个军事部门开展一系列研究计划，旨在以创新方式使用海量数据，通过感知、认知和决策支持的结合，加强大数据决策力。美国能源部则将斥资2500万美元建立可扩展数据管理与可视化研究所（SDAV），帮助科学家对数据进行有效管理，促进其生物和环境研究计划、美国核数据计划等的研究成果。91、国际大数据研究与应用现状日本日本政府提出：“提升日本竞争力，大数据应用不可或缺”。日本的大数据战略，以务实的应用开发为主，尤其是在和能源、交通、医疗、农业等传统行业结合方面，日本大数据应用都是可圈可点的。101、国际大数据研究与应用现状日本2013年6月，安倍内阁正式公布了新IT战略——“创建最尖端IT国家宣言”。“宣言”全面阐述了2013～2020年期间以发展开放公共数据和大数据为核心的日本新IT国家战略，提出要把日本建设成为一个具有“世界最高水准的广泛运用信息产业技术的社会”。2013年6月1日，日立建立了300人的囊括并统辖全世界大数据关联部门的专门组织机构，计划于2015年将人数增加到500人。同时，日立计划同英国行政机构共同研发疾病预防等服务，目的是使之成为日立实现“全球化”的前奏和开路先锋。111、国际大数据研究与应用现状日本2013年7月1日，NTTDATA集中本企业内部各大数据业务关联部门，成立了专门的“大数据商务推进室”，它囊括了130名数据运用专业人才，对用户企业实行一站式服务，包括协助企业挖掘商机并提供相应服务等，计划到2015年之前，把大数据营收增加到200亿日元。121、国际大数据研究与应用现状韩国同亚洲大部分国家一样，大数据韩国也属于跟随者。比如在数据搜集、处理的能力，以及人才培养、隐私立法等方面的问题限制了其大数据的步伐，韩国大数据最值得称道的地方，还是在数据中心、带宽等硬基础设施以及智慧城市服务方面。2013年2月，韩国总统朴槿惠在创新型经济框架中，呼吁将信息技术作为韩国经济增长的一个新支柱。9月16日，韩国国家科学技术咨询会议首次会议，她也强调“创造经济”的作用，并成立了未来战略、科技基础、创造经济等三大分科委员会。131、国际大数据研究与应用现状韩国韩国已经建设了大数据中心。该中心位于NIA大楼内，其网络平台与存储国家统计信息以及其他公共信息的政府数据门户服务相连接。该中心的设立是基于韩国总统朴槿惠在2013年2月提出的创新型经济框架，该框架呼吁将信息技术作为韩国经济增长的一个新支柱。韩国未来规划部希望，通过物联网，大数据产业到2017年可以创造1000个企业，达到10亿韩币的市场规模，并创造五万个以上就业岗位。141、国际大数据研究与应用现状韩国“智慧首尔2015”计划指出，公共数据已成为具有社会和经济价值的重要国家资产，首尔市将努力打造“首尔开放数据广场”，以促进信息技术和公共服务产业的进步和发展。“首尔开放数据广场”目前包含33个数据库、880个数据集，为用户提供十大类的公共数据信息，包括育儿服务、公共交通路线、巴士到站时间、停车位、各地区天气预报及餐厅推荐等涵盖生活方方面面的信息，并配有图表、数据、地图和网络链接等。首尔市还计划根据开放应用程序接口的利用情况和数据的再利用情况，向市民和企业进一步开放有用数据。预计这些公开的公共信息产生的经济价值将达到1.2万亿韩元，能够帮助私营企业创造多元化的商业模式和价值。151、国际大数据研究与应用现状俄罗斯2013年，俄罗斯经济发展部公布了一份有关信息技术产业发展前景(2011-2030年)的预测报告。报告中共列出了十大发展方向，主要包括：发展新的运算方法将计算机电脑主频提高至1012-1014兆赫(将现有电脑主频提高3-5个数量级)；发展兆比特速度的计算网络和超级计算机运算系统的培训体系。此外，其他的发展方向中也提到了关于发展云计算、移动设备(平板电脑和智能手机)市场份额增长、分布式互联网发展演进等。信息化建设属于俄罗斯联邦科技领域优先发展的项目之一。161、国际大数据研究与应用现状俄罗斯2013年，俄总理梅德韦杰夫签署了2013年至-2018年发展IT产业的“路线图”《2018年前信息技术产业发展规划》。该路线图表明俄罗斯政府将在未来几年内大力发展信息技术产业，主要包括创建创新研发中心、建设IT基础设施、提高IT程序员综合素质和减税。与俄罗斯通讯与大众传媒部共同执行该《路线图》的部委还有：俄罗斯科教部、经济发展部、财政部、工贸部、劳动部、联邦技术法规与计量署、统计局和移民局。俄罗斯政府计划在2018年前投入40亿卢布(约8亿人民币)建设50个信息技术领域的创新研发中心。中心的建设主要由大学、科研院所(包括科学院的学校)以及公司和行业专家团队参与。17提纲1、国际大数据研究与应用现状2、大数据的工具与方法3、农业大数据的机遇与挑战4、农业大数据未来应用探讨182、大数据的工具与方法从某种程度上说，大数据是数据分析的前沿技术。简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。大数据处理流程云计算数据挖掘决策支持服务192、大数据的工具与方法大数据处理的基本流程1)数据抽取与集成2)数据分析面临着一些新的挑战：数据量大并不一定意味着数据价值的增加，相反这往往意味着数据噪音的增多;大数据时代的算法需要进行调整，准确率不再是大数据应用的最主要指标、数据结果好坏的衡量。3）数据解释(可视化技术)20212、大数据的工具与方法云计算为大数据资源、大数据挖掘提供技术设施（软硬科学技术)分布式计算、并行计算、效用计算、网络存储、虚拟化、负载均衡等传统计算机和网络技术发展融合的产物分布式计算平行计算效能计算网络存储虚拟化技术负载均衡技术计算机系统网络技术网格技术资源配置技术信息安全技术云计算222、大数据的工具与方法数据挖掘通常由软件实现，目的是从巨量数据中提取出信息。数据挖掘往往又被称作算法。第一个条件：大数据量数据；第二个条件：计算机技术大数据量的处理能力；第三个条件：计算机的存储与运算能力；云计算建设为数据挖掘提供了必要的条件，反过来，大数据挖掘为云计算建设和运作提供决策。232、大数据的工具与方法决策支持服务根据不同的需求，通过相应的数据挖掘等技术，对相互关联的大数据进行综合处理和分析，为用户提供及时、科学、有效的决策支持服务。用户需求分析；大数据综合处理设计；计算机的存储与运算能力提供；大数据处理设计完善；决策支持方案。24提纲1、国际大数据研究与应用现状2、大数据的工具与方法3、农业大数据的机遇与挑战4、农业大数据未来应用探讨3、农业大数据的机遇与挑战—机遇农业农村信息化条件建设奠定基础ICT基础设施日趋完善信息终端日益普及信息意识增强......3、农业大数据的机遇与挑战—机遇最新信息技术提供解决手段物联网、云计算数据分析技术、知识计算技术；非结构化数据处理技术、新型数据库管理技术；数据安全共享技术；可视化技术；......3、农业大数据的机遇与挑战—机遇农业信息服务发展迅猛农业信息服务平台建设加快推进；农业信息服务网站大量涌现；农业电子政务稳步推进；农业电子商务逐步发展；农业信息资源开发水平进一步提升；三农领域数据不断积累；......3、农业大数据的机遇与挑战—机遇农业信息消费前景广阔生产决策带动信息消费；农业企业和农户的信息消费能够扩大农产品电子商务应用，切实增加生产经营者收入；农业企业对信息产品和信息服务的消费能够明显提升农业生产管理效益；农业企业加大信息消费能够提高农产品物流的流通效率和质量，降低流通成本；信息消费推动农业信息传播与共享；互联网金融，消费信息化；......293、农业大数据的挑战与机遇—挑战如何为用户及时提供服务。数据服务响应应该是及时、快速的，如何快速地为用户提供所需要的知识服务是大数据技术应用的重要标准。农业大数据人才缺乏。农业数据的采集、处理、保存、挖掘和服务，还没有引起足够的重视，主要限于人才与技术水平，特别是跨学科复合人才欠缺。303、农业大数据的挑战与机遇—挑战用户隐私保护难度加大。个人隐私的泄漏和滥用的可能性在增大。随着移动互联、社交网络、物联网、电子商务等的迅速发展，农业信息服务逐渐走向互联网，人们在互联网的行为轨迹可能被捕捉到。技术上的新要求由于大数据是目前工具基本上不可能处理的，因此需要引进、研发一些新的高性能计算、数据分析、发现和挖掘平台或工具，包括：大数据处理的云服务；数据处理平台。313、农业大数据的挑战与机遇—挑战观念及思维方式的更新放弃对因果关系的渴求，而取而代之关注相关关系。也就是说只要知道“是什么”，而不需要知道“为什么”。这颠覆了千百年来人类的思维惯例，对人类的认知和与世界交流的方式提出了全新的挑战。大数据是海量的、增长速度迅速、形式多样、隐含巨大的价值。32提纲1、国际大数据研究与应用现状2、大数据的工具与方法3、农业大数据的挑战与机遇4、农业大数据未来应用探讨335、农业大数据应用实例A、农技推广云平台B、国家农村信息综合服务平台34A、农技推广云平台在人多地少国情下确保国家粮食安全，根本出路在把科技转化为现实生产力，而关键又在创新基层农技推广体系。目前，我国已拥有一支人数超70万人、覆盖农业各领域的技术推广队伍。他们将科技送到千家万户，为发展现代农业、富裕农民和建设新农村做出了突出贡献。然而，目前我国农业科技成果转化率仅为30%～40%，远低于发达国家65%～85%的水平，基层农技推