农业大数据技术前沿与应用49

农业大数据技术前沿与应用许世卫研究员农业部农业信息服务技术重点实验室主任中国农业科学院农业信息研究所所长2014年10月南京内容一、农业进入大数据时代二、前沿技术三、主要应用四、未来展望一、农业进入大数据时代“大数据”,主要是来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。互联网行业是大数据应用的领跑者，目前，大数据正在加速向农业领域拓展。基础架构关键分析主要应用开源的项目随着传感器、智能移动设备、互联网等的发展，数据呈现爆炸式增长。农业的新变化特点量大实时复杂类杂数据无处不在数据无时不有数据无物不生数据无人不感地域性季节性多样性周期性农业农业大数据（Bigdata）是指在现代农业生产、经营、管理等各种活动中形成的，具有潜在价值的、海量的、活的数据。是现代农业建设、发展、管理的“基准线”。目前，中国每年产生并被存储的数据总量超过800EB（1018字节），相当于全人类讲过的话160倍。KB（103字节）MB(兆，106字节)GB(吉，109KB）TB(太，1012字节)PB(拍，1015字节)EB(艾，1018字节)ZB(泽，1021字节)农业每年产生的数据量约为8000PB（1015字节）农业数据每年将以50%-80%的速度增长农业生产数据2500PB农业管理数据1200PB农业自然资源数据3500PB农业市场数据800PB（数据来源：ZDNET《数据中心2013：硬件重构与软件定义》年度技术报告）农业进入大数据时代气象数据生物信息数据资源环境数据生长监测数据农业统计数据全球气候观测系统（GlobalClimateObservingSystem）2012年每天新增超过250GB，政府间气候变化专门委员会（IPCC）第四次评估报告中采用了超过了29,000个观测资料序列，第五次报告中使用的数据量达到了2.3PB。（1）气象数据1.农业大数据的类型1984年，由NIH创办的基因数据库（GenBank）；截止2011年4月，在传统数据存储区，共有1.35亿条序列记录，包含1265亿个碱基对；在WGS（WholeGenomeShotgun）分区内包含1914亿个碱基对，6272万个基因组序列。全部数据若是装订成册，将载满700多辆卡车。（2）生物信息数据对地观测（遥感）技术农业资源研究提供空间数据，而且，遥感监测一直向高时空分辨率、高光谱、多频段方向发展，数据生产能力越来越强；美国NASA和USGS研究生产的包括GLS1975、1990、2000、2005和2005（EO-1）五个子集的一套Landsat卫星影像，总数据量超过5TB；（3）资源环境数据视频监测气象监测-24个指标土壤养分监测-15个指标土壤水分监测-5个指标生长监测-16个指标实时监测仪器、设备全天候监测，随着设备种类的增长、价格的降低，监测点将成指数级增长，所产生的数据，将快速增长。仪器监测每10分钟采集1次数据（60多个指标*5万次/年）+市场监测数据+统计监测数据+视频监测数据15G/年(,,,,......)nwwijjjjiyyTRLS（4）作物生长监测数据（5）农业统计数据农业部统计报表农业综合调查制度农村经营管理情况统计报表制度全国乡镇企业统计报表制度农业资源环境信息统计报表制度全国土壤肥料专业统计报表全国植保专业统计报表农业机械化管理统计报表制度种子管理机构报表种子企业报表……953个品种，全国1000家市场，每日价格等11个指标的信息，每天超过1000万个数据……大数据最大的作用在于给人们带来了思维上的转变大数据思维互联网思维数据思维产业思维跨域关联思维农业大数据思维数据文化：尊重事实、强调精准推崇理性万物皆比特，一切皆数据!数据制度：数据立法、用数机制尚数环境数据治理：事前管理、科学决策数据创新资源配置：精准化、智能化、高效化二、前沿技术农业大数据的发展对传统的数据处理技术体系提出了巨大的挑战，需要我们在数据采集、数据标准、数据处理、数据分析、数据展现等方面做全新的技术升级。实时性精准性全面性系统性规范性1.数据精准获取技术15可穿戴式的信息获取技术可植入、可嵌入式数据获取技术微型移动信息获取技术生物传感、微纳米传感器、便携式传感器等新型设备。2.数据标准化技术农业领域数据标准化变得极为迫切，信息采集、传输、存储、汇交的标准规范亟需大量出台。农业基准数据库亟需建立。大数据数据标准化标准体系框架传输速率编码标准传输方式传输冗余……汇交方法汇交内容汇交分类汇交范围……采集规范传输标准存储标准汇交标准采集内容采集方式采集时间采集地点……存储格式存储方式存储安全数据结构……农业基准数据库数据增值的关键在于整合，但整合的前提是数据标准的统一。建模技术：农作物生长与产量形成机理建模；农产品消费行为与消费量变化动态建模；基于多代理系统进行农业智能仿真模拟；关联分析：专家会商系统结合；专家智慧动态引入；仿真模拟智能化和自适应；3.农业大数据分析处理技术nnXaXaXaaY22110仿真过程介入；仿真结果反馈；生产与市场决策流程优化。多代理系统CAMES模型系统专家会商系统农业动态建模技术农业动态建模技术交互仿真模拟技术交互仿真模拟技术仿真可视化技术仿真可视化技术农产品消费行为与消费量变化模型农作物生长与产量形成机理模型介入与反馈模型农业智能仿真架构农业智能仿真架构优化调整决策优化农业专家4.数据分析模拟技术模拟育种=大数据+超级计算种子基因数据+环境因子数据+遗传模型+超级计算通过计算机动态模拟种子的生产过程、产量形成过程……5.农业大数据交互式可视化技术农信采监测数据可视化大数据背景下，在交互式数据可视化技术的支撑下，通过对高频变农产品市场数据的处理，实现多品种、多地域、多类型农产品市场变动的内在机理、波动周期、市场走势的可视化呈现。农信采监测数据可视化三、主要应用大数据应用在于从流程优化、知识发现、辅助决策的过程中发现大价值。大数据技术与农业领域的深入耦合，将对我国的农业市场监测预警、智慧农业生产管理、和农业国家宏观管理决策带来前所未有的变化！农业监测预警是现代农业稳定发展的最重要基础之一产量形成产销流通产品消费信息流揭示过程模拟预警与调控现代农业1.农产品市场监测预警---发现市场风险移动采集技术“农信采”（便携式农产品全息市场信息采集器），是一款新型的农产品市场信息采集设备。“农信采”的推广应用，将为我国农产品市场信息标准化、即时性采集带来革命性的变化，可广泛应用于田头市场、批发市场、零售市场的农产品全息信息采集。Windowsmobile版本安卓版本农信采在全国广泛应用在北京、天津、河北、福建、湖南、广东、海南等省市几百个田头、批发、零售市场进行推广应用，共采集数据59万余条。从2014年9月1日将由发改委、农业部在新疆、黑龙江、吉林、内蒙古4省区用于大豆和棉花的目标价格采集。该设备的定位功能、数据纠错、信息分析功能，可用于审定品种、种业专利数、种子企业、种子价格、种植面积、供需状况等种业信息的采集。数据标准化技术制定了农业部行业标准2项积极推进农业信息标准化科研工作，在建立农产品全息市场信息框架体系起草、制定了《农产品全息市场信息采集规范（NY/T2138-2012）》与《农产品市场信息分类和计算机编码（NY/T2137-2012）》2项行业标准农业部于2012年2月21日颁布，并于2012年5月1日起正式实施。模型分析处理技术美国农业部：多国商品联接模型（Baseline模型)食物与农业政策模拟模型（Fapsim模型）FAO-OECD：Aglink-Cosim模型FAO全球粮食信息预警系统平衡表技术：美农部平衡表FAO-OECD平衡表类别2014201520162017201820192020202120222023生产量14214141131401613988139551405014146141931424014290进口量223225226227228229230231233234期初库存6236711277778273866089269193946197309999总供给20673214502201922488228432320523569238852420324523总需求20673214502201922488228432320523569238852420324523消费量13523136331370613787138741396914064141111415814208口粮消费10886109661101111060111161117311235112541127711303饲料消费1658169717331768180318371866189119131933工业消费194203211220228237245253260267其他消费785767751739727722718713709705出口量39394041424344444546期末库存71127777827386608926919394619730999910268库存变化876665496387266267268269269269平衡表中国农产品监测预警模型（CAMES）整体模型框架已经形成。总体上来讲，CAMES要等同于甚至优于ERS/USDA的大型系统。其特点是，监测预警的农产品种类多、品种全，涵盖11大类953个农产品品种；监测预警的空间分布广、区域性强；监测预警时期包含短期、中期和长期；监测预警模型涵盖气象、投入和管理等影响因子。中国农产品监测预警模型搭建农业监测预警研究空间是中国农科院信息所农业信息学科建设和发展的集中体现。是在线协商的良好平台，也是农业信息分析等学科研究的重要载体。农业监测预警空间建有中国农产品监测预警系统、中国农业监测预警数据库系统、在线会商系统等多套应用系统及先进硬件支撑环境。具有4大功能：实时监测数据处理信息提取数据分析农业大数据处理平台人工智能技术联机分析技术数据挖掘技术数据存储农业大数据计算平台虚拟化技术平台管理技术MapReduce编程模式海量数据存储技术海量数据管理技术统计分析技术数据仓库技术数据预处理技术数据并行处理技术数据流处理技术多维数据处理技术预测分析技术知识发现规律揭示预测生成大数据处理智能仿真模拟多代理系统CAMES模型系统专家会商系统农业动态建模技术农业动态建模技术交互仿真模拟技术交互仿真模拟技术仿真可视化技术仿真可视化技术农产品消费行为模型农作物生长机理模型介入与反馈模型农业智能仿真架构农业智能仿真架构优化调整决策优化经济计量模型农业专家信息发布农业展望会议---现代农业的高端管理工具美国的农业展望大会第90届澳大利亚的农业展望大会第44届墨西哥的农业展望大会第1届FAO-OECD的农业展望大会第8届至2014年：NASS发布了461篇报告FAS发布了119篇报告。ERS发布了229篇报告美国靠什么引领世界农业？--数据支撑释放市场信号发布产品报告显示权威预期实时、全面、准确的数据首届中国农业展望大会2014年4月20-21日，首届中国农业展望大会在京召开。标志着中国特色农业信息监测预警体系建设取得成效，开启了提前发布市场信号、有效引导市场、主动应对国际变化的新篇章。参会者涉及全国各地农业生产经营者、科研工作者、政府管理者以及来自OECD、美国、澳大利亚等国际专家。全体大会+18场专题会54位国内外专家演讲500多人参加了大会会议发布了《中国农业展望报告（2014-2023）》分品种展望报告（粮食、棉花、油料、糖料、肉类、禽蛋、奶类、蔬菜、水果等）农产品围绕农业资源环境、农业支持政策、农业科技创新等热点专题进行了研讨。发布了《中国农业展望报告（2014-2023）》首届中国农业展望大会受到了国内外社会各界的广泛关注！据不完全统计，截至2014年4月22日会议结束后