贵州农业大数据中心一期项目技术规格

贵州省农业大数据中心（一期）项目技术规格2.1项目目标与建设任务2.1.1项目目标项目依据科学合理的标准规范，以农业大数据资源梳理编目、大数据整合集成与建库，以及农业大数据管理服务平台建设为主线，构建贵州省农业大数据中心。通过本项目实施，实现贵州省农业数据资源的统一集成、统一管理、统一共享和统一服务，为贵州省“农业云”及其各类应用提供数据基础。2.1.2建设任务本项目主要包括以下四项建设任务：1、农业大数据中心标准研制2、农业大数据资源目录梳理与编目3、农业大数据规范化集成与建库4、农业大数据管理服务平台软件研发2.1.2.1农业大数据中心标准研制依据农业部、贵州省信息化建设有关标准，重点完成以下标准规范的研制，支撑贵州省农业大数据中心科学、有序、持续的建设发展与服务。（1）贵州省农业数据资源分类编码（2）贵州省农业数据库设计与建设规范（3）贵州省农业大数据中心访问接口规范2.1.2.2农业大数据资源目录梳理与编目根据“贵州省农业数据资源目录元数据标准”，为贵州省农委各职能部门和事业单位，提供技术支持、培训咨询服务，协助贵州省农委各职能部门和事业单位，完成数据资源梳理以及农业大数据资源目录元数据填报和编目工作。2.1.2.3农业大数据规范化集成与建库根据“贵州省农业数据库设计与建设规范”，按照梳理形成的“贵州省农业数据资源目录”，在贵州省农委有关单位的配合下，实现贵州农委已有核心大数据资源的集成、规范化整理（去重、补漏，统一编码、语义、格式，实现数据之间的关联等）与建库。核心大数据资源包括但不限于：农业基础条件数据（农业区划、土壤、耕地、草地、水域等）、农业资源要素数据（种植、畜牧、渔业水产、高标准农田、农业园区等）、农业经营交易数据（农资、新型经营主体、农产品贸易、农产品价格、农田用途、农村土地确权、流转等）、农业管理服务数据（水肥管理、病虫害防治、三品一标、农产品溯源、农业专家库、农民培训等）等。2.1.2.4农业大数据管理服务平台软件研发农业大数据管理服务平台主要实现分散、多源、异构农业大数据的整合集成、建库管理、统计分析与共享服务，并为各类农业应用系统提供统一的农业大数据访问接口。平台包括：元数据著录管理、农业大数据集成管理和农业大数据共享服务三个系统。（1）元数据著录管理系统依据“贵州省农业数据资源目录元数据标准”，研发元数据著录管理系统。系统应能够灵活适应元数据标准的变更和扩展，实现元数据的著录、编辑管理和编目输出。主要功能（包括但不限于）如下：元数据著录界面定制：系统管理员，依据元数据标准，能够对元数据著录界面进行灵活定制；元数据著录：支持农委各部门和单位进行元数据的批量导入，或者逐条记录的录入。依据元数据标准，能够对录入的元数据进行检验。可以利用元数据模板进行元数据的快速录入；元数据管理：依据管理权限，对元数据进行修改和删除等。可以将指定元数据保存为元数据模板，对模板进行修改和删除等管理；元数据审核发布：对各部门和单位录入的元数据进行审核，不合格的元数据退回进行修改，合格的元数据对外发布共享；元数据查询浏览：可以按名称、关键词、责任者、地点等进行元数据的查询，浏览详细的元数据信息。依据权限访问关联的数据；元数据统计汇总：可以按责任者、共享类型、数据分类、格式等，对元数据进行统计汇总；元数据编目输出：可以对编目要素进行管理。按共享类型、开放方式、责任者等进行编目。按指定格式输出元数据目录等。（2）农业大数据集成管理系统依据“贵州省农业数据库设计与建设规范”，研发农业大数据集成管理系统。系统应能够适应不同部门、来源和类型的数据资源，实现农业数据资源的整合集成和统一管理。主要功能（包括但不限于）如下：部门用户同步管理：与农业电子政务系统进行对接，实现农委部门机构和人员信息的同步及管理；数据源管理：支持对本地数据库、网络数据服务、网络数据库等多种形式的数据源的管理；数据集成规则设置管理：设置各类数据源集成、清洗、转换规则。包括数据同步、数据抽取、数据转换规则，以及数据质量检验和异常处理规则等；数据管理权限设置和操作日志管理：对各库表数据资源的更新管理权限进行设置，对数据管理操作进行全程记录。设置管理数据备份计划，按计划对数据资源进行备份；数据字典和代码库管理：对农业大数据中心及其管理服务平台所涉及到的用户访问权限代码、数据分类编码、数据属性值代码等数据字典和代码进行管理。数据整合集成：依据数据集成规则，通过数据同步、抽取、转换，以及本地数据文件批量导入等方式，实现不同来源、类型数据的整合集成。依据数据质量检验和异常处理规则，对集成的数据资源进行质量检验、异常和冲突处理。能够对入库数据资源进行编辑管理等；数据关联和视图配置：基于入库数据资源，实现跨库表数据资源关联和查询视图设置；数据查询浏览：提供基于关键词的简单查询、多条件组合的复杂查询、全文检索和关联图检索。对查询结果进行浏览，具有空间位置特征的数据，还应提供基于地图的展示浏览。回溯查看对应的元数据等；数据统计分析：可以按部门/单位、数据分类、更新时间、农业要素属性等对大数据中心的数据以图表等多种形式进行各类统计汇总和变化分析（单要素或多要素时间序列变化分析、区域构成分析、区域对比分析等）。通过统计分析全面掌握贵州省农业生产条件、资源要素、经营权属和管理服务情况。（3）农业大数据共享服务系统农业大数据共享服务系统是农业大数据中心的门户网站，是用户查询访问和使用农业大数据的统一入口。依据“贵州省农业大数据共享服务条例”（省农委提供）、“贵州省农业大数据中心访问接口规范”等，研发农业大数据共享服务系统。系统应能够对数据资源的共享服务进行安全控制，通过元数据和专题数据库两种形式的有机结合，实现农业数据资源的安全有序共享和统一的对外接口服务。主要功能（包括但不限于）如下：数据共享服务权限设置：对农业大数据中心数据资源共享访问权限进行设置管理。可对数据库、表、数据记录等不同粒度的数据进行访问权限的控制，数据访问权限可设置到部门、角色/岗位、人员等多个层次；数据访问服务发布管理：依据“贵州省农业大数据中心访问接口规范”，发布和管理数据访问服务，为农委其他应用系统提供统一的数据访问接口；元数据目录导航：按照数据主题、管理部门、数据类型等，提供元数据目录导航；元数据查询浏览：实现元数据的查询、元数据详细信息浏览，以及按权限的关联数据访问；数据查询浏览：按专题库的形式，展示农业大数据中心的数据资源。进入每个专题库，按权限实现各专题库数据的查询浏览，支持专题库全文检索功能。能够进行数据的关联查询（可以面向主题或问题，进行关联查询规则设置）。对于隐含地理位置（坐标、行政区代码、邮政邮码等）的数据资源，基于农业“一张图”平台，提供基于地图的展示；数据统计与变化分析：提供数据统计与变化分析规则配置功能（统计项、分析指标、分析方法等），通过表格、统计图等多种形式，实现指定数据灵活的统计汇总与变化分析，如：农产品市场价格波动分析、区域农业产业结构分析等等；数据下载输出：根据数据访问权限，可以下载或输出农业大数据中心的数据资源；数据共享服务统计分析：对数据查询浏览、下载输出、数据访问服务的使用情况进行统计以及变化分析。对数据访问服务使用情况进行监控。2.2项目技术要求2.2.1总体架构要求贵州农业大数据管理服务平台软件采用云服务架构，全网络化的B/S系统模式，应符合“云上贵州”要求，能够无缝迁移和运行在“云上贵州”上。农业大数据中心利用云计算等现代化信息技术，在统一的运维管理、技术标准和安全保障体系的支撑和约束下，按照数据资源敏感程度，实现分散、多源、异构的农业大数据资源有序、安全、高效的整合集成和分类、分级的共享服务，为各类农业应用系统提供统一的农业数据交换访问接口。贵州农业大数据中心总体架构如图1所示。图1农业大数据中心总体架构2.2.2接口要求系统接口遵循SOA标准规范，采用RESTful、XML/JSON等为各类应用提供统一的互操作接口服务和数据交换标准。应能够与农委已有的数据库和业务系统进行对接，特别是需要长时间运行的业务系统，能够与它们进行互操作，实现业务数据的同步更新；能够与“农委电子政务系统”对接，实现农委组织部门和人员的同步更新；能够与“一张图平台”进行对接，实现大数据中心隐含地理位置的数据的地图展示；提供统一的数据访问服务，面向农业应用系统以及其他授权的第三方系统提供农业元数据目录查询访问、农业大数据查询访问与统计分析系统，实现“农业数据即服务”。云上贵州贵州农业私有云非敏感数据敏感数据基础设施层数据层（数据即服务）农业基础条件数据农业资源要素数据农业经营交易数据农业管理服务数据农业区划、气象、土壤、耕地、草地、水域等种植业、经济作物、畜牧、渔业水产、农业园区等农资、新型经营主体、农产品价格、农村土地确权等病虫害防治、农业补贴、三品一标、农产品溯源等农业大数据中心元数据著录管理系统元数据著录界面定制、元数据著录、管理、审核发布、查询浏览、统计汇总、编目输出等大数据集成管理系统数据源管理、集成规则设置管理、权限设置、数据整合集成、数据关联、查询浏览、统计分析等大数据共享服务系统元数据目录导航、访问服务发布管理、数据查询浏览、统计分析、下载输出等大数据访问服务管理系统软件服务层（软件即服务）大数据用户：社会公众、农委、省政务部门及农业部用户等数据管理者各类应用系统数据生产者农业大数据管理服务平台用户层运维管理体系安全保障体系技术标准体系2.2.3技术要求基于云服务架构，基于J2EE编程环境，利用HTML5等技术，保障农业大数据中心及其管理服务平台能够跨主流操作系统（Linux、Windows等）部署，兼容主流浏览器（IE8/9/10、Firefox、Chrome等），能够自适应在不同硬件环境和分辨率（台式电脑、笔记本、移动终端、智能手机等）上使用。采用标准的SQL查询语言，支持Oracle、SQLServer、MySQL等主流关系数据库。2.2.3性能要求采用Ajax、Memcached等技术，实现异步查询更新、分布式缓存、主从数据库分离等，确保软件平台的性能。（1）系统登录时间和各业务模块启动时间不超过2秒，在网络稳定的环境下操作性界面单一操作的系统响应时间小于1秒；（2）简单查询及统计不应超过0.5秒，复杂查询及统计不应超过2秒；（3）系统WEB服务，平均响应时间不超过1秒，并满足至少300个以上的系统并发用户数。2.2.4安全要求满足国家《信息系统安全等级保护基本要求》第三级，要求给出完整的安全设计方案，具体安全需求如下：1、身份鉴别（1）系统应具有专用的登录和权限控制模块，实现单点登录和退出。支持密码口令或短信验证码登陆；（2）一个用户只能同时在一个终端中登录使用，能够对登录后持续不操作时间进行限制。对非法登录，进行锁定账号或封禁IP等限制措施，对非法登录次数进行限制。2、访问操作安全（1）对系统功能模块和数据访问进行细粒度权限设置，用户只能按照权限进行系统和数据的访问；（2）数据更新管理必须是具有权限的数据责任方或数据管理方才能操作。更新操作必须有日志记录。对重要数据要进行定期备份；（3）数据资源按照敏感和非敏感两种类型进行存储，进行分类、分级的数据共享服务。3、安全审计（1）系统应具有单独审计账号，用于审计应用系统的各项操作和调用；（2）系统应具有单独审计记录页面，提供查询、统计功能；（3）密码在数据库中必须使用哈希算法存储，不允许存储明文密码；（4）应用系统内部传输、系统间的互操作和数据交换需要使用加密协议；（5）避免软件系统，特别是数据查询的漏洞和后门。4、软件容错（1）系统输入框应对有效性进行检验和限制；（2）数据表或记录的更新、删除、迁移等操作时必须经用户确定后才能生效，避免误操作；（3）应有数据备份和数据志跟踪，一旦有误操作或系统异常时，应能够快速进行系统和数据的恢复。2.3项目组织实施与质量要求2.3.1组织实施要求项目采用在贵州省农委现场实施的方式。投标方应组织具有资质的项目经理、技术负责人以及技术团队，保证充足的人员全程现场开展项目工作。