数据汇集软件解决方案

数据汇集软件系统解决方案北京金水信息技术有限公司北京北科博研科技有限公司2013年8月目录第一章水利普查项目概述....................................................................11.1项目背景.....................................................................................................11.2项目难点.....................................................................................................11.2.1需求的逐步完善....................................................................................................11.2.2业务面广、数据指标项多、审核周期长............................................................21.2.3省、地、县多级用户............................................................................................21.2.4集中部署与分级部署............................................................................................21.3系统组成.....................................................................................................31.4系统实施与效益.........................................................................................4第二章数据汇集系统............................................................................62.1建设目标.....................................................................................................62.2建设原则.....................................................................................................72.3总体架构.....................................................................................................92.4技术路线...................................................................................................11第三章系统功能..................................................................................143.1总体功能...................................................................................................143.2功能模块...................................................................................................143.2.1数据采集..............................................................................................................143.2.2数据审核..............................................................................................................143.2.6汇总分析..............................................................................................................183.2.7方案制作..............................................................................................................203.2.8任务下发..............................................................................................................213.2.9数据管理..............................................................................................................223.2.10系统管理..............................................................................................................22第四章系统优势..................................................................................274.1采用J2EE架构........................................................................................274.2可视化表单配置.......................................................................................274.3解释性的公式审核...................................................................................284.4软件易学、易用、易管理.......................................................................294.5智能分析、深度挖掘...............................................................................294.6便捷打印、自定义报警...........................................................................30第一章水利普查项目概述1.1项目背景水利普查是国家基础水信息的基准性调查，也是一项涉及国情、国力情况的调查，是国家资源环境调查的重要组成部分。第一次全国水利普查包含河湖基本情况普查、水利工程基本情况普查、经济社会用水情况调查、河湖开发治理保护情况普查、水土保持情况普查和水利行业能力建设情况普查，以及灌区与地下水取水井两个专项普查。由于普查范围广、普查的对象众多、归口管理关系复杂、涉及指标多、数据量庞大，要保证全国范围内普查工作的同步开展，对于如此大规模的普查工作，必须要采用科学的方法和先进的技术手段，建立完善的数据的采集、审核、汇总、上报机制，只有通过建设信息系统来实现分布式数据收集和海量数据的存储和管理，才能确保所有普查数据能有效、快速、安全地采集和汇集，从而减轻工作量，提高工作效率和普查工作质量。1.2项目难点1.2.1需求的逐步完善普查软件的开发是在业务需求逐步确认的基础上进行的。在软件开发中不可避免的会遇到需求的变化，变化并不是项目所害怕的，最怕的是跟不上变化的步伐。从普查软件的试点走到现在，实施方案经历了几个版本的更新，实施方案的更新从业务需求上主要表现为添加业务表单、删除业务表单、增加数据指标、删除数据指标、更改名录逻辑等，每经历一次更新必会造成一系列连锁的指标修正、指标配置、配置审核、汇总更新等操作，这将增加软件在开发上、质量上和测试上的复杂度，无形中的延长了开发的开发周期。1.2.2业务面广、数据指标项多、审核周期长普查软件涉及的业务面广、指标量多、审核周期长。水利普查业务共涉及八大类业务工程（23张清查表、38张普查表、3张台账表及相应的统计表），且每类业务工程中所涉及的系统逻辑均有所不同，需在软件中进行相应的业务处理，这将直接增加软件的复杂度。水利普查软件中共数千个数据指标项，在数据指标的类型、长度、精度及值域范围上根据实施方案的更新进行了反复的确认和核对工作。审核周期长，对数据指标中所涉及数据审核项的迭代审核，为做到指标项配置无误，对此类审核做到多人迭代、交替审查。1.2.3省、地、县多级用户普查软件是一个全国性的数据登记及处理软件，直接涉及全国31个省（自治区、直辖市）、345个地（市）级数据审查人员、3144个县的使用人员。使用人员多，分散广，信息化程度参差不齐，对软件的使用则要求相对就高，这就要求软件有良好的适用性、易用性和稳定性。1.2.4集中部署与分级部署因属于全国性的普查，故软件在部署上采用集中部署与分级部署两种模式。若全部采用集中部署则需考虑到网络的带宽、服务器的性能、访问量的多少等因素，若在访问量加大的情况下势必存在性能问题，而这些问题反映在软件上效果为反映速度慢、页面打不开等，因此需要辅以多种技术和业务手段进行控制，以达到预期的应用平衡和性能效果。若全部采用分级部署，则存在分散广的问题，对同一问题出现的频率高，对问题反馈响应比低等问题。1.3系统组成水利普查数据处理系统由基层登记台账管理系统、普查数据处理上报系统、普查数据管理系统所构成。为各级水利普查数据的录入、编辑、审核和汇总以及数据管理、数据加工和信息发布等提供工作平台。其中：基层登记台账管理系统主要用于2011年清查登记阶段，各地用于开展清查数据处理和普查数据的预处理，用于数据录入工作；普查数据处理上报系统主要用于填表上报阶段，县、地级水利普查机构开展表格数据处理和汇总上报；普查数据管理系统主要用于填报上报阶段，省、国家(含流域)级水利普查机构开展表格数据处理和汇总上报，以及平衡分析统计服务。图1.1水利普查数据处理系统水利普查数据处理系统根据各级水利普查机构数据处理任务，分别部署到全国3433个水利普查机构，应用于清查登记、填表上报等不同阶段的水利普查数据处理工作中，全面支持水利普查数据处理工作的全过程。1.4系统实施与效益根据各省（自治区、直辖市）和新疆生产建设兵团水利普查数据保密要求，其中28个省（自治区、直辖市）水利普查业务数据处理软件部署采取了在省级集中部署，其各地、县级水利普查机构通过计算机网络，远程开展联机数据录入和处理工作，其余省级水利