导入导出系统技术方案

导入导出系统软件技术方案1项目概述1.1项目背景当我们建立一个数据库时，并且想将分散在各处的不同类型的数据库分类汇总在这个新建的数据库中时，尤其是在进行数据检验、净化和转换时，将会面临很大的挑战。数据导入导出平台为我们提供了强大、丰富的数据导入导出功能，并且在导入导出的同时可以对数据进行灵活的处理。1.2项目目标本项目开发的数据导入导出系统主要针对全国各大监狱，司法部，法院，检察院。除了要实现数据共享、存储与备份外，还将重点构建监狱智能工作平台，实现各个监狱，法院，检察院信息办公自动化。数据导入导平台，适用与各大数据库间的导入导出。包括oracle，sqlserver，db2,mysql等主流数据库。轻松实现不同数据库间的数据交换功能。2系统建设必要性2.1现状描述随着监狱信息化建设的日益深入，网络化、信息化、办公自动化已经融入了监狱管理当中。同时各个监狱之间数据的交换成了很大的问题。为了方便用户进行大量的数据交换的烦恼，数据导入导出系统的出现显得很必然。2.2现状分析导入导出系统提供的不同程序之间的数据的交换和数据的一致存储等功能，针对不同数据库之间字段数据类型等的不一致，要实现数据导入导出自动化迫在眉睫。建立导入导出系统，可充分运用现代化的通信技术、计算机技术和网络技术。减少大量的工作量。使数据具有更强的一致性。3远景规划方案导入导出系统将在未来广泛应用。适用于各个数据库之间的数据转化。4总体目标为有效整合分散异构的信息资源，消除“信息孤岛”现象，提高政府和企业的信息化水平，基于导入导出系统，可灵活实现不同系统间的信息交换、信息共享与业务协同，加强信息资源管理，开展数据和应用整合，进一步发挥信息资源和应用系统的效能，提升信息化建设对业务和管理的支撑作用。5整体业务流程导入导出系统具体用户操作流程如下图所示：数据迁移数据操作方案开始方案类型数据导出数据导入选择导出方案（用户）筛选数据（用户）导出（用户）筛选数据（用户）导入（用户）选择交换方案（用户）筛选数据（用户）交换（用户）选择导出方案（用户）导入导出系统具体业务流程图如下图所示：开始数据迁移方案流程方案类型导入方案导出方案数据交换选择源数据库选择表查询库中表选择对应表中的列查询表中列存储数据生成配置文件插入导出表及导出表中列信息自定义查询XML；导入、出顺序XML选择目标数据库选择导出方案配置表映射配置列映射插入源表及表、列映射信息选择源数据库、目标数据库选择表查询库中表选择对应表中的列生成配置文件配置表映射配置列映射插入源表及表、列映射信息自定义查询XML；导入、出顺序XML6系统设计6.1系统结构图数据库1和数据库2之间的数据交换通过中间的xml文件来完成。数数数1数数数2xml数数数数数数数数数数6.2设计原则6.2.1安全性原则导入导出系统应能提供有效的安全保密机制，保证各单位之间的信息能够安全发送与接收。系统应提供口令验证、加密等安全机制。系统在设计上要充分考虑用户界面应方便、友好、灵活，用户应能够方便地在权限范围内于各子系统之间切换。系统有良好的整体化设计，同时完善的帮助系统也是增强可操作性的必要辅助工具之一。6.2.2灵活性原则导入导出系统不依赖于特定硬件环境，可移植性强。不依赖任何其他系统可单独使用。6.2.3可扩展性与可移植性可扩展性指的是系统可以根据业务发展的需要，能够方便的升级，扩展系统的功能。由于本次采用了集中式系统架构，数据和应用的集成集中在中间件一级进行处理，所以，也就为日后的扩展打下了良好的基础。同时保证系统能在各种操作系统和不同的中间件平台上移植。从本次采用的系统体系架构、开发语言到各平台服务器的选型我们都充分考虑到了移植性的要求。6.2.4可操作性系统在设计上要充分考虑用户界面应方便、友好、灵活，用户应能够方便地在权限范围内于各子系统之间切换。系统有良好的整体化设计，同时完善的帮助系统也是增强可操作性的必要辅助工具之一。6.3系统架构设计6.3.1总体结构设计图数据库1和数据库2之间的数据交换通过中间的xml文件来完成。数数数1数数数2xml数数数数数数数数数数6.3.2总体结构模型图系统采用mvc工厂模式设计。层次清晰。数数数数model数数数数数controller数视图层（view）6.3.3系统逻辑结构图jspactionservicejavabean数数数1数数数26.4设计遵循的标准和规范《中国软件与技术服务股份有限公司ISO9001质量控制程序[DIS/QP]（2000）》《可靠性编码规范》技术性能设计6.5数据库设计建立完善的数据库结构管理设备的基本参数、运行状态和各种工作计划。数据库的框架和结构必须根据设备和运行状态而设计，方便提供强大的录入、查询、统计、分析和报表等各种功能，较好的反映业务的基本情况和运行状况，满足生产管理信息化的要求。建立支持多媒体应用与面向对象的关系型数据库管理系统，数据库管理系统具有面向Internet应用，面向电子政务和电子商务的能力。6.5.1对数据库平台的性能要求根据本系统数据的特点,我们采用OracleDBEnterpriseEdition9i作为系统的数据库平台，并且数据库开发方面采用标准SQL语句，以便将来的扩展和移植。系统将采用数据库建模工具，根据系统功能模块的设计，构建出整个数据库。在构建数据库时，也会定义好数据库表的约束、关联以及索引。针对系统的具体特点和系统要求，我们在进行数据库方案设计时对数据库平台提出下列性能方面的要求：标准化程度高，符合标准ANSISQL92语言的规范支持Brower/SERVER模式应用，支持对称处理和多线程技术，支持XML/CORBA，支持数据分区。可在多种操作系统，HP、IBM等服务器下运行，独立性强，对系统结构影响比较小。高级语言、汉化功能先进，易于方便使用，支持汉字，GB18030标准支持主流的各种网络协议，如TCP/IP、IPX/SPX、NETBIOS、DECNET、SNA等。能支持同构、异构网络的分布操作，支持松散耦合型的Cluster及海量并行处理。有足够的并发控制、并发用户数不少于50；授权控制和事务处理能力及恢复能力与异种数据源有良好的可互操作性具有可靠的数据安全保密措施以及故障恢复能力具有SMP和MPP的功能，具有快速的并发用户查询速度，并发控制稳定可靠具有很强的容错能力，错误恢复能力，错误记录及预警能力，具备异地容灾能力；允许行级锁，具有死锁自动解出功能而无需额外的数据一致性校验。具有强大的复制能力，支持主从式、级连式、对等式以及N-向复制，并支持复制日志技术，具有分布式模式管理能力。具有完整的安全性（帐号安全，系统级权限，对象安全性，审计），细粒度化的访问控制，适合于多层环境的安全模式的能力拥有支持MIS的功能强大的开发工具，提供数据仓库和数据挖掘的工具。6.5.2数据库系统结构设计根据本系统的结构和应用服务，同时考虑到整个系统的一体化方案、功能扩展和灵活性，数据库将按以下原则采用集中方式与三层结构相结合的体系结构。本系统是大型软件系统，能够提供多种应用服务，这些服务采用集中方式运行可充分利用服务器的资源，发挥服务器的性能，方便管理，提高可靠性。采用三层结构很容易实现客户机的扩充，使用多服务器能减小系统的处理瓶颈，提高系统的性能，同时能共享网络中的所有资源数据库系统，为集中方式和B/S结构的应用提供了可靠的技术保证。6.5.3数据库系统逻辑结构本系统考虑到系统的总体要求和今后各业务的发展，本方案中设计数据库系统逻辑结构体现了以下特点：数据库系统结构具有良好的兼容性。数据库数据的全面性：对系统进行调查，分析及要求，最大限度的保证其共享数据，同时为客运信息系统的扩展性保留数据接口，达到数据全面性的目的。数据库系统结构完全完整：既可最大限度开放的公用数据，也严格保密的票务结算数据和企业私有数据，对不同的类型应采用不同的安全管理机制。系统将采用大型数据库系统，完善的数据备份和安全控制策略，保证数据的安全性和完整性，保证系统安全运行。数据库可以采用数据冗余备份，或者数据录像备份，双机备份，以确保数据的安全及完整性。6.5.4数据库设计遵循技术标准目的：保证与其它应用系统的无缝连接，而且便于与信息中心其它系统的数据共享和实施XX省范围内联网的数据共享。（一）完善的编码体系完善的编码体系是数据库系统的重要核心之一。要求对生产业务中涵盖的信息进行全面分类和编码管理。要求编码设计科学合理，使系统能够具备目录树结构显示、分类路径明确、多级同步维护（级联修改）、分类分级的多层次查询、数据传送量少等优点。（二）字典驱动的数据库结构系统的发展变化对应于设备（实体对象）的属性和设备（实体对象）的增减，能够通过数据字典驱动的方式，在数据库中实现设备属性的扩展修改和新增设备的定义。系统采用这种字典驱动数据库结构，通过它用户可以根据需要，对系统中某对象的属性进行扩展。例如应用在设备管理上，可以采用图形化界面简单直观地实现设备类型的自定义、设备种类的增加、设备属性的自定义，从而适应不断出现的新设备的需要，不需要修改程序代码。（三）面向对象的数据库设计从某种意义上讲,是数据库设计的面向对象特征最终奠定了整个系统的面向对象性,具体要求包括：（1）数据库结构清晰,便于实现OOP实现应用模块对象对数据库对象的完全映射,数据库逻辑模型可以自然且直接地模拟现实世界的实体关系。用户所处的当前物理世界、系统开发者所抽象的系统外部功能,与支持系统功能的内部数据库(数据结构)一一对应,所以用户、开发者和数据库维护人员才可以用一致的语言进行沟通。特别是对多数不了解业务的程序开发人员来说,这种将应用对象与相应的数据对象封装在对象统一体中的设计方法,大大减轻了程序实现的难度,使他们只要知道加工的数据及所需的操作即可,而且应用程序大多雷同,可以多处继承由设计人员抽象出来的、预先开发好的各种物理级超类。（2）数据库对象具有独立性,便于维护除了数据库表对象与应用模块对象一一对应外,在逻辑对象模型中要求不要设计多重继承的泛化关系,所以这样得到的数据库结构基本上是由父表类和子表类构成的树型层次结构,表类间很少有继承以外的复杂关系,是一个符合局部化原则的结构,从而使数据库表数据破坏的影响控制在局部范围且便于修复,给系统开通后的数据库日常维护工作带来便利。（3）需求变更时程序与数据库重用率高,修改少在映射应用对象时,要求除关系映射规范化后可能出现一对多的表映射外,大多数应用对象与表对象是一一对应的。这样可以把规范化处理后的、由一个应用对象映射出来的多个表看成一个数据库对象。因此当部分应用需求变更时,首先,系统修改可以不涉及需求不变更的部分。其次,变更部分的修改可以基本上只限于追加或删除程序模块或追加新库表,而基本上不必修改原有程序代码或原有库表定义,从而大大减少了工作量,降低了工作难度。（四）柔性扩展技术数据库系统赋予查询系统高度的柔性和充分的可扩充性。查询系统可以根据用户的需求不断地完善自身，以提供新的查询功能和增强查询能力。它有两方面的意义：一是当系统运行一段时间后，用户极有可能会产生新的查询需求，在良好的数据结构的基础上，能够通过对原有系统的适当调整和配置，满足用户新的需求；二是应用系统具备为不同类型的用户提供自己定制各种查询的功能，降低了系统后期的维护工作量和费用，保护系统的前期投资。（五）便携式数据库系统提供便携式数据管理功能，可以将需要的数据下载到您身边的计算机上（不论是台式机，还是笔记本计算机），以便在无法或不愿连通网络的情况下（比如在移动的交通工具中、没有电信服务的区域等）使用相关的数据。（六）非结构化数据的管理系统对非结构化形式存在的数据如文档、手册、报告、专家意见等数据采用合理的数据库管理模式。系统将非结构化纳入数据库系统进行管理，从而将企业数据源和应用集成为一个有机整体，实现对数据的集中管理、组织、分类、索引和检索，以达到对数值、字符等结构化数据和电子文档、图像、声音等非结构化数据高效操作。（七）过程数据存储管理对一项业务流程从开始、中间各个环节到最后结束和反馈