62mapGIS数据中心技术白皮书_v1.0

数据中心技术白皮书1、数据中心技术概述经过几十年的发展，GIS应用的领域越来越广泛。GIS应用系统需要访问分布在多个数据源的异构数据，也需要整合诸如文档、数据库属性表等非空间数据。如何在分布式异构环境下对空间数据及非空间数据进行有效的集成管理，成为一个亟待解决的问题。与此同时，GIS应用系统本身的构架也变得越来越复杂，从处理来自多种数据库的异构数据，到使来自多种GIS平台的功能能够协同工作；从GIS空间分析，到复杂的领域业务逻辑的实施；从单机单应用程序到分布多服务器集群的运用等等；除此之外，用户的需求不断变动，系统地设计不断调整，使系统的开发与维护成为巨大的挑战，用户也未真正参与到系统的开发过程中，不能自发的对新的需求做出响应，需要通过需求变更、系统软件版本升级等软件过程才能解决那怕看似简单的功能调整。另一方面，组件技术的日趋成熟、插件式开发的逐渐普遍、WebService技术的日益盛行，使开发具备高可伸缩性，且满足分布式环境下的数据集成及应用程序集成的软件开发模式成为可能。在这种形势下，数据中心技术应运而生。数据中心是各种数据的集成与交换中心。数据中心平台是集基础与应用为一体的综合应用平台。数据中心技术的目标是。。。建立数据中心的基本原则是。。。数据中心是多种概念及思想的综合体，从不同的方面可以入手可以得到不同语义的数据中心实例。数据中心是一种可扩展的程序设计思想，它定义了一系列的规范，可以使功能模块达到搭建级别的可复用，搭建级别的可复用是运行时级别的可复用，通常需要一种脚步语言对功能进行重组，这里主要通过工作流技术实现功能的重组。数据中心是一种强兼容性的数据仓库，可以在同一个框架下，把来自不同生产厂商，不同格式，不同标准，分布在不同位置的数据统一在一个系统之下；既对分布式多源异构空间数据的管理能力。数据中心是一个定义完备的功能仓库，支持以多种方式（组件、插件、流程、动态库、程序片断、脚本）提供的功能，并能对这些功能以一种一致的方式进行调用及执行。数据中心是一种应用系统，它根据行业的标准建立起功能与界面相分离的具有高度可定制性的应用系统解决方案，以更容易地适应需求的变动、使用户参与到设计开发过程中、当开发类似系统时最大程度的复用以前的工作。数据中心是一种搭建平台，提供对流程、表单、应用程序界面、数据等的完整的搭建方案，因而也是关于应用系统的集成设计器。数据中心是一种工具箱，提供一系列的完整语义的地理处理功能。数据中心是一套解决方案，该方案由一系列的程序模块及数据组成。数据中心是一个资源管理器，提供对资源的windows资源管理器式的管理，且能根据关心主题的不同，按主题层次重新生成资源管理器目录结构。2、概念体系2.1、系统架构新一代MapGIS7总体架构按照分布式多层体系结构的思想建立，分为：表示层、Web服务层、应用逻辑层和数据服务层，如图1所示。多层结构提供了灵活的系统伸缩性，在数据服务层、Web服务层、应用逻辑层、以及表示层之间建立符合国际标准的访问接口，在实际应用部署时，可根据需求扩展系统的某个层面。Web服务器可以调用多个应用服务器提供的接口。应用服务器可以是针对某个专题的专用服务器，也可以是针对主题或领域的集成服务器。应用服务器与不同的专题数据库服务器连接，根据应用逻辑获取、更新专题数据库中的数据，并完成相应的功能。支持分布式数据存储，提供集成化数据管理；提供统一数据管理平台，支持子系统相对独立运行；开发的应用系统适用稳定，能够充分满足业务需求；采用多级安全措施，保障数据的安全；提供最新的、三种方式二次开发技术以网络为支撑，实现B/S、C/S系统的混合6x插件部分7x插件部分7x注册功能二次开发组件流程仓库应用程序预定义插件功能仓库搭建平台集成设计器工作流表单定义器数据录入及规则界面框架可配置界面目录系统执行体数据中心DC基础模块地图文档搭建框架数据仓库大型的信息化解决方案通常包括多个业务领域的应用，产品功能和结构都非常复杂。数据中心基础平台同时支持C/S架构和B/S架构，能够极大地增加软件系统部署和运行的灵活性，因此通过数据中心设计的解决方案在运行后得到的应用程序，能够实现一次设计同时拥有C/S架构和B/S架构软件的能力，极大地降低了软件系统的开发和维护成本。2.2、资源在大型的应用系统，尤其是GIS应用系统中，数据中心的数据是由多种不同专题的业务数据按照一定的规则建立起来的。基于数据中心开发的系统具备访问空间基础对象的能力，即能处理图元级粒度的数据。在实际的数据中心建设应用系统中将选择合适的方式及其对应合适的粒度进行管理。管理粒度太细，会造成管理成本迅速增加，而效率急剧下降；管理粒度过粗，则根本不能满足业务管理的需要。由于不同业务的复杂多样性，会涉及到多种粒度数据的处理，数据中心根本的解决方案是结合业务需求利用粗粒度与细粒度其内部的联系有机统一起来进行管理。图元粒度：是数据中心中最细一级的粒度数据组织，主要包括空间对象的空间特征和属性特征，提供各上级粒度组织的调用。数据中心平台提供了数据实体定义工具、界面设计工具、工作流定义工具、系统发布工具和运行时框架组件，能够极大地增加开发和部署软件系统的灵活性。通过Web服务，可以组建分布式、异构的空间信息服务。空间地理数据可以分布在不同的地方，比如，一部分数据在北京的服务器中，一部分在武汉的服务器中，另一部分在长沙的服务器中。通过资源转换器，引入GuID的标识，直接存放在任何位置的任何类型的异构数据。2.3、资源的发现与定位资源注册与发现系统是对资源的注册系统，纳入数据中心统一管理的资源需要先进行录入，才能被安全的使用；不被录入的资源虽然也可以直接使用，但是不受控制的。资源的发现包括资源的查询与获取，资源的查询通过统一的目录过滤语言实现。2.3.1元数据仓库元数据仓库采用抽象元数据表模型来描述资源的各种属性。元数据仓库实现对数据描述的集中存储，在每个分布节点上只能有一个，在此唯一元数据仓库中实现对资源的唯一编码；整个分布式网络中，资源标识由服务标识+唯一标识组成，在节点内部的元数据引用只需要唯一标识。元数据仓库中每条元数据项包括标题、主题、摘要、全文描述、对资源的引用URI/URL、资源类型、资源范围、资源参照、修改日期、生产厂家以及键值属性部分。目录系统是对元数据仓库的管理系统，对元数据仓库实施按规则的目录组织，也可以包括非元数据自由节点，这样的节点没有对应的在元数据仓库中的GUID，不引用资源或通过URL/URI直接引用自由资源。目录系统的核心是目录规则，目录规则包括过滤规则、分类规则、权限规则。元数据模式管理，元数据采集、编辑和录入，元数据存储、建库和管理，元数据读取、查询和共享发布，面向Web的客户端操作界面，支持SRW协议（新一代Z3950协议），分布式检索能力强，基于XML、J2EE和WebService技术构建。按照国际标准化组织(ISO)地理信息元数据标准设计方案，元数据可以分为2个层次，即核心元数据和全集元数据。核心元数据是描述数据集或数据集系列所需的基本的最少元数据元素的集合，主要用于信息编目，帮助用户快速查询到所需的信息。全集元数据是对数据集或数据集系列的详细描述，帮助数据生产者有效地组织和管理数据集，帮助用户更详细地了解查询到的数据集是否满足其要求。（1）元数据库设计原则①一致性②可扩充性③完整性和准确性2.3.2目录系统及目录服务2.3.3资源的标识及路径2.3.4资源的检索与查询数据中心通过运行时框架根据元数据描述的模型来访问数据。元数据：业务流程元数据和业务流程元数据；数据中心设计器中，预置了大量的基本操作和用于搭建的标准组件服务元数据（ServiceMetadata）：是一个XML词汇表，由从不同侧面描述服务的几个部分组成，主要包括服务接口的描述信息，服务的数据内容或服务所操作的数据的相关信息，以及服务类型和服务实例的相关信息等；元数据库是服务的元数据库，他描述了数据和服务的各种信息。用户通过查询服务的元数据来确定服务的位置和获取服务的接口。对数据描述的集中存储以元数据库为基础，充分考虑资源的安全性，根据每个分布节点只能有一个，在此唯一元数据库中实现对资源的唯一编码；同时在整个分布式网络中，资源标识由服务标识＋唯一标识组成，实现在节点内部的元数据引用只需要唯一标识。由于元数据仓库中每条元数据项内容包括标题、主题、摘要、全文描述、对资源的引用URI/URL、资源类型、资源范围、资源参照、修改日期、生产厂家以及键值属性部分，从而更好的实现了对资源安全性的控制。元数据查询分类功能模块（Access版本）查询用户标准参照表提供功能PHP扩展库（分类功能）调用数据中心产生器生成数据中心XML存储文件读取配置树脚本文件元数据查询分类功能模块通过查询用户标准参照表为PHP扩展库提供查询分类功能，数据中心产生器通过读取树设计器生成的配置树脚本文件，调用PHP扩展库中的查询分类函数，最后生成数据中心的存储文件。输入：配置树脚本文件输出：数据中心XML存储文件2.4、资源的集成数据资源与功能资源是各种形式及类型的数据及功能资源。对数据资源的访问需要某种形式的对象，该对象是远程或本地资源的代理；对功能资源的访问需要某种系统的执行器；如果并不关心如何访问及调用资源，那么只需要通过URL/GUID代理它们，通过GUID的代理提供了对数据的元数据描述及权限控制机制。2.4.1数据的集成2.4.2功能的集成利用数据中心的开发平台开发具体业务的应用系统时，整个应用系统是符合“分散采集、集中入库、异地存储、网络化运行”原则，建立多尺度、多时相、多数据源的海量空间地理数据库；并在“集中入库”的时候提供资源转化的功能，使其通过GUID的标识方式，进入到安全的数据仓库中成为其中具备安全性的资源；“异地存储”的方式，可以对已经存在的异构的海量数据和空间地理数据库进行集成的统一的管理，并提供数据服务；这些已经存在的异构的数据和地理空间数据库可以是相互独立的、不同版本的、存储在不同服务器上的空间地理数据库。因此数据中心平台能够在统一的技术框架下，针对布局架构合理的异质异构数据库，实现海量数据的安全管理；在统一视图下，完成分布式集成管理，实现“中心”局域网络下的业务化运行；最终实现统一各数据库平台，规范各数据库的数据组织方式和管理模式的目标。通过数据库编码可以有效的区分不同的图形数据、属性数据，同时也可以根据数据库编码读取数据的入库信息。在尽量保证各类数据信息完整性的基础上，灵活定义数据操作所需的配置信息，实现数据库编码的可配置性；在此基础上将已建成基础数据资源纳入数据库实现应用。同样，数据服务需要进行数据挖掘时，需要将文件名中含有的特征值分析出来，而且解析的功能也是由数据库编码配置来实现的。数据库编码配置通常应具备下列功能：①文件名的解析，将文件名中含有的特征值分析出来。②检验文件名是否符合命名规范，数据集成服务将数据入库时需要根据提供的特征值交由数据库编码配置来生成文件名，对于已指定文件名的，需要进行文件名验证。③在根据命名规范来进行文件组合时，要支持顺序调整。对于配置的改变，文件名的顺序是随时调整的。2.5、资源组织规则1.存储、管理、检索和维护2.提供基于SOAP/XML协议的分布式空间信息服务机制3.空间数据的存取、交换、分析、查询等空间应用服务4.视图展现给用户的是对应类中的部分空间数据，部分属性数据，或者两者之一。MAPGIS7.0视图具有以下特点：(1)MAPGIS提供要素类、对象类、注记类、动态类的视图；(2)视图本身仅存储创建这个视图的空间条件和属性条件。空间条件包括矩形范围、类和子类型，属性条件包括纵向条件和横向条件，纵向条件限制视图所包含的字段，横向条件通过条件表达式（如：“面积500”）限制视图的记录范围；(3)MAPGIS7.0将视图分为只读视图和可读写视图。数据中心的维护和不同系统的互连互通和数据交换的模式紧密相关。数据中心处于整个业务信息系统的底层，目的是向上层的应用与服务系统提供一个能满足各种格式的数据需求的、而与具体的系统无关的