大数据交换共享中心方案设计

实用文档标准文案数据交换共享中心设计方案实用文档标准文案整合协同平台的主要功能是从其它子系统中提取共享数据，并对多来源渠道的、相互不一致的数据进行数据融合处理；基于数据字典对实时数据和历史数据进行组织，以保证数据间关系的正确性、可理解性并避免数据冗余；以各种形式提供数据服务，采用分层次的方法对各类用户设置权限，使不同用户既能获得各自所需要的数据，又能确保数据传输过程的安全性及共享数据的互操作性和互用性；维护基础信息、动态业务数据以及系统管理配置参数；支撑系统的网络构架、信息安全、网络管理、流程管理、数据库维护和备份等运维能力。整合协同平台根据功能可分为两个部分：第一部分，基础数据和共享数据的交换服务和路由流程管理，该部分是交换平台的基础，包括：静态交换数据、动态交换数据、图形数据及表格、统计资料等属性数据。第二部分，各子系统之间的接口实现，根据事先制订好的规范、标准，实现各子系统之间的数据共享和传输操作。在接入中心平台时，应按系统集成要求设计系统结构，各类数据接口遵循系统集成规范。实用文档标准文案第一章中心平台设计1.1平台功能结构整合协同平台服务器是公共基础平台的核心部分，XMA整合协同平台提供一整套规范的、高效的、安全的数据交换机制。XMA整合协同平台由部署在数据中心和各业务部门的数据交换服务器、数据接口系统共同组成，解决数据采集、更新、汇总、分发、一致性等数据交换问题，解决按需查询、公共数据存取控制等问题。各业务子系统都要统一使用XMA整合协同平台进行数据交换。数据中心统一管理和制定数据交换标准。各业务部门通过数据级整合或者应用级整合通过XMA整合协同平台向数据中心提供数据，也通过XMA整合协同平台访问共享数据。XMA整合协同平台的基本功能如下：共享数据库的数据采集、更新、维护。业务资料库、公共服务数据库的数据采集。提供安全可靠的共享数据服务。业务部门之间的业务数据交换。结合工作流的协调数据服务。实用文档标准文案管理、控制、配置、传输管理、安全接口数据需方数据库应用数据层接口应用层接口数据转换传输管理接口适配共享交换数据供方数据库应用数据层接口应用层接口数据转换传输管理接口适配传输传输数据压缩加解密故障检测协议管理传输控制连接共享数据解析数据转换数据模板服务管理运行管理部署管理数据路由会话控制会话策略会话模式系统日志共享交换共享交换共享交换功能流程说明：数据供需方的接口数据系统：为了满足应用层交换和数据层交换，交换代理必须有应用层和数据层的连接和接口适配功能，数据代理必须有数据格式的转换功能。数据传输：为了保证数据的正确传输和传输性能，必须有传输管理功能，包括了传输协议管理和控制，传输过程控、数据传输加密、压缩、网络故障检测和连接共享等功能。数据整合协同平台：会话管理：为了能提供数据的交换方式如主动（推）、被动（拉）；支持定时和实时策略，支持超时控制管理等功能，数据交换平台必须有会话策略、会话控制和管理功能。数据管理：为了数据能按标准进行交换，能按照部署的路由规则进行交换，必须有数据路由、数据模板管理、数据解析、数据转换等功能。实用文档标准文案系统管理功能：同时数据交换平台还应该提供服务管理功能，包括运行管理，部署管理，服务管理，系统日志等功能为了和安全平台结合，还必须有与安全平台的接口设计功能。1.2设计原则1.2.1安全高效的数据交换XMA整合协同平台底层采用消息中间件技术，实现可靠的数据传输。在应用层基于服务，实现数据交换，必须支持数据采集、数据汇总、数据分发、数据更新通知、数据转发、数据转换。支持实时、定时、按需的数据交换方式。支持多种数据源，提供身份验证、用户授权、传输加密、数据完整性、数据可信性、数据有效性的支持。支持数据分段传输、数据压缩/解压缩、数据缓存等。1.2.1.1规范的数据共享访问共享数据是一个公共的资源，可以供多个业务系统同时使用。对公共数据的访问必须经过用户的验证授权访问。此外，还需要从数据中心运作的流程、规程制度等方面确保共享数据不被用于非法途径。1.2.1.1.1安全可靠性由于各个业务部门间交换的数据文件含许多敏感信息，所以对数据交换过程中的安全要求就十分严格。XMA整合协同平台必须提供安全机制保证数据交换信息的完整性、数据交换信息的机密性。XMA整合协同平台必须能有效的与安全认证平台结合。通过安全认证平台和XMA整合协同平台，能够保护交换信息内容免遭拦截或非法修改。实用文档标准文案1.2.1.1.2高可用性随着项目工程的推进，需要数据交换的部门会越来越多，XMA整合协同平台需要对负载平衡的支持，在分布式的体系结构上可以添加主机的方式提高整体计算能力，进行面向服务的适应性负载平衡。1.2.1.1.3可维护性XMA整合协同平台具有日志监控功能，通过数据服务日志可以记录、跟踪数据交换的细节。日志可以用于对系统的运行状态进行监控，亦可以用于对系统的运行情况进行审计、故障处理、系统开发调试、交易跟踪。对数据服务进行监控管理，用户权限管理，运行日志查看，性能统计。1.3信息共享功能1.3.1.1.1数据汇总支持各个分支数据源汇总数据到数据中心。采集公共数据的过程可以看成是一个数据汇总的过程，通过XMA整合协同平台将各业务部门的公共数据采集回来，汇集到数据中心的缓存数据库。经过数据管理系统的比对、校验、转换得到一致的数据。1.3.1.1.2数据分发数据分发是从数据中心的角度，主动向各数据使用方提供数据的过程。通过公开数据服务，依照数据使用权限的规则，从数据中心把数据分发到各个数据使用部门，实现数据共享、信息联动。1.3.1.1.3数据存取访问XMA整合协同平台提供实时按需的数据存取访问服务，通过统一标准的数据接口，以XML作为标准数据格式，通过标准的Web服务对各种技术平台提供访问支持。实用文档标准文案1.3.1.1.4数据转换数据交换服务可以把某个数据库的数据转换成标准XML数据集。通过数据转换模块，实现对各种异构数据转换到统一标准规范、具有一致性和完整性的公共数据。1.3.1.1.5任务定制数据接口系统应该允许用户自己配置和管理相关的服务，如：数据提取服务、数据发送服务、数据接收服务、数据存储服务等。1.3.1.1.6支持用户自定义接口数据接口系统应该是一个开放的系统，要提供一些可扩充的接口以及二次开发接口，支持用户基于这些接口来定义自己的特色服务。1.3.1.1.7支持监控管理对数据服务进行监控管理，用户权限管理，运行日志查看，性能统计。通过数据服务日志可以记录、跟踪数据交换的细节。对数据交换节点进行管理，提供安全策略指南、服务器安全管理配置。1.3.1.2信息交换方式XMA整合协同平台可以支持不同方式的机构和系统间的数据交换与协同，主要包括：基于WebServices服务的方式用于外部机构与中心平台间的实时交换；基于数据库接口的方式用于内部系统间实时或非实时交换；基于文件交换的方式用于外部或内部系统间非实时批量交换。实用文档标准文案1.4基于WebServices服务的方式基于WebServices服务的数据交换方式主要用于外部机构部门与数据中心间实时的数据交换和业务协同应用。基于WebServices技术的应用集成通过主流的WebServices协议如SOAP、XMLRPC等协议的无缝集成，支持这些应用系统的接口，提供基于WebServices的应用系统整合适配器，并提供快速整合WebServices应用的工具和接口API。数据提供方定义公开数据服务，以服务的形式封装数据交换的内容和协议。数据使用方调用数据提供方的公开数据服务以获取所需的数据，并且按照一定的数据转换和数据更新规则，把数据更新到本地数据源。通过本地数据服务和公开数据服务的交互实现数据提供方和数据使用方之间的数据交换。1.4.1.1.1基于数据库接口的方式基于数据库接口交换的方式主要用于内部系统间的实时或非实时数据交换方式。交换的双方通过定义发送和接收任务来进行数据库接口的交换。根据交换的数据格式的不同，这种数据交换方式又可以细分为两种类型：一种是数据落地的数据共享，一种是数据不落地的数据交换。基于标准XML元数据和数据字典的数据交换由XMA整合协同平台自动从前置机交换数据库中提取数据，并按照定义好的模板打包生成标准的XML数据包，由定制好的发送路由发送给接收方。接收方接收到XML数据包后自动进行解包处理，并将数据存储到接收方的前置机交换数据库中。1.4.1.1.2基于文件交换的方式基于文件交换的方式主要用于外部或内部的非实时批量数据交换方式。交换的双方通过定义发送和接收任务来进行数据文件的交换。根据交换的数据文件的不同，这种数据交换方式又可以细分为两种类型：一种是基于标准XML文件的数据交换，一种是基于其他文件格式的数据交换。实用文档标准文案基于标准XML文件的数据交换由XMA整合协同平台自动从前置机交换数据库中提取数据，并按照定义好的模板打包生成标准的XML文件，由定制好的发送任务发送给接收方。接收方接收到XML文件后自动进行解包处理，并将数据存储到接收方的前置机交换数据库中。基于其他文件格式的数据交换由业务系统将需要交换的数据文件放置到前置机上的规定路径下，通过XMA整合协同平台发送到目的地交由接收部门自行处理。实用文档标准文案第二章平台接口设计制定的接口规范内容为整合协同平台和各接入部门之间，系统互联所涉及的数据交换接口。系统之间的信息传输和交换通过计算机系统互联网络来完成。2.1数据接口“信息平台”与接入部门信息系统之间通信的通用接口模型如图所示。运输层以下层次的通信协议选用合适的标准协议，运输层和网络层建议选用统一的TCP/IP协议，便于各节点之间组网传输，数据链路层和物理层可根据实际通信条件情况灵活选用，如ADSL、E1。“中心平台”与接入部门之间通信的通用接口模型在整合协同平台，按照对信息的各种需求，维护一个用于数据共享的标准数据注册中心，采用标准化数据的方式向各接入系统及各应用系统提供共享的信息；各接入系统在整合协同平台处对应维护一张数据字典，用于完成非标数据和标准数据的翻译，从而向共享的标准数据库提供标准化的数据信息；对于单一功能领实用文档标准文案域的特殊数据信息，系统提供在各子系统之间直接进行交换的途径，满足特定功能的应用需求；系统需要有一个专门的维护和管理机构，分别对系统的数据字典、标准共享数据库进行增添、更新等维护管理，以满足新的接入系统接入和系统发展的需求。2.1.1.1.1数据传输在数据传输中，由于系统数据的异构特性，在数据发送接口和接收接口需要对数据格式按照数据字典的要求进行转换，统一于标准的数据格式满足应用的要求。2.1.1.1.2接口扩展数据接口的分层次、模块化、规范化设计，将有利于系统的扩展性，对扩展性设计主要体现在以下几个方面：应用层协议的分层设计，各层功能明确，层之间可通过规范化的接口进行调用和传递信息。各层功能可独立实现，灵活性好，比如可通过购置商品化软件来实现通信子层；某一层协议的功能扩展或变化时，将不影响另一层协议的功能。采用数据登记标准的、基于XML格式的数据接口方案设计，灵活性比较好，系统扩展方便，适合接入系统的增加或接入信息内容的扩展，有利于满足新的系统接入和系统发展的需求。数据传输协议基于一些主流的、成熟的数据传输协议，能很好适应系统扩展的需求。2.1.1.2资源目录管理数据中心通过XMA整合协同平台以数据服务的方式从各业务部门采集数据，保存到公共数据缓存库，然后使用公共数据管理维护系统进行数据比对、冲突检查、数据审核、数据转换。当数据达到一致性、完整性要求时，数据被发布到公共数据发布库，通过XMA整合协同平台以数据服务的形式提供数据使用方访问。实用文档标准文案该系统不仅要能够满足基于现状条件下对信息资源的整合利用和规范管理，还要适应未来对信息资源的深度开发和多媒体信息资源库扩展的要求。2.1.1.2.1资源目录管理的结构数据管理系统以主题的方式组织数据资源，提供元数据管理、数据供需关系管理、数据标准规范管理，与XMA整合协同平台结合，提供数据转换、整理、