数据交换平台解决方案

数据交换平台解决方案基于XML的数据交换平台设计数据交换平台核心功能•市面上的数据交换产品其功能很丰富，也很全，但就其核心功能而言不外乎是针对数据的四个加工过程：采集、转换、传输及最后加载数据。采集传输转换传输加载数据交换平台核心功能•数据采集。数据交换的第一步，要进行数据的交换，首先要获取被交换的数据，否则交换就无从谈起。•数据转换。参与数据交换双方在数据结构的定义及其所代表的业务意义是会有差异的，必要时须进行数据转换，也即是将一方所提供的数据转换成另一方所能识别的数据。•数据加载。这是数据交换工作过程的最后一个环节，对于数据的需求方是需要加载利用这些被交换的数据的，可能会将其保存在自己的数据源中，也有可能只是在自己的业务运算中使用。数据交换平台核心功能•数据传输。由于数据交换平台的布署运行有可能是分布式，也即是数据获取、转换、加载可能分别在不同的机器上。•数据安全。数据交换的实现在底层网络实现上需要利用现有的Internet网络设施，数据将会在公开的网络上传输，这就涉及到一个数据的安全性的问题了。平台必须确保数据的保密性，真实性、来源合法性。功能分析•数据采集–应用场景•由交换平台直接从业务系统的数据源中获取数据，在业务系统无法为交换平台提供数据服务的情况下只能采取这种办法。–数据源类型是什么–数据格式是怎样的•业务系统可以提供服务或协议来采集数据。–业务系统可以按交换平台/数据需方的标准提供数据。–业务系统只按自身标准提供数据。功能分析–实现制•对于数据的采集应根据实际情况进行定制开发，以统一的适配器接口的形式实现。在经过充分积累后形成一个适应数据交换的适配器框架。•如果业务系统提供服务接口则适配器将调用服务接口以采集数据。•如果业务系统能主动向数据交换平台传输数据，适配器将提供数据接收服务以获取数据。•如果业务系统不提供任务服务接口，则需要分析其数据所代表的业务意义，适配器将直接从业务系统的数据源中采集所需要的数据。•对于适配器所采集获取的数据将统一转换成XML供交换平台使用。•对于数据标准的解决将由数据转换部分解决。功能分析•数据转换–应用场景•数据结构差异转换。例如有两个单位的OA系统A和B，各自都对公文进行了数据结构的定义，对于公文中文件标题这个属性在A中表示为“title”，在B中表示为“biaoti”，这们两者间就在公文的数据结构定义中存在差异了，交换平台必须提供这种数据结构的转换。•业务意义上的转换。如A公文中对密级的业务值以“0”表示机密，“1”代表秘密，而在B公文中密级中的机密是以“JM”来表示，秘密是以“MM”来表示，这样交换平台必须提供这种业务级换算转换，例如前面提到的将“0”转换成“JM”，将“1”转换成“MM”。功能分析–实现机制•支持数据结构差异转换。项目统一将各类数据转换成XML，通过XSLT引擎进行转换，支持任意XML数据结构。•通过业务转换插件框架支持扩展业务意义转换。功能分析•数据加载–应用场景•交换平台直接操作业务系统数据源加载数据。•业务统提供服务或协议加载数据。–业务系统可以加载交换平台/数据提供方标准的数据。–业务系统只能加载自己标准的数据。功能分析–实现机制•数据加载的实现与数据采集类似，也是以数据适配器的形式实现，根据实际情况定制开发。•如果业务系统提供数据加载的服务或协议，适配器将使用此服务或协议加载数据。•如果业务系统未提供数据加载服务，则适配器将直接把数据加载至业务系统数据源。•如果业务系统所提供的服务不能接受XML数据，则适配器需要将XML数据解析成其所需要的数据类型。•数据标准的问题由数据转换来解决。功能分析•数据传输–应用场景•数据交换平台中的数据采集、转换、加载三大功能部分可能会采用分布式布署。–实现机制•平台内部间的数据传输采用消息机制。功能分析•数据安全–经过公开网络传输的数据需要对其进行安全认证。–对于接入平台的适配器进行安全保障。•实现机制–采用PKI实现方案设计•中心式方案–适配器只负责抽取和加载数据，抽取的数据由适配器发往交换中心，中心经过加工后分发至所需要加载适配器。–数据的加工如：验证、过滤、转换、分发等由交换中心负责。–形成以交换中心为核心的星形结构。•分散式方案–数据交换的工作由各个适配器来完成。–形成点对点的网状结构。中心式平台结构中心式平台架构•数据适配器–负责从数据源采集或加载数据至数据源–将采集的数据解析成XML–将XML解析成其他格式数据–传输数据至交换引擎–接收来自交换引擎的数据中心式平台结构•交换中心–接收来自适配器的数据–根据转换配置对数据进行转换–根所消息路由设置将数据传输至相应的数据适配器–提供目录资源服务–管理配置–数字证书管理中心式平台架构•适配器与交换中心形成星形结构•结构复杂。•交换中心承担大量的工作，对系统性能有效大的影响。•系统管理维护相对集中。分散式方案分散式方案•由数据交换适配器形成的点对点网状结构。•数据交换中的抽取、转换、传输、加载等功能都是由适配器来完成。•系统结构简单，能充分发挥各个适配器主机的效能。•系统管理、维护困难。可扩展性设计•原由–数据交换平台应用于系统集成，必须保持平台的开放性–平台不可能解决数据交换方面的所有问题，但平台必须提供可扩展、可定制的能力以适应业务变化的需要–平台通过扩展以容纳新业务，而不是通过修改来适应新业务。这样易于积累知识，从而将平台产品化–降低平台开发、维护、实施成本可扩展性设计•可能存在的扩展点–数据采集•应对不同业务数据的获取–数据加载•应对不同业务数据的持久–数据解析•支持不数据类型与XML间的转换–数据转换•支持不同业务数据间的意义转换可扩展性设计可扩展性设计•上图可以看作是平台的微内核•平台就是由数据适配器与交换引擎相互配合完成数据交换作业•平台在适配器提供数据采集、数据解析等扩展接口，在交换引擎中提供业务转换插件扩展接口。•根据不同的业务需要在上述扩展点上定制、更新业务组件资源利用•利用企业现有产品–整合企业现有消息中间件产品CIIMS，使其成为数据交换平台中数据传输的基础设施•利用开源产品–对开源企业应用集成系统BIE中的数据交换部分进行定制，使其适合数据交换平台中数据转换的需求工作计划•对数据交换平台按部件分步开发，没有必要全线展开，因为现在企业在这方面并没有实际的商业项目。