数据交换平台介绍

数据交换平台议程数据交换平台概述数据交换平台功能特点数据交换平台应用案例数据交换平台概述数据源的多样各类数据库、文件（文本、Excel、二进制）…数据格式的差异交换策略的多样主动、被动实时、分时同步、异步交换数据的安全、可靠网络、系统环境的复杂配置、管理的复杂数据交换过程中面临的问题采用中间件成熟的商用软件，应用软件的半成品不同的问题由不同的中间件解决实现平台化为数据整合提供统一的支撑服务提供统一的交换标准、接口和开发、运行、管理环境解决问题的最有效途径数据交换平台总体技术架构浏览器TongIntegratorTongLINK/QTongWebEJBEJBEJBJSPServletTongLINK/QTongIntegrator系统ATongLINK/QTongIntegrator系统BRDBLDAP用户界面层业务逻辑层数据层数据交换平台是打破信息孤岛、实现互联互通的基础框架提供各种应用系统之间的信息交换和共享服务消息中间件应用集成中间件数据交换服务数据共享服务数据同步组件支撑软件层应用基础平台层应用组件层数据查询组件数据传输组件数据交换平台的组成作用为集成各种应用系统提供一个开放式企业级应用集成框架功能支持不同地域的应用系统集成支持多种数据格式及不同格式之间的转换提供强大的数据加工能力提供标准的系统集成适配器增强的对XML支持提供方便易用的配置工具使用Java代码实现，良好的平台移植性应用集成中间件TongIntegratorTongIntegratorA系统的接口，A系统的数据格式Y系统的接口，Y系统的数据格式业务流程系统A系统B数据库系统X数据库系统Y提供企业应用集成的框架实现应用之间功能集成实现应用之间数据集成TongIntegrator应用框架作用为分布式应用提供消息递送服务的消息传输平台功能提供可靠、高效、安全的数据传输服务提供P2P、Pub/Sub通讯模式实时网络监控及管理多网络环境、多应用模式支持支持与Web技术集成消息中间件TongLINK/Q共享内存系统A应用队列TongLINK/Q核心日志共享内存日志数据通道可靠队列可靠队列TongLINK/Q核心应用A1应用A2应用队列应用接口监管系统系统B应用B1应用B2应用接口监管系统TongLINK/Q应用框架集中式消息中间件应用集成中间件数据交换中心消息中间件数据交换节点消息中间件数据交换节点消息中间件数据交换节点…集中数据处理，统一管理和维护中心处理压力大，前端维护管理工作量小数据交换平台的部署（一）分布式消息中间件数据交换节点应用集成中间件消息中间件数据交换节点应用集成中间件消息中间件数据交换节点应用集成中间件消息中间件应用集成中间件数据交换中心…分布数据处理，统一数据格式中心处理压力小，前端维护管理工作量大数据交换平台的部署（二）数据交换平台功能特点数据抽取数据传输数据加工数据交换流程定义数据交换策略异常处理配置和管理应用和数据交换平台的关系功能概述文件数据库应用应用数据对象（XML）数据交换平台内部数据格式Oracle、Sybase、SQLServer、MySQL、OpenBase等文本、XML、Excel、二进制等J2EE、TLQ、MQ、Socket等数据抽取基于队列机制保证数据可靠传输队列TongLINK/Q消息tlqd队列TongLINK/QAPAPtlqd传送成功，消息才从队列中移走一次且只有一次传输数据传输（一）支持数据传输的优先级TongLINK/QPriority=AP数据传输（二）低,中,高优先级高优先级消息传输速度高于低优先级的消息同一优先级的消息顺序发送TLQ保证低优先级消息可以得到发送高的数据传输效率Connection2发送缓冲区Connection1发送缓冲区tlqdConnection2Connection1……发送窗口大小可调、数据块大小可调cluster集群网关AGate1BCDRcvQRcvQRcvQ发送方接收方数据传输（三）传输数据的安全性节点合法性检查下级节点表中的合法节点口令字认证传输加密第三方安全出口与TongSEC结合节点信息表OK数据传输（四）格式转换内容转换XMXBGZDHINTFLOATSTRINGSTRINGNAMEPAYSEXPHONEINTINTINTSTRINGXMXBGZDH111111111234.56M张三NAMEPAYSEXPHONE1111111111234张三数据加工（一）过滤添加XMXBGZDH111111111234.56M张三XMGZDH111111111234.56张三XB=‘M’XMXBGZDH111111111234.56M张三XBGZDH111111111234.56MGSTONGTECHXM张三GS=‘TONGTECH’数据加工（二）顺序数据交换流程定义（一）数据分发数据分离数据对象A数据对象C数据对象B数据交换流程定义（二）数据合并数据对象B数据对象D数据对象C数据对象A数据交换流程定义（三）数据路由数据对象A数据对象A数据对象数据对象数据交换流程定义（四）实时、定时数据交换平台数据交换平台APAP数据交换策略主动典型应用——B2B集成输入组件被动接收应用数据对象发送输入组件被动接收数据对象输出组件应用发送应用接收应用和数据交换平台的关系（一）被动典型应用——数据库复制输入组件主动拉取应用数据对象DB1输入组件主动拉取数据对象DB2输出组件应用和数据交换平台的关系（二）数据对象B数据对象A数据对象B数据对象B数据对象B异常处理器异常处理统一配置配置和管理（一）参数化配置配置和管理（二）图形化数据库配置工具配置和管理（三）远程监控配置和管理（四）远程监控配置和管理（五）日志系统调试日志记录运行期间的调试信息分级输出，更易维护可定义输出时间，线程，java包等相关信息数据日志可定义共同使用一个日志文件或每一个组件链使用自己的日志文件循环日志，文件长度最大值和文件数最大值可定义各组件可以单独定义是否记录数据日志配置和管理（六）企业级的应用集成平台统一的数据、应用集成框架、强大的适配功能安全、高效、可靠的数据传输体系有效的数据转换提供丰富的数据转换组件XML等标准的支持用户可定义的数据格式良好的平台兼容性支持硬件、OS、数据库、中间件产品自有版权扎根国内应用需求、充分满足应用整合需要数据交换平台的特点集中式的数据共享模式设计思路的选择1消息服务/流程/应用安全/综合服务LAN专线接入专线接入CallCenterIntranetWeb服务InternetInternetWeb服务数据交换网关…核心业务数据库统计分析数据库ODS元数据库/资源数据库/规则库社会用户集团用户其他部门内部用户数据仓库移动网网站数据交换网关或Web服务客户层表示层商业逻辑层数据服务层办公自动化系统信息发布系统计算机监控系统核心业务系统内部管理数据库分布式的数据共享模式设计思路的选择2门户系统数据交换网关/SOAP数据交换网关/SOAP应用适配器SQLSQLDBMSDBMS信息发布系统数据库适配器SQLSQLDBMSDBMS计算机监控系统其他系统B/S系统数据交换平台（数据流引擎、XML表单处理）应用适配器SQLSQLDBMSDBMS核心业务系统HTTP网关XMLXMLXMLXML专线接入专线接入Internet社会用户集团用户政府部门内部用户移动网网站数据交换网关或Web服务客户层表示层内部用户内部用户内部用户业务逻辑层数据服务层设计思路的选择3集中式的数据共享模式分布式的数据交换模式较适用于业务活动相对集中且联系相对紧密的工作环境较适用于业务活动相对分散且相互联系相对松散的工作环境适用于业务量较大的、相对繁忙的、大范围的在线事务处理（OLTP）业务适用于业务量相对较小的非在线事务处理业务，或者说是在小范围内的OLTP业务由于大量的数据需要在网上实时传输，因此对网络条件的要求相对较高由于数据实时处理要求不强，因此对网络条件的要求相对较低由于是数据集中存储和集中处理，因此对主机、存储等基础设施的性能要求高由于采用分布式存储和处理，因此对主机、存储等基础设施的性能要求较高由于在网络、主机和存储各个层次上要求较高，因此系统在技术上复杂由于在网络、主机和存储各个层次上要求较低，因此系统在技术上相对复杂便于统一管理和维护系统和数据需要分散维护和管理需要在大范围内采用统一的用户管理和权限管理机制来实现应用安全控制只需要在小范围内进行用户权限控制，相对地应用安全的要求较低系统投资较高，系统建设周期、开发周期较长系统投资较低，系统建设周期、开发周期较短与原有异构的遗留系统的整合十分复杂与原有异构的遗留系统的整合相对简单设计思路的选择4采用面向数据交换服务的体系架构业务系统和数据采用分散部署和维护、管理，降低了工作难度和风险；只需要在小范围内进行用户权限控制，相对地对应用安全的要求降低；由于采用分布式存储和处理，因此对主机、存储等基础设施的要求相对较低；由于在网络、主机和存储各个层次上要求较低，因此系统在技术上相对简单，减低了实施风险；系统的投资较低，系统建设周期、开发周期较短；与原有异构的遗留系统的整合相对简单，可更好地保护已有系统投资。数据交换平台应用案例项目概况由农业部信息中心牵头建设涉及全国31个省、直辖市15个试点省建设周期为3个月目标全国农业系统共同需要的信息资源，将通过“全国农业网站资源库”实现联合收集，同步共享；重要的农业新闻将以“全国信息联播”实现统一发布，连锁宣传。农业部“全国农业网站信息资源库”和“全国信息联播”频道（1）省级网站省级网站省级网站数据共享交换平台中农网采编发平台（WCM）信息资源库信息联播用户Internet农业部“全国农业网站信息资源库”和“全国信息联播”频道（2）消息中间件+应用集成中间件消息中间件+应用集成中间件数据共享交换平台解包、分析组件Zip文件打包适组件调用webservice入采编系统组件文件目录监控组件文件目录监控组件中农网采编发平台（WCM）数据库数据库组件数据加工组件发送文件到省文件加工组件省级中农网采编发平台调用webservice入采编系统组件数据解析入库组件标准表(out)标准表(in)数据库组件省应用系统文件目录监控组件发送目录数据库数据库组件广东、上海除广东、上海外农业部“全国农业网站信息资源库”和“全国信息联播”频道（3）项目概况由成都市工商局牵头建设涉及成都市18个委办局建设周期只有2个月时间目标建立全市统一的企业信用数据中心，准确收集、反映、分析、评价、公示和使用企业信用资源，实现社会诚信体系工程成都工商局企业信用管理系统（1）成都工商局企业信用管理系统（2）信息发布组件信用数据资源管理中心前置DB前置DB数据采集组件前置DB应用集成中间件消息中间件数据转换组件路由组件应用服务器数据交换平台前置DB历史DB中心DB应用集成中间件应用集成中间件应用集成中间件消息中间件消息中间件消息中间件工商原有系统技监原有系统国税原有系统业务DB业务DB业务DB成都工商局企业信用管理系统（3）福建省电力局DXP数据交换平台（1）项目概况建立福建省电力局数据中心和6个部门应用系统之间的公共数据交换平台，为应用系统提供统一的接入接口和数据加工模块，实现跨系统数据实时、定时交换。项目实施周期及人员配置1名项目实施经理、4名项目实施工程师3个半月完成2个部门和数据中心的实施上线福建省电力局DXP数据交换平台（2）集成环境数据中心Windows2000WebSphere5.0、MQ5.3Oracle9i部门环境Windows2000/XPMQ5.3Oracle9i/8.1/SQLServer其他业务系统福建省电力局DXP数据交换平台（3）系统拓扑图DXP-PipeDXP-Adapter数据中心DXP-PipeDXP-Adapter计划DXP-PipeDXP-Adapter生产DXP-PipeDXP-Adapter营销DXP-PipeDXP-Adapter财务DXP-PipeDXP-Adapter物流DXP-PipeDXP-Adapter人资DXP-S