数据集中方案

TongTech®中国人民保险公司数据集中项目中间件建议方案东方通科技公司2002年1月中国人民保险公司数据集中中间件建议方案1一、前言人保财险公司经过多年的发展从保险的种类到业务量都有了很大的发展，目前已经有企业财产保险、家庭财产保险、责任保险、保证保险、车险等多个种类，业务量以每年10%的速度增长。应用模式也在悄悄不断地发生变化以适应业务上和管理上的需要，已由原来完全分布式的业务数据模式走向地市一级的分布式集中模式。最近由中科软与尚洋合作开发的“PICC财产险业务系统”采用地市集中的方式，软件开发采用面向对象的分析和设计思想，已经在多个地市进行了试点运行。在网络建设方面已经形成了省到地市、地市到县的FR/DDN网络格局。这些都为下一步的数据集中利用和业务的拓展打下了坚实的基础。数据集中是现在各行各业应用系统发展的一大趋势，金融、电信行业由于其发展的较早，经济和技术实力较强已经走到了前面。金融行业已有许多省份实现了省级的数据集中，移动总局也已经明确提出了省级数据集中的运营模式。在保险行业，由于过去一直采用数据分布的应用模式，如今采用地市级的数据集中应用模式是向更高层次集中的必要尝试和过渡。二、问题及需求分析本文对地市级以下的业务系统不做深入讨论，仅限于省级数据集中备份系统的相关问题。对于各个地市数据中心的数据在省级中心做增量数据集中，目前有两种方式：采用数据库厂商提供的数据库复制技术、用应用程序来实现。无论选用何种方式，在技术实现上应该满足以下基本业务要求：中国人民保险公司数据集中中间件建议方案21.能够满足不同操作系统平台间（不同数据库版本、甚至异构数据库）的数据复制能力。2.数据通讯过程中的正确性应该得到保障。3.对数据传输过程中可能遇到的网络问题、主机问题应该能够有很好的应对机制，能够可靠传输，做到不重、不丢。4.整个数据集中系统应该具有良好的通讯效率和处理效率，满足数据准实时集中同步的要求。要满足上述业务上的需求，采用常规的数据库复制方式和一般的应用方式是难以达到的。原因在于无论是数据库复制方式还是一般的应用方式其通讯处理方式过于简单，低层通讯的正确性、资源的有效利用和网络故障的处理应对、主机故障的处理应对等没有很好的机制来加以保障。所以就有可能出现乱码、网络抖动或拥塞时，数据集中业务过程无法有效进行等问题。目前，针对此类应用（非联机事务处理系统，强调可靠性、非关联性、实时性要求不高）特点，各行各业广泛采用消息中间件来实现。消息中间件是一种基础软件，在系统中的位置处在操作系统之上和应用之下，它可用来隔离应用系统对操作系统和网络的直接关联和依赖。东方通科技公司的消息中间件产品叫TongLINK/Q。TongLINK/Q负责网络资源的有效利用、消息数据传输、为应用屏蔽网络故障、通过内部的自动压缩/解压功能减少网络通讯量等。其典型使用是异步方式调用，此时地市数据发送方只要将数据交给本地的中间件TongLINK/Q，而TongLINK/Q负责将数据高效、可靠地传输到省中心并提交给相应的目标程序进行入库处理。三、数据集中方案省级数据集中方案是当市级公司数据库数据发生变化时，对其所在省的省级的数据库数据做相应同步的过程。要达到这一目的有两种方式：一是将市级公司数据库的操作与省级数据库的操作作为同一个事务进行处理，即操作同时成功或同时失败；二是将二者的操作分离，正常的业务处理与数据集中处理分别来做。对于前者，由于需要在地市和省级公司做同样的数据库操作，原来的业务处理量相当增加了一倍，并且如果市级公司出现问题（如：网络故障）将直中国人民保险公司数据集中中间件建议方案3接导致本地正常业务无法进行。所以建议采用第二种处理方式。由于此时对于数据集中备份过程而言，它是一个必须要完成的工作，而在时间上只求尽快、可靠完成，并无严格的时间限制，所以这里建议采用消息中间件产品TongLINK/Q来实现。另外，在应用层面，为了使集成商开发的应用系统相对独立，对数据集中备份过程建议采用一套独立的应用来完成。1.方案思路：在市级公司数据中心编写一个定时启动程序或守护进程，用来采集数据库的变化数据，一旦有数据它将以业务处理单元为单位将它投给TongLINK/Q的可靠队列中。在省级数据中心，编写对应服务程序，它在接收到数据后将在本地执行相应的数据库处理以达到数据同步。TongLINK/Q还可以保障服务处理的可靠，即如果服务程序在执行相应的数据库处理时意外失败，TongLINK/Q将记住这一问题，再次提请相关服务程序进行处理，直到成功。2.系统结构3.中间件部署图总部省级省级地市地市地市地市DDN/FRX.25/FRX.25/FR36个300多个中国人民保险公司数据集中中间件建议方案44.结构框架图说明：系统由地市客户程序、地市TongLINK/Q运行系统、省级TongLINK/QTongLINK/QTongLINK/Q应用应用地市省TCP/IP产品部署示意：系统系统应用部署：市定时程序TongLINK/Q……tlq_getmsg()…...省编写插库程序TongLINK/Q备份数据……tlq_putmsg()…...应用TongLINK/Q应用TongLINK/Q应用TongLINK/Q应用TongLINK/Q应用TongLINK/Q应用TongLINK/QDDN/FRX.25/FRX.25/FR中国人民保险公司数据集中中间件建议方案5系统和省级服务程序四部分组成。地市客户程序负责对地市需要上传集中的数据做识别和提取，并形成数据包或文件，然后通过TongLINK/Q的API接口作为一项任务消息提交给TongLINK/Q即完成。客户程序的启动运行可以外部触发（如：数据库trigger）执行，也可以交由TongLINK/Q作为定时程序按一定时间间隔进行调度；消息数据的传输以及相关效率、可靠等问题由TongLINK/Q解决；省级对应的服务程序可以由TongLINK/Q在有数据需要处理时进行调度，并将相关数据交给服务程序进行处理。在有多条消息数据到达时，也可以同时调度起多个服务进程同时进行多个消息数据的处理。5.消息中间件TongLINK/Q的作用提供异步处理接口。为了使数据备份复制过程不影响原来应用系统（相对独立、不直接双向依赖），采用异步通讯方式。提供可靠传输能力。依靠消息中间件TongLINK/Q的可靠队列传输功能，使地市增量备份数据可以尽快、可靠到达省数据中心主机。在传输期间消息中间件TongLINK/Q可以应对各种故障的发生，如通讯网络故障、主机宕机等情况，可以做到断点续传，使备份数据“一次传递、可靠到达”。可以提供备份过程数据库操作的事务性处理。即除了数据的传递是可靠的之外，在省级数据中心数据的数据库备份操作也是可靠的。在对备份数据进行数据库插入或修改操作时，如果操作失败（比如，当时数据库状态不对引起数据库操作失败），消息中间件TongLINK/Q将会保留这一信息和数据，重复执行相应处理过程，直到成功。维护和保持通讯通畅。TongLINK/Q对通讯通道具有自动维护功能，当网络出现抖动影响通讯时，TongLINK/Q可以自动监控和重建链路来保障通讯的快速恢复。保障通讯效率。TongLINK/Q通过以下手段来保障通讯效率：维护通讯畅通和自恢复；支持断点续传；根据网络带宽情况有不同传输策略来保障网络带宽的充分利用；支持自动压缩功能，减少通讯数据量。支持服务端程序的并发调度和控制。上传数据自动提交相应的处理程序进行处中国人民保险公司数据集中中间件建议方案6理，对多个地市同时上传的数据可以并发调度多个服务程序进行处理，提高处理效率。四、关于消息与交易中间件的一点说明消息中间件（MOM）和交易处理中间件（TPMonitor）是完全不同的两类中间件。尽管在功能上有部分的重合，但由于定位的不同，功能上具有相当的差距，适用的应用类型也不一样。消息中间件可以用来构筑一个组织的公共的信息交换平台，通过把消息中间件部署到用户的网络环境中，通过适当的配置，就形成了信息的交换与处理的管道与平台。平台上应用开发的接口和提供的通信与控制模式主要是面向传输的，非常丰富。以TongLINK/Q为例子，它支持文件的传输，文件与普通数据包的混合传输；在对传输的控制上，为了适应信息发送方应用的不同的需要，可以有很多种的控制方式。应用可以选择投递消息时控制返回有多快，可靠性要求有多高。应用可以选择把数据交给TongLINK/Q的接口就返回（方式一）、或者等数据交给TongLINK/Q核心后再返回（方式二），或者等TongLINK/Q开始发送信息后再返回（方式三），或者等接收方收到信息后再返回（方式四）。方式二、三、四都可以保证可靠的传输，但不同的方式给应用提供了不同的控制灵活性。如果接收方的机器没有运行，选择方式三就不能马上发送，发送方就会知道。选择方式四，如果线路和对方机器正常，发送方就可以马上知道，接收方已经开始接收信息了，一会对方就会收完。又比如，在广域网上，传输大信息量时，不能简单地用超时时间来控制传输的结束。比如，应用中设定超时时间是2分钟，有可能在某个繁忙的时段就不能将文件传输完，此时控制网络上此次传输多长时间没有传输的意义就很有限了。这很象我们在Internet上下载大文件时的情况。传输的画面不动了，我们很想知道传输是否还在进行。用户应该能够要求，如果此次传输发生有在2分钟的时段内都没有传输的情况，终止传输。以上只是简单地列举了消息中间件所具有的一般的功能。对于交易中间件，由中国人民保险公司数据集中中间件建议方案7于其定位于最适合于OLTP类的系统——象银行的柜面业务系统，电信的计费账务系统等等，其所适合的应用都具有如下的特点：集中的数据处理，所有处理的处理时间一般都很短，如登记您存的钱数，大量的并发但每次网上传输的数据量一般都很小如只有几十字节、几百字节，几千字节都算大的数据包了。无论是公安系统公共信息的传输、交通部门全国安全监督系统，还是国税的信息系统都不是OLTP类的，更适合消息中间件来处理。消息中间件再处理大信息量的传输和对传输的灵活控制等方面的优势远远超过了交易中间件的功能。以Tuxedo为例，文件不能直接传输，缺乏对（可靠）传输的灵活多样的控制，不方便配置一个多层次的逻辑网络系统…不能把它归到消息中间件的种类中。实际上，国际上在分类中间件时，也是把Tuxedo放到交易一类中去的。远一点的有1998年的IDG及Giga的报告；最近的有2001年的欧洲信息技术观察（EITO2001）的分类。有国内系统集成商使用BEA的Tuxedo在上海开发公安的信息传输平台，实际的效果不好。公安部在做全国的消息中间件选型时，经过慎重的评估，最终放弃了以Tuxedo来代替消息中间件的想法。BEA的Tuxedo的前身是DEC的Message/Q，在归属BEA后的开始一段时间，名字也叫Message/Q。Message/Q具有消息中间件的有限功能，且仅支持DEC的有限平台。BEA曾经停止推广Message/Q，后纳入Tuxedo体系，改名Tuxedo/Q。五、附：功能简表TongLINK/Q简表包括以下几个部分：体系结构方面：TongLINK/Q的路由管理协议、TongLINK/Q的网络结构安全管理方面：端-端的加密传输的支持应用管理方面：即程序管理事件支持：核心事件消息功能：消息的事务性支持/复合消息/堵塞概念/同步等等用户接口中国人民保险公司数据集中中间件建议方案8功能名称描述连接管理常连接动态连接连接管理管理(相邻)的TongLINK/Q节点之间的连接。（相邻的）两个TongLINK/Q节点之间的连接在两个TongLINK/Q系统都启动后建立，并且由TongLINK/Q系统维护和保持。常连接是连接的一般形式。（相邻的）两个TongLINK/Q节点之间的连接在TongLINK/Q核心需要传输时建立。网络结构树型拓扑网状拓扑网络结构指TongLINK/Q节点和节点之间的连接构成的网络拓扑结构。最基本、最常用的TongLINK/Q网络拓扑结构就是树形；构造