DSGRealSync技术白皮书-v3

DSGRealSync技术白皮书迪思杰（北京）数码技术有限公司目录1为什么需要数据复制......................................................................................................................31.1信息系统存在的问题及需求..................................................................................................31.1.1数据流通效率低下，企业信息孤岛现象严重.............................................................31.1.2数据报表、查询和数据共享效率低下.........................................................................31.2企业需要新的信息架构.........................................................................................................32DSGREALSYNC的技术概览......................................................................................................42.1采用数据库复制技术.............................................................................................................42.2DSGREALSYNC的优势概览..................................................................................................43REALSYNC工作原理概述...........................................................................................................54日志抓取（DATACAPTURE）...................................................................................................65日志分析（ANALYZE）...............................................................................................................76交易合成（SYNTHESIZE）........................................................................................................77交易传输..........................................................................................................................................88数据装载..........................................................................................................................................98.1用DXF数据格式的装载：..................................................................................................108.2ROWIDMAPPING实现快速定位............................................................................................109OPS/RAC的支持.........................................................................................................................1110数据完整性保证.......................................................................................................................1211数据初始化装载.......................................................................................................................1312选择性复制支持..........................................................................................错误!未定义书签。13支持的复制结构.......................................................................................................................1514产品规格...................................................................................................................................1515模块组成...................................................................................................................................1616典型的FAQ..............................................................................................................................171为什么需要数据复制1.1信息系统存在的问题及需求随着计算机应用系统的爆炸式发展，业务量迅速增加，业务种类日益复杂，企业必须管理不断增长的信息流量；随着信息量的急剧增大，核心数据的管理变得日益困难。如何安全、可靠地存储业务数据及满足未来业务数据高速增长的需要；如何有效管理日益增长的业务数据；如何实现业务数据的共享并在现有业务数据之上建立新兴的增值应用，如数据仓库、客户关系管理（CRM）等，成为了各企业建立信息系统的关键所在。目前，各企业信息系统在数据管理领域存在着普遍的问题：1.1.1数据流通效率低下，企业信息孤岛现象严重信息系统的建设主要是以应用为驱动的，是随着各种业务的逐渐建设的。当出现一类新的业务时，一般需要为该业务建设一套业务支撑系统，保存与该业务有关的主要数据。而这些数据可能同时也需要被其他应用所访问。从而自然就形成了各子系统应用在不同的纵向，管理着不同的业务单元或对象，各个子系统又是相互独立运行，导致形成了一个个“信息孤岛”。这些系统相互之间没有畅通的信息交流与共享，阻碍了企业信息化建设的整体进程。1.1.2数据报表、查询和数据共享效率低下为了提高市场竞争力，提高客户满意度，企业需要更复杂的、更灵活的业务统计报告、需要深入的数据挖掘、需要实时的客户查询。而这些大量的统计、查询业务收到现有系统架构的制约，不得不降低效率标准、不得不推迟报告时间、从而导致客户服务质量降低、业务发展情况报告迟缓，业务发展情况不明等问题。1.2企业需要新的信息架构因此，各企业比以往任何时候相比，管理和有效使用这些信息系统的能力高低都更能决定了长期生存和发展能力，因此比以往任何时候，企业都更关注于如下领域：提高系统运行效率，提高业务报表、提高客户服务质量，并降低客户流失率。加强企业信息流通、提高企业信息的附加值、进一步挖掘企业信息价值、迅速开发和推广新业务，创造更多收入并保持竞争能力。提高信息系统业务连续运行能力，提高数据安全保护水平。2DSGRealSync的技术概览2.1采用数据库复制技术与传统的数据复制技术不同，DSGRealSync技术是针对数据库提供了基于逻辑的交易复制方式。该方式通过直接捕获源数据库的交易，将数据库的改变逻辑复制到目标系统数据库中，实现源系统和目标系统数据的一致性。2.2DSGRealSync的优势概览该技术在复制上存在以下几个特点：（1）按需复制查询和统计系统往往不需要所有的原始数据，因此完全可以按需要复制数据。RealSync系统支持对指定信息的按需复制，减少存储和网络带宽的成本。（2）多种同步模式DSGRealSync支持的数据复制模式包括：a.实时复制：实时更新保证副本系统快速反映源系统的变化，提供账单查询、话单查询等的及时性。c.手工复制：支持操作员指定时间对指定表进行一次完全复制；（3）对生产系统的低干扰性DSG实时数据复制技术不需要通过任何数据库的引擎来获取变更数据，而是通过数据库自身的信息获取源系统上的改变并传送给目的系统，不会对生产系统造成性能影响。（4）系统异构，可提供更多的优化空间源数据库系统和目的数据库系统的可异构，主要包括索引规则和存储参数（如数据块大小、回滚段等）。因此可以在目标数据库上根据业务特点进行调整和优化，完全不受源系统的限制。（5）支持的多种复制策略RealSync可以被灵活配置，以支持各种复制策略，支持各种增值应用，如：1:1单向复制；一对多复制；多对一复制等。3RealSync工作原理概述如上图所示，RealSync在DataSource端和DataTarget端分别安装Agent进程，Source端的Agent进程对ORACLE日志进行监控，发现改变及时对目标数据库进行更新。当应用系统在DataSource端向数据库进行任何操作时时，这些信息都将在RedoLog中保存，RealSyncAgent通过对实时获取的Log日志进行分析，获得本次操作的交易指令和交易数据，然后将这些交易指令和交易数据经过格式转化生成DXF数据格式，并实时通过网络传送到DataTarget系统。DataTarget系统的RealSyncAgent接收数据库包，经过校验码检查，确认正确的数据库包后，调用Oracle函数按照交易的先后顺序在DataTarget系统中执行该交易。4日志抓取（DataCapture）RealSync对数据的抓取是通过安装在DataSource端的Agent模块定时分析OracleRedoLog来获取DataSource端的交易类型及数据的。RealSyncAgent在判断DataSource端的Oracle系统是否有新的交易产生时是通过定期检查OracleControlefile中记录的当前SCN号来判断的，这样避免每次检都通过读取log文件来判断否有新的交易产生时造成的系统影响。在Con