Oracle GoldenGate学习笔记(简体、繁体)

1OracleGoldenGate测试文档．OracleGoldenGate介绍GoldenGateTDM（交易资料管理）软体是一种基于日志的结构化资料複製软体，它通过解析源资料库在线日志或归档日志获得资料的增删改变化，再将这些变化应用到目标资料库，实现源资料库与目标资料库同步、双活。GoldenGateTDM软体可以在异构的IT基础结构（包括几乎所有常用作业系统平台和资料库平台）之间实现大量资料亚秒一级的即时複製，其複製过程简图如下：如上图所示，GoldenGateTDM的资料複製过程如下：�利用捕捉进程(CaptureProcess)在源系统端读取OnlineRedoLog或ArchiveLog，然后进行解析，只提取其中资料的变化如增、删、改操作，并将相关资讯转换爲GoldenGateTDM自定义的中间格式存放在伫列文件中。再利用传送进程将伫列文件通过TCP/IP传送到目标系统。捕捉进程在每次读完log中的资料变化并在资料传送到目标系统后，会写检查点，记录当前完成捕捉的log位置，检查点的存在可以使捕捉进程在中止并恢复后可从检查点位置继续複製；�目标系统接受资料变化并缓存到GoldenGateTDM伫列当中，伫列爲一系列临时存储资料变化的文件，等待投递进程读取资料；�GoldenGateTDM投递进程从伫列中读取资料变化并创建对应的SQL语句，通过资料库的本地介面执行，提交到资料库成功后更新自己的检查点，记录已经完成複製的位置，资料的複製过程最终完成。由此可见，GoldenGateTDM是一种基于软体的资料複製方式，它从资料库的日志解析资料的变化（资料量只有日志的四分之一左右）。GoldenGateTDM将资料变化转化爲自己的格式，直接通过TCP/IP网路传输，无需依赖于资料库自身的传递方式，而且可以通过高达9:1的压缩率对资料进行压缩，可以大大降低带宽需求。在目标端，GoldenGateTDM可以通过3交易重组，分批载入等技术手段大大加快资料投递的速度和效率，降低目标系统的资源佔用，可以在亚秒级实现大量资料的複製，并且目标端资料库是活动的GoldenGateTDM提供了灵活的应用方桉，基于其先进、灵活的技术架构可以根据用户需求组成各种拓扑结构，如图所示：GoldenGateTDM可以提供可靠的资料複製，主要体现在下面三点：保证事务一致性GoldenGateTDM在灾备资料库应用複製资料库交易的顺序与在生産中心资料库上的顺序相同，并且按照相同的事务环境提交，确保在目标系统上资料的完整性和读一致性，爲即时查询和事务处理创造了条件。检查点机制保障资料无丢失GoldenGateTDM的抽取和複製进程使用检查点机制记录完成複製的位置。对于抽取进程，其检查点记录当前已经抽取日志的位置和写伫列文件的位置；对于投递进程，其检查点记录当前读取伫列文件的位置。检查点机制可以保证在系统、网路或GoldenGateTDM进程故障重啓后资料无丢失。可靠的资料传输机制GoldenGateTDM用应答机制传输交易资料，只有在得到确认消息后才认爲资料传输完成，否则将自动重新传输资料，从而保证了抽取出的所有资料都能发送到备份端。资料传输过程中支援128位加密和资料压缩功能。Oracle公司的GoldenGate産品，可以在异构的IT基础结构之间实现大量资料的秒一级的资料捕捉、转换和投递。GoldenGate可以支援几乎所有常用作业系统如和资料库平台，如下表所示：4作业系统资料库MSNT,2000,XP,Linux,SunSolaris,HP-UX,IBMAIX,HPNonStop,TRU64,IBMz/OS，OS/390Oracle,DB2,MSSQLServer,MySQL,Enscribe,SQL/MP,SQL/MX,Sybase,Teradata,其他ODBC相容资料库52．OracleGoldenGateForOracle(windows平台)安装GoldenGate的安装非常简单，将解压缩安装文件到指定目录。比如安装文件解压缩后的路径爲d:\ggs安装步骤如下:1.进入命令行2.切换到ggs目录下3.输入命令installaddserviceaddevents4.输入ggsci进入GoldenGate的命令行5.输入createsubdirsOK，GoldenGate安装就已经完成了。实际操作如下C:\DocumentsandSettings\PONYd:D:\cdggsD:\ggsinstalladdserviceaddeventsOracleGoldenGatemessagesinstalledsuccessfully.Service'GGSMGR'created.Installprogramterminatednormally.D:\ggsggsciOracleGoldenGateCommandInterpreterforOracleVersion10.4.0.19Build002Windows(optimized),Oracle10onSep18200915:54:55Copyright(C)1995,2009,Oracleand/oritsaffiliates.Allrightsreserved.GGSCI(PONY)1createsubdirsCreatingsubdirectoriesundercurrentdirectoryD:\ggsParameterfilesD:\ggs\dirprm:createdReportfilesD:\ggs\dirrpt:createdCheckpointfilesD:\ggs\dirchk:created6ProcessstatusfilesD:\ggs\dirpcs:createdSQLscriptfilesD:\ggs\dirsql:createdDatabasedefinitionsfilesD:\ggs\dirdef:createdExtractdatafilesD:\ggs\dirdat:createdTemporaryfilesD:\ggs\dirtmp:createdVeridatafilesD:\ggs\dirver:createdVeridataLockfilesD:\ggs\dirver\lock:createdVeridataOut-Of-SyncfilesD:\ggs\dirver\oos:createdVeridataOut-Of-SyncXMLfilesD:\ggs\dirver\oosxml:createdVeridataParameterfilesD:\ggs\dirver\params:createdVeridataReportfilesD:\ggs\dirver\report:createdVeridataStatusfilesD:\ggs\dirver\status:createdVeridataTracefilesD:\ggs\dirver\trace:createdStdoutfilesD:\ggs\dirout:created73．资料库複製实施文档（DML）3.1准备工作◆准备两台机器，分别爲SourceDB,TargetDB，通过TCP/IP网路进行互连SourceDB：WINXP环境，Oracle10g10.2.0.1.0TargetDB：WIN2003环境Oracle10g10.2.0.1.0◆必须保证SourceDB是运行在归档模式下。◆目的：将SourceDB中相关Schema中的资料同步複製到TargetDB相对应的Sechema中本文中要同步的是SouceDB中的SAJET,SJ,SMT,LANG到Target中的SAJET,SJ,SMT,LANG用户下◆首先要保持SourceD,TargetDB相关Schema中的初始资料一致，可以通过Exp/Imp,Rman,冷备等方式实现.◆双方DB建立GoldenGate用户，赋予DBA许可权，用于GoldenGate连接DB.◆双方DB安装GoldenGate，安装方式如第二章节所示◆SourceDB必须开始最小附加日志模式通过以下语句查看DB是否开啓了最小附加日志模式SQLselectSUPPLEMENTAL_LOG_DATA_MINfromv$database;SUPPLEME--------YES如果没有开啓资料库的最小附加日志，则通过以下语句开啓SQLalterdatabaseaddsupplementallogdata;◆开啓表的最小附加日志，通过GoldenGate命令行来添加GGSCI(PONY)1dbloginuseridsajetpasswordtechSuccessfullyloggedintodatabase.GGSCI(PONY)2addtrandatasajet.*第一条命令表示登录到Database第二条命令表示添加Sajet用户下所有表的最小附加日志同样的命令开啓SJ,LANG,SMT用户下的表的最小附加日志。3.2配置GoldenGate3.2.1配置SourceDB的GoldenGateSourceDB端需要配置mgr进程，添加一个extract进程，和一个远端伫列。1.配置mgr参数GGSCI(PONY)2editparammgr此时系统自动会新建一个名爲mgr的参数文件，填入以下内容后保存PORT7809--mgr进程使用的TCP/IP埠侦听请求2.新增一个抽取进程，在GGSCI命令行中输入如下命令：GGSCI(PONY)1addextractext1,tranlog,beginnowEXTRACTadded.8---新增一个抽取进程，负责抓取SourceDB中变化的资料，基于日志方式，立即生效3.配置抽取进程GGSCI(PONY)2editparamext1此时系统会自动新建一个名爲ext1的参数文件，填入以下内容后保存extractext1useridgoldengate,passwordgoldengatermthost172.17.17.61,mgrport7809rmttraild:\ggs\dirdat\r1dynamicresolutiongettruncatestablesajet.*;tablesj.*;tablesmt.*;tablelang.*;--抽取进程名爲ext2连接本机DB的账号和密码远端主机地址以及服务埠号（TargetDB）远端伫列的位置(TargetDB)优化参数，动态分析表结构是否抓取Truncate的资料需要抽取哪些table。4.新增远端伫列位置GGSCI(PONY)3addrmttraild:\ggs\dirdat\r1extractext2RMTTRAILadded.--新增一个远端伫列，位置爲在TargetDB的d:\ggs\dirdat\r1，是抽取进程ext1抽取的资料伫列，注意和抽取进程中配置的rmttraild:\ggs\dirdat\r1一致。开啓所有进程GGSCI(PONY)11startmgrStartingManagerasservice('GGSMGR')...Servicestarted.GGSCI(PONY)14startext1SendingSTARTrequesttoMANAGER('GGSMGR')...9EXTRACTEXT1starting查看进程的运行情况GGSCI(PONY)185infoallProgramStatusGroupLagTimeSinceChkptMANAGERRUNNINGEXTRACTRUNNINGEXT100:00:0000:00:06OK，Mgr进程和EXT进程都已经正常运行SouceDB端的配置完成。3.2.2配置TargetDB的GoldenGate1.配置mgr参数GGSCI(PONY)2editparammgr此时系统自动会新建一个mgr的