Goldengate环境搭建以及数据初始化（PDF50页）

Goldengate从入门到精通讲师顾铁军DATAGURU专业数据分析社区Goldengate从入门到精通第2课Goldengate环境搭建以及数据初始化Goldengate从入门到精通讲师顾铁军DATAGURU专业数据分析社区AgendaGoldengate在RAC环境下的配置Oracle附加日志GoldengateCSN数据初始化-initialLoadOracle到Oracle的在线数据初始化–使用EXP和IMP、RMANGoldengate从入门到精通讲师顾铁军DATAGURU专业数据分析社区RAC环境下配置Goldengate需要注意的问题部署前需确认：日志文件是否存储在ASM中？OGG是否能够读取所有节点的归档日志？OGG的安装位置RAC下的OGG高可用Goldengate从入门到精通讲师顾铁军DATAGURU专业数据分析社区RAC环境下配置Goldengate–日志文件在ASM中如果日志文件是在ASM中存储的，extract进程需连接ASM实例ASM实例的连接方式传统方法：extract以网络客户端身份通过Net8连接到ASM实例，需配置ASM的TNS、ASM用户名和密码Net8方式连接–传统的网络连接方式BEQ方式连接-Bequeath本地连接，类似IPC机制。通过新的ASMAPI访问：DBLOGREADER连接–数据库版本要求10205、11202及以上版本Goldengate从入门到精通讲师顾铁军DATAGURU专业数据分析社区RAC环境下配置Goldengate–日志文件在ASM中Net8配置方法1、tnsnames.ora中增加ASM=(DESCRIPTION=(ADDRESS=(PROTOCOL=TCP)(HOST=rac1-vip)(PORT=1521))(LOAD_BALANCE=yes)(CONNECT_DATA=(SERVER=DEDICATED)(SERVICE_NAME=+ASM)(INSTANCE_NAME=+ASM1)))Goldengate从入门到精通讲师顾铁军DATAGURU专业数据分析社区RAC环境下配置Goldengate–日志文件在ASM中Net8配置方法2、extract参数文件中增加extractext1setenv(NLS_LANG=AMERICAN_AMERIC.ZHS16GBK)useridgoldengate@ggsource,passwordgoldengatetranlogoptionsASMUSERsys@asm,asmpasswordpasswordexttrail./dirdat/stTabletest.*Goldengate从入门到精通讲师顾铁军DATAGURU专业数据分析社区RAC环境下配置Goldengate–日志文件在ASM中Net8配置方法Beq方式的配置：tnsnames.ora中变化，oggextract参数不变样例：ASM_BEQ=(DESCRIPTION=(ADDRESS=(PROTOCOL=BEQ)(PROGRAM=/g01/11ggrid/app/11.2.0/grid/bin/oracle)(ARGV0=oracle+ASM1)(ARGS='(DESCRIPTION=(LOCAL=YES)(ADDRESS=(PROTOCOL=BEQ)))')(ENVS='ORACLE_HOME=/g01/11ggrid/app/11.2.0/grid,ORACLE_SID=+ASM1'))(CONNECT_DATA=(SERVICE_NAME=+ASM)(INSTANCE=+ASM1)))Goldengate从入门到精通讲师顾铁军DATAGURU专业数据分析社区RAC环境下配置Goldengate–日志文件在ASM中DBLOGREADER的配置方法Extract参数增加：tranlogoptionsDBLOGREADERdblogreader是通过OGGext参数中设置的goldengate用户来读日志的，所以goldengate用户需授予selectanytransaction后，进程才能启动正常。需设置enable_goldengate_replication为truealtersystemsetenable_goldengate_replication=truesid='*'scope=both;通过ASMUSER连接ASM时，extrat进程的buffer为28672字节，而DBLOGREADERAPI默认为1M字节ASM：ASMBUFSIZE、DBLOGREADERBUFSIZE非ASM：BUFSIZEGoldengate从入门到精通讲师顾铁军DATAGURU专业数据分析社区RAC环境下配置Goldengate–日志文件在ASM中DBLOGREADER下使用BEQ方式ext参数修改一下：USERIDgoldengate@prod_beq,PASSWORDgoldengatetranlogoptionsDBLOGREADERtnsnames.ora设置数据库实例的BEQ连接：PROD_BEQ=(DESCRIPTION=(ADDRESS=(PROTOCOL=BEQ)(PROGRAM=/u01/oracle/app/oracle/product/11.2.0/dbhome_1/bin/oracle)(ARGV0=oraclePROD)(ARGS='(DESCRIPTION=(LOCAL=YES)(ADDRESS=(PROTOCOL=BEQ)))'))(CONNECT_DATA=(SERVICE_NAME=PROD)))Goldengate从入门到精通讲师顾铁军DATAGURU专业数据分析社区RAC环境下配置Goldengate-归档日志归档日志的位置extract进程要求能够看到所有节点的归档日志。归档在本地（1）通过NFS挂载样例：如果ogg运行在rac1上，需在rac1上执行：mount-tnfsrac2:/u01/arch/u01/arch2-onolock（2）修改RAC归档路径（多加一路新的归档路径即可）归档在共享设备上直接配置即可Goldengate从入门到精通讲师顾铁军DATAGURU专业数据分析社区RAC环境下配置Goldengate-归档日志OGG对归档日志的识别默认从数据字典中读取。也可指定读取位置(如果归档路径不一致，建议使用)：tranlogoptionsaltarchivelogdestprimaryinstancerac1/u01/arch,altarchivelogdestinstancerac1/u01/arch1，altarchivelogdestinstancerac2/u01/arch/arch2注意：Primary-只检查指定的路径，不再去检查默认的数据字典中的设置了。所以上例中的rac2如果在指定目录找不到归档日志，还要去检查默认位置；rac1则不会，就只检查指定的2个路径了。Primay一般用在ALO（Archivedlogonly）模式下。或者可以写成：tranlogoptionsaltarchivelogdestthreadid1/u01/archtranlogoptionsaltarchivelogdestthreadid2/u01/arch2Goldengate从入门到精通讲师顾铁军DATAGURU专业数据分析社区RAC环境下配置Goldengate–OGG安装位置OGG安装位置建议安装在存储卷上；Trial文件也可以放在ACFS或DBFS；只能一个节点运行OGG，负载小的节点；但是：对于gpfs文件系统，RAC的两个节点都可以挂载goldengate目录时，在不同的节点上启动了不同的Goldengate进程（比如：节点1启动了mgr，节点2启动extract），OGG工作进程一定和MGR进程运行在同一节点上（即使在另外一个节点启动了进程）；所以可以保证没有问题。Goldengate从入门到精通讲师顾铁军DATAGURU专业数据分析社区RAC环境下配置Goldengate–OGG相关高可用RAC可以为OGG创建一个ggsource的服务srvctlconfigservice–dracdb–sggsourcetnsnames.ora:ggsource=(DESCRIPTION=(ADDRESS=(PROTOCOL=TCP)(HOST=rac-cluster-scan))(PORT=1521))(LOAD_BALANCE=yes)(CONNECT_DATA=(SERVER=DEDICATED)(SERVICE_NAME=ggsource)))Goldengate从入门到精通讲师顾铁军DATAGURU专业数据分析社区RAC环境下配置Goldengate–OGG相关高可用OGG注册成CRS的resource保证在运行GG的节点宕机后，GG可以切换到其他可用节点上运行。参考《OracleGoldengatehighavailabilityusingOracleClusterware.pdf》Goldengate从入门到精通讲师顾铁军DATAGURU专业数据分析社区RAC环境下配置Goldengate–Demo配置环境测试ASM的四种方式：asmuserdblogreaderasmuser+Beqdblogreader+Beq参考附件Goldengate从入门到精通讲师顾铁军DATAGURU专业数据分析社区RAC环境下配置Goldengate–OGG相关高可用补充RAC的一个小问题数据库11gR2之前的版本：如果RAC节点间负载不均衡：建议设置MAXCOMMITPROPAGATIONDELAY（设置为60000，最大可以设置为90000（90秒）。默认为3秒，不小于2秒，不小于db中参数max_commit）THREADOPTIONSMAXCOMMITPROPAGATIONDELAY60000IOLATENS60000（在OracleRAC环境中，Extract会启动一个coordinator线程对各个节点上的操作进行根据SCN进行排序，它在交易提交后会等待THREADOPTIONSMAXCOMMITPROPAGATIONDELAY参数所定义时间来确认空闲节点没有交易，然后再收集交易数据；写入该交易后如果空闲节点后来又读到了一个SCN号要小的交易，则会报告：Extract:EncounteredSCNThatIsNotGreaterThanTheHighestSCNAlreadyProcessed…）RAC节点的时钟保持同步！Goldengate从入门到精通讲师顾铁军DATAGURU专业数据分析社区Oracle附加日志的理解问题：GoldenGate是基于SQL的复制吗？场景假设某表包含10条记录执行sql：updatemytablesetmycol=‘a’;(一条语句更新了10行)实际修改10条记录复制记录操作类型前镜像后镜像记录1UMycol:x1Mycol:a记录2UMycol:x2Mycol:a……记录10UMycol:x10Mycol:aGoldenGate是基于逻辑变化记录（LCR）的复制Goldengate从入门到精通讲师顾铁军DATAGURU专业数据分析社区Oracle附加日志的理解问题：两端记录如何对应？数据复制需要实现源和目标的记录映射–Insert：无需映射，直接插入即可–Update：需要在目标端找到源端对应的记录–delete：需要在目标端找到源端对应的记录方案选择–使用rowid–使用主键或唯一索引Goldengate从入门到精通讲师顾铁军DATAGURU专业数据分析社区记录映射方案一：使用rowidcolumnCust_codeNameCityStateRowidRow1aaaaAAAReXAAEAAAAluAAARow2bbbbAAAReXAAEAAAAluAABcol