OracleGoldenGate技术培训(公司内部培训)

OracleGoldenGate技术交流XX公司技术沙龙第二期XXX2017年3月OracleGoldenGate介绍前GoldenGate公司简介•创建于1995年，总部在美国旧金山。•数据复制领域的专业公司。•全球超过4,000个安装许可，分布在政府、银行、制造、传媒、电信、证券、医疗和零售等各大行业，其中有多个全球财富500强企业。•Oracle、IBM、HP、Microsoft、Sybase、Teradata等著名企业建立了紧密合作关系。•中科领新信息技术有限公司是GoldenGate公司中国区总代理和技术支持中心。•2009年被Oracle收购。GoldenGate是什么?OracleGoldenGate提供异构环境间事务数据的实时、低影响的捕获、路由、转换和交付•实时数据整合市场的领导者•GoldenGate给Oracle的数据整合方案带来了在异构平台的快速的,可扩展的,实时数据整合能力•GoldenGate为应用或数据库的提供了在线升级,迁移的能力GoldenGate产品组件GoldenGate产品组件功能OracleGoldenGateTDM（TransactionalDataManagement-交易数据管理）主要功能组件OracleGoldenGateforMainframe使用于主机及大型机(HPNon-StopdatabasesandIBMMainframe)OracleGoldenGateVeridata验证及监控复制两端数据库的数据差异性ManagementPackforOracleGoldenGate图形化的配置,管理及监控工具OracleGoldenGateApplicationAdapters为Base24,LoggerforEnscribe,andJMSandFlatFile提供的实时数据同步适配器GoldenGateStudio图形化配置复制过程的套件•ManagementPackforOracleGoldenGate需要安装OracleWeblogic标准版,需要购买相关的LicenseGoldenGateTDM介绍•GoldenGateTDM是基于日志的实时CDC软件平台，提供异构环境下大量交易数据的实时捕捉、变换和投递，同时保持亚秒一级的数据延迟。•基于GoldenGateTDM，我们提供高可用/容灾和实时数据集成的解决方案。•GoldenGateTDM采用高内聚低耦合的结构，能够支持多种拓扑结构，包括一对一，一对多，多对一，多对多，层叠和双向复制。CDC：ChangeDataCapture，就是我们通常提到的变化数据捕获GoldenGate工作原理交易数据管理TransactionalDataManagement（TDM）特性:收益:实时性亚秒一级延迟高性能能够以低资源消耗完成每秒数千交易的复制异构环境支持在不同平台和数据库环境下复制数据可扩展开放的结构使客户适应各种异构数据平台以交易为单位复制维护交易一致性可靠保证数据的连续可用独立于数据库系统的复制技术提供7x24服务不停机,保证业务的连续性,在线升级,迁移数据库系统及应用GoldenGate提供异构环境下交易数据的实时捕捉、变换、投递，主要是支持异构数据库环境下的变化数据同步。GoldenGate变化数据捕捉的优势针对SQLSERVER,DB2都提供基于日志的CDC直接从数据库日志中通过自己的专有程序抽取数据。支持在备份系统上抓取变化数据。对一些数据类型如LONG,XML,BLOB都提供了支持。基于日志的实时数据复制•亚秒级复制•不依赖源数据库的触发器和规则，对源数据库影响小。OGG在数据传输方面的优势•OGG有很好的机制来保证传输的交易一致性和断点续传。•事务完整性-事务级粒度•只复制成功提交的事务•防止源和目标的不一致性OracleGoldenGate架构OracleGoldenGate架构OracleGoldenGate架构OracleGoldenGate架构OracleGoldenGate架构的优势•捕获一次即可交付给多个目标做不同用途•基于日志的非侵入式捕获•只移动提交的数据，降低了带宽要求降低开销和总拥有成本•即使在大数据量情况下也能实现亚秒级延迟•保持事务完整性•确保数据可恢复性高性能和高可靠性•提供分离的模块化架构•支持异构源和目标，可满足不同的延迟需求•与ELT/ETL和消息处理解决方案共存且集成灵活性和易用性GoldenGate的工作特点•实时数据复制•支持异构环境•可靠性：断点续传，不影响系统连续运行。•高性能，对生产系统影响小•事务完整性•整合：ETLtools,MessageService•灵活拓扑结构•复制冲突检测和解决•事件标记基础架构(Eventmarkerinfrastructure)•路由和压缩：TCP/IP，LAN，WAN•加密：128-位，SSL•自定义延时应用修改•根据事务大小和数量自动管理内存事务完整性-事务级粒度•只复制成功提交的事务•防止源和目标的不一致性GoldenGate支持异构环境任意组合DatabasesO/SandPlatformsCapture:•Oracle•DB2•MicrosoftSQLServer•SybaseASE•Teradata•Enscribe•SQL/MP•SQL/MXDelivery:•Alllistedabove,plus:•HPNeoview,Netezza,Greenplum,andanyODBCcompatibledatabases•ETLproducts•JMSmessagequeues•MySQL•TimesTenWindows2000,2003,XPLinuxSunSolarisHPNonStopHP-UXHPTRU64HPOpenVMSIBMAIXIBMz/OSGoldenGate10.4支持的主流数据库版本•Oracle8i(DMLonly)•Oracle9.1and9.2(DMLandDDL)•Oracle10.1and10.2(DMLandDDL)•Oracle11g(DMLandDDL)•DB2UDB8.xand9.5onWindowsandUNIX•DB2UDBforOS/390andz/OS7.1(untilIBMendofservicedate)•DB2UDBforz/OSVersion8.1and9.1•SQLServer2000and2005onMS-supportedOSasasourceortarget.•SQLServer2008onMS-supportedOSasatargetonly.•Sybase12.5.4and15ASE•MySQLversions4.0and4.1GoldenGate架构中关键的技术•分布式松散耦合的进程架构•初始化装载时不影响数据库使用•可以在异构平台之间进行数据初始化装载•可扩展性:变化数据捕获API(VAM)•客户化定制:UserExits,SQLcallouts,Macros•异步的数据变化传输•只传输提交的数据•DML,Metadata,DDL•统一的Trail文件格式•在异构平台之间交换数据•可以设定数据转换规则，设置数据和操作过滤条件(table,row,column)•基于的事务的批量操作GoldenGate架构中关键的技术-续•归档和审计功能•Trail文件备份•审计–保存所有变化(Insertallrecords)•数据冲突的检测和解决机制:用于双向数据传输（双活）的系统•在目标数据库延迟应用目标端的数据•基于事件驱动的基本架构•e.g.,自动的主备机切换•进程的自动定位•支持动态回滚和基于时间点的数据恢复•支持并行操作•批量数据抽取和批量数据入库•恢复GoldenGate的核心竞争点•Active-Active•避免了资源浪费，提高系统利用率•即时接管•在线迁移•基于事务日志的数据抽取•处理量大，负载小•过滤•配置并行•可靠的数据传输•Checkpoint机制，以便于发生错误时恢复•基于TCP/IP网络，对网络连接要求低•强大的异构支持•无需停机的数据比较方案•图形化的集中管理OracleGoldenGate使用场景很多客户需要连续的实时数据降低IT系统的成本赢得业务系统运行的效率Real-TimeBusinessOperations关键的应用和数据的连续可用性•在灾难发生时系统的可用性•在计划宕机期间的系统仍然可以使用•负载均衡和数据分担商业智能和决策支持的实时信息访问•报表系统可以即时获得生产数据•分析系统可以访问到关键的生产信息•异构平台的数据交换降低IT系统的成本&提高效率•根据需求选择最好的系统•现代化老式的主机系统•报表业务分担数据复制的拓扑结构OracleGoldenGate用例满足实时数据需求的企业级解决方案降低成本降低风险实现卓越的运营GoldenGate解决方案高可用性:容灾与应急备份实现:•快速恢复和切换•最小化数据损失•重新同步主备两端数据用途:•在非计划性停机时保持业务连续高可用性:减少计划内停机实现:•保障业务零或者近似零停机•滚动升级•降低业务中断带来的损失用途:•保障系统/应用/数据库在升级、移植和维护期间业务的可用性高可用性:双业务中心（Active-Active)实现:•负载均衡，提高系统整体性能•连续可用，快速的容灾接管•冲突检测和处理数据仓库实时供给（和ODI结合使用）实现:•数据仓库数据实时得到更新•对源系统低影响用途:•提升商务智能和信息分析能力•实时可用的数据仓库实时报表实现:•将实时报表从主系统剥离，可根据客户需求定制•显著提高主系统性能用途:•实时报表•提高系统性能和可用性OGG与Oracle其他数据复制产品OGG在oracle数据复制产品中的定位Lantency延迟Transformation转换OracleActiveDataGuard（ADG）OracleGoldenGateOracleDataIntegratorGoldenGate与Streams的比较OracleStreams•Oracle从9i开始推出streams，用于提供灵活的复制和容灾解决方案。但是9i的streams配置相当的麻烦，少说也有十几个步骤，还容易出错。10gR2则将整个配置过程封装在几个简单的PL/SQL过程中，使得配置过程大大的简化。但是实际的配置步骤还是一样的，Oracle只是利用这些PL/SQL过程先生成对应的脚本，然后再执行脚本进行配置。这个过程可以全自动完成，也可以先将脚本生成到某个指定的目录，我们根据需要修改脚本，然后再执行脚本进行配置，这样就灵活又方便。•Streams的原理其实很简单，通过logmnr技术从oracle的log中解析出数据，然后传递到目标库并应用，从而将源库的数据复制到目标库。当然，复制可以是双向的，也可以是单向的。双向复制还需要考虑数据冲突的问题。而多源复制其实是双向复制的基础上衍生而来的。OracleStreams•整个的复制过程可以分成三个步骤：捕获(capture)，传播(propagation)和应用(apply)，利用高级队列(advancequeue)来将这三个步骤的数据串起来，通过在步骤中定义不同的规则(rule)来控制需要复制的数据。复制可以基于全库，基于表空间，基于用户或者基于表，提供了相当大的灵活性。•捕获进程可以直接在源库捕获日志，也可以先将日志(归档日志或者联机日志)传递另外的库中进行捕获，这就是本地捕获(localcapture)和异地捕获(downstreamcapture)。对于异地捕获，根据是传递归档日志还是联机日志，可以分为普通的异地捕获和实时异地捕获。日志的传递其实和DataGuard中是一样的机制。Oracle11g的streams还提供了同步捕获。Oracle数据集成平台OracleEnterpriseDataQualityOracleMetadataManagement相关产品网站快速链接•OracleADG主页面•http://www