异构系统下的实时数据复制解决方案

在此处插入图片OracleGoldenGate异构系统下的实时数据复制解决方案甲骨文（中国）软件系统有限公司刘晓宇政府及公共事业部资深系统架构师2议题•Oracle数据集成解决方案概览•异构系统下的实时数据复制解决方案•客户示例•总结数据，无处不在！Ellison法则数据的价值随其分散度的增加和呈指数降低OLTP和ODS系统数据仓库、数据集市PeopleSoft、Siebel、SAP定制应用文件ExcelXML遗留应用定制报表打包应用决策分析OLAP定制重复数据历史数据数据孤岛SQLJava脚本临时数据自定义编码的高额成本缺少干净一致的数据多种标准和准则分散数据是如何产生的…交换•又要出报表了，为什么数据还没报上来？整合•相关数据分散在各个系统中，报表做起来真麻烦！质量•数据的计量单位、计算方式不同，数据都对应不上！管理•哪些数据是最新的，它们是有哪个部门提供的？共享•相同数据，多个部门都要。不过要的内容和格式都不同！数据集成解决的主要问题Oracle的数据集原则事倍功半实实在在去伪存真融汇贯通用更少的投入（时间、资金）即可获得更大的成果高可用性、高实时性为分析决策提供高质量的数据依据统一为SOA各层面提供的数据服务，提升信息价值外部系统业务流程决策分析活动监视定制应用OLTP系统平面文件数据仓库/数据集市OLAP多维数据集Web2.0Web和事件服务、SOA存储OracleDataQuality数据质量全面的数据集成平台Oracle的数据集成解决方案OracleGoldenGate数据同步OracleSOA服务目录管理数据共享OracleDataIntegrator数据集成元数据管理门户8议题•数据迁移市场和关键挑战•异构系统下的实时数据复制解决方案•OracleGoldenGate核心功能•数据实时复制的使用场景•客户示例•总结OracleGoldenGate核心功能——实时数据库同步和复制网络源数据库目的数据库可靠队列文件:暂存数据变化，无需担心数据库宕机或网络中断高效传输:数据可经过压缩和加密传送到目的地.实时捕获:基于数据库日志，对原有数据库影响很小；实时读取交易日志捕捉数据变化.捕获同步异构同步:将数据变化提交到目的数据库.OracleGoldenGate支持各种异构环境组合数据库操作系统平台捕获:OracleDB2MicrosoftSQLServerSybaseASEMySQLTeradataIngresEnscribeSQL/MPSQL/MX同步:Alllistedabove,Netezza,Greenplum,HPNeoviewAndanyODBCcompatibleDBsWindows2000,2003,2008,XPLinuxSunSolarisHPNonStopHP-UXHPTRU64HPOpenVMSIBMAIXIBMz/OS灵活的GoldenGate数据复制部署拓扑模式单向同步备份、查询双向同步双业务中心点对点同步多业务中心一对多同步数据分发多对一同步数据大集中多级同步层次化数据集成12OracleManagementPackforGoldenGate轻松管理OracleGoldenGate解决方案•管理、定义、配置GoldenGate组件以及在其上生成报表•集中管理GoldenGate模块•富客户端和基于Web的界面•警报通知以及与第三方监视产品的集成13OracleGoldenGateVeridata无需停机即可进行数据比较•高速、低影响的数据比较解决方案•识别并报告异构数据库间的数据差异•不影响其可用性•优点：•降低财务/法律风险•加速并简化数据源对比方面的IT工作•改善的故障切换•可靠的决策与报表14议题•数据迁移市场和关键挑战•异构系统下的实时数据复制解决方案•OracleGoldenGate核心功能•数据实时复制的使用场景•客户示例•总结OracleGoldenGate的2大重点应用领域灾备数据库基于日志实时捕获变化数据异构数据库系统DWODS数据备份零宕机升级业务报表GoldenGateETL数据同步分发报表数据库数据库高可用性•数据容灾备份•消除计划内停机•双业务中心实时数据集成•分担查询负载•数据实时DW•数据分发生产数据库数据库OracleGoldenGate：查询分流提高生产系统性能，降低成本•在下列情况下从生产系统分流查询：•例如，原有系统的查询分流•例如，不同的操作系统、数据库版本、数据库捕获交付路由WAN/LAN/Web/IP实时更改的数据原有生产OLTPOracle数据库只读活动事务处理OracleGoldenGate：实时数据仓库取消了对生产数据库时间窗口限制•GoldenGate可实时将变化数据传到数据仓库Stage区•取消了影响应用运行的时间窗口•ODI可进行实时ELTGoldenGate实时复制OLTP数据库OLAP数据库分析、钻取事务处理ODIOracleGoldenGate：数据上报和下发分布式系统进行全局数据同步捕获交付路由WAN/LAN/Web/IP应用全集业务数据捕获交付子集业务数据应用捕获交付子集业务数据应用•数据实时上报、下发•数据下发过程中可按条件对数据过滤•数据同步具备断点续传，可靠性高OracleGoldenGate：数据库备份和容灾如何选择容灾方案？节点2独立的存储阵列空闲的灾难恢复服务器磁盘镜像容灾解决方案——高成本、高风险集群系统–节点1带宽主机异构存储异构备用成本数据块错误切换高不支持不支持闲置极高复制风险高节点2独立的存储阵列备用系统不是空闲的OracleGoldenGate实时容灾解决方案——低成本、低风险集群系统–节点1Read-Only/Read-WriteReportingBackupsTape带宽主机异构存储异构备用成本数据块错误切换低支持支持可用很低复制无22OracleGoldenGate取消计划内停机零停机…从早期版本升级到OracleDatabase11g从非Oracle数据库迁移到OracleDatabase升级/迁移数据库服务器和/操作系统数据库和数据中心整合OracleSiebelCRM应用升级系统维护23OracleGoldenGate：零停机数据库升级同时通过故障恢复将风险降至最低•从早期版本升级到OracleDatabase11g第2版•验证数据一致性•通过故障恢复选项和分段迁移将风险降至最低捕获交付捕获交付路由WAN/LAN/Web/IP实时更改的数据故障恢复数据流Compare&Verify应用转换OracleDatabase8i/9i/10gOracleDatabase11g第2版24OracleGoldenGate零停机数据库升级实施步骤12341.启动GoldenGate捕获进程2.使用RecoveryManager初始化克隆数据库，然后升级到OracleDatabase11g第2版和Solaris103.添加捕获的事务4.使用OracleGoldenGateVeridata进行比较Oracle10gR2Solaris9Oracle11gR2Solaris10捕获交付25Oracle10g第2版Solaris9应急故障恢复Oracle11g第2版Solaris10捕获交付捕获交付OracleGoldenGate零停机数据库升级实施步骤（第2部分）5612341.启动GoldenGate捕获进程2.使用RecoveryManager初始化克隆数据库，然后升级到OracleDatabase11g第2版和Solaris103.添加捕获的事务4.使用OracleGoldenGateVeridata进行比较5.激活故障恢复6.切换到备用服务器26•发生计划中断和意外中断时仍提供持续可用性•同步全球范围内多个数据中心的数据OracleGoldenGate主动-主动/多主复制提高现有服务器的ROI，同步全球数据•利用多个系统处理事务捕获交付捕获交付路由WAN/LAN/Web/IP应用源和目标A区域源和目标B区域应用27议题•数据迁移市场和关键挑战•异构系统下的实时数据复制解决方案•客户示例•总结AutoZoneBostonConsultingGroupCendant/TravelportDukeEnergyFederalAviationAdministrationFiservSolutionsGenuineAutoPartsCompanyHertzMGMGrandOfficeofMilitaryManpowerAdmin.OrbitzOverstock.comPartyCityPublixSuperMarketsAlliedIrishBanksANZBankBancaSellaBancodeCreditoeInversion(BCI)BancoInternacional,S.A.-BITALBancoNacionaldeMexicoBancoPopulardePuertoRicoBancoSantanderMexicanoBankGospodarkiZywnosciowejBankMandiriBankNegaraBankofAmericaBankofCentralAsiaBankofNovaScotiaBankUTIBankartd.o.o.BiKBoricaChinaTrustCommercialBankCitigroupOTPBankPKOBankPolskiPostbankRabobankShanghaiCommercial&SavingsSiamCityBankStateBankofIndiaStateBankofMauritiusTaitungBusinessBankTorontoDominionBankTransbankS.A.TwinsoftforDeutscheBahnUlsterBankU.S.BankUnibancoWachoviaWashingtonMutualBankWellsFargoWorldSavingsZionsBankCorporationComericaCommercialBankofGreeceConsorzioTrivenetoSpaEmiratesBankInternationalEurobankFleetFinancialServicesFSPAFoereningssparbankenHDFCBankHSBCHsinChuBank(HCBank)HuntingtonServicesCorp.ICBBankINGPostbankJPMorganChaseKasaiornBankKnetKoreanExchangeBankMuzoNationalAustraliaGroupNationalBankOfGreeceAllscriptsAntelopeValleyHospitalBaptistHealthBronxLebanonContinuumHealthPartnersGroupHealthCooperativeHealthAllianceofCincinnatiHuntsvilleHospitalINOVAHealthSystemsIowaHealthSystemKetteringMedicalCenterLegacyHealthSystemMayoClinicFoundationMontefioreMedicalCenterNebraskaHealthSystemsNorthCarolinaBaptistHealthOakwoodHealthcareSystemsOSFHealthcareParkNicolletHealthServicesParkviewHealthSystemsPeaceHealthSchering-PloughSharpHealthcareStanfordMedicalSt.FrancisHospitalSt.Joseph'sHospitalThomasJeffersonUniversityUniversityofCh