2010数据库技术大会李天伟Oracle容灾备份实时备份 数据迁移应用实践

Oracle容灾备份:实时备份、数据迁移应用实践iStreamDDSOracle数据库复制软件介绍概要•DDS实时复制软件的技术体系•DRS逻辑备份与恢复•DDS解决方案与案例•DDS产品特点•技术交流DDS技术架构传输进程sSQL数据查询透明压缩传输采集进程分析进程s业务系统交易合成sredologSharememoryDisk生产数据库接收进程s交易装载sOCISharememoryDiskSQL复制数据库IP网络DTF源端体系结构PTRACKPMONSPMSGSPRECVSPCOMMPCLEANSHM-SYS系统参数以及状态信息PMERGESHM-MEM交易信息交换区域RedologBlocks共享内存区后台进程Msg.log磁盘缓存目标数据库操作指令•PTRACK跟踪到redolog增量信息，将其写入共享内存，并通知PMERGE进行处理，PTRACK同时将此数据包写入缓存目录以便后续进程没有成功处理或系统其它异常情况时，这些数据能够恢复并重新进行处理。•PMERGE收到PTRACK的通知，将收到的数据包进行各种必要的处理，生成处理后的数据包，将新数据包写入共享内存，并通知PCOMM进行处理。•PCOMM收到PMERGE的通知，将收到的数据包发送到目标端系统，如果发送不成功（目标系统未启动、网络故障），将数据包写入缓存目录。•PCLEAN清道夫进程，负责将缓存中不再需要的文件删除掉。目标端体系结构PPUTPMONTPMSGTSHM系统运行状态以及参数Msg.log磁盘缓存后台进程目标数据库操作指令•PMONT负责建立共享内存、信号灯、消息队列，监控系统其它进程的状态，重起异常退出进程并报告状态；•PMSGT负责收集其它所有进程报告的各种错误信息，将错误信息存放到日志文件msg.log中；•PRECVT负责接收界面发送来的管理命令并执行，接收增量数据包，装载历史数据；•PPUT负责装载历史、增量信息到数据库中,做数据验证；PRECVTPCLEAN共享内存区数据库日志分析技术的概念deletefromxxwherexxupdatexxsetxxwherexxupdatexxsetxxwherexxupdatexxsetxxwherexxupdatexxsetxxwherexxcommitcommitupdatexxsetxxwherexxupdatexxsetxxwherexxrollback事务合成transactionmergeMemoryMerge完整交易TrackprocessInsertintoxxvaluesxxdeletefromxxwherexxxupdatexxsetxxwherexxxupdatexxsetxxwherexxxupdatexxsetxxwherexxxcommitInsertintoxxvaluesxxdeletefromxxwherexxxupdatexxsetxxwherexxxupdatexxsetxxwherexxxcommitMergeprocessMergeprocess•以交易为单位传输，保证数据的一致性和完整性•rollback的DML放弃处理Redolog翻译DML批量同步和增量复制生产数据库复制数据库datafiledatafileRedologArchivelogDDSDDSApplydatafile•步骤1：批量数据初始化同步（快照方式与直接读取数据文件）•步骤2：增量数据实时更新（支持裸设备、文件系统、OCFS）InstanceSGASharedpoolSGA压缩传输目标系统源系统缓存队列和传输保证CommprocessCommprocessOKTrackprocessPUTprocess•两端都设置磁盘缓存，交易文件按照交易顺序传输缓存队列缓存队列•在网络中断、系统宕机、数据库shutdown等故障情况下，仍能保证复制数据的连续性•等目标端确认写入磁盘后才删除源端数据选择性复制对象过滤Sys系统表Table复制Schema复制Schema复制Table复制表级复制组级复制(多表)用户级复制–Table–PartitionTable–TemporaryTable–IOT–View–Sequence–Index–Procedure–Function–Package–Synonym–Trigger–Role–Privilege–UDT–MaterializedView支持异构平台•支持异构平台，硬件可自由选择–存储系统异构DAS、NAS、SAN、IPSAN……–服务器异构IBMaix、HPhpux、SUNsolaris、LinuxWindows……装载传输读取OracleOracleOracle完善的复制方式•Where方式复制优点：源端目标段相互切换方便缺点：同步速度慢•rowid方式复制优点：同步速度快缺点：源端目标段相互切换需做全同步灵活复制方式•灵活的复制方式–单向1:1复制,可实现完全复制和选择性复制–N:1复制,可实现海量数据整合，集中(N无限制)–1:N复制,可实现数据分发、筛选、迁移（N无限制）–支持双向复制（where模式）OracleOracleOracleOracleOracleOracleOracleOracleOracle什么是DRS？•DataRollbackServer•利用DDS产生的过程文件进行数据库回滚和前滚•重现数据库的历史状态，审计、查询、恢复–单表回滚–全部数据回滚交易系统DB容灾系统DBDDS软件0.dtf.bak1dtf.bak。。。100.dtf.bak101.dtf.bak。。。1000.dtf.bak10001.dtf.bak。。。10019.dtf10020.dtfDTF列表恢复交易数据库恢复时刻恢复数据回复同步时刻DRSDRS恢复truncate的表•truncate误操作给用户带来巨大损失•利用传统技术如何恢复？•DRS自动“保存”数据•保存时间通过配置参数指定TruncatetablexxRenameXXtoXX’CreatetableXXXXXXXX’解决方案1-数据库实时远程容灾•传统容灾技术的局限–不能支持异构环境，产品选择余地小，成本不可控；–在传输方面对带宽和距离的限制颇多；–系统部署时间长、步骤复杂、对生产系统影响较大；–容灾切换存在一定的风险；iStreamDDS容灾方案特点–支持异构硬件平台和异构操作系统环境–传输数据量小，带宽要求低，距离无限制–数据可以复用，可获更多投资回报–容灾切换没有风险1生产容灾234距离100公里1生产容灾距离无限制兴业证券同城灾备数据库LinuxAS4U4Oracle10g异地灾备数据库Oracle10g2个节点RACLinuxAS4U4集中交易数据库Oracle10G2个节点RACIBMAIX5L本地复制100M带宽－总部福州－－福州同城营业部灾备机房－10M－上海－合肥华安期货单实例Linux10g单实例Linux10g本地容灾查询2个节点IBMAIX5LDDS本地复制1000M带宽－合肥总部－－总部机房－2M－同城营业部灾备机房－解决方案2-跨平台无缝数据迁移•关键系统数据迁移的难点–必须长时间停止业务交易用于导出导入数据；–过长的业务中断时间，可能是几小时，也可能是几天；–7*24运行的业务系统如何迁移？iStreamDDSiStreamDDS数据迁移优势–实时数据迁移，无需暂停业务交易；–只有系统割接需要停止交易，分钟级；–支持异构硬件、操作系统平台迁移；–支持Oracle数据库不同版本之间的迁移；广发证券应用案例5节点Linux10gRAC4节点Linux10gRAC本地容灾查询单实例Linux10g5公里DDS复制10M带宽DDS本地复制1000M带宽应用查询应用效果：•已经集中的用户量100万左右•实时复制过程中交易系统主机CPU占用率5%•本地数据复制平均延迟2～6秒•异地系统平均延迟4～8秒。－总部－－同城营业部灾备机房－解决方案3-分担生产数据库负载•复制数据库实时打开•原来在生产系统上的操作可以转移到复制系统–支持数据查询–支持数据抽取–支持数据回滚到历史时间点中银国际证券查询数据库10g单实例HPUINX11.23容灾数据库10g单实例HPUINX11.23集中交易数据库Oracle10g2个节点RACHPUINX11.23DDS本地复制1000M带宽－上海总部－－同城营业部灾备机房－100公里10M解决方案4-企业多节点数据集中•建立企业第二数据中心•支持硬件及操作系统异构环境•支持不同的Oracle版本•支持数据过滤及筛选•支持本地或远程部署•支持数据源数据库数量可达256个Oracle10giStreamDDSOracle9iOracle10giStreamDDSOracle9iOracle10g河北财政多对一应用案例•各地市生产交易库AIX（oracle为10g或9i)•－主交易2－•各县生产交易库AIX(oracle为10g或9i)•－主交易1－•AIX10g加HACMP•－异地容灾机房－•DDS复制•DDS复制•多对一：容灾、查询、实时监控等多种用途有效结合•应用查询，web实时监控源端节点数总共为204台容灾查询端只安装l了一个数据库与一套DDS目标端软件吉林公安多对一应用案例IBM小型机（AIX）+Oracle10g•－主交易5~9－IBMPCSERVER（Linux）+Oracle10g•－主交易1~4－•IBMPCSERVER(Linux)+•Oracle10gRAC•－异地容灾机房－•DDS复制•DDS复制•多对一：容灾、查询、实时监控与警综平台测试等多种用途有效结合•应用查询，web实时监控源端主机分别放在各地市，共九台机器,总数据量约为1.8TB容灾查询端只安装l了一个数据库与一套DDS目标端软件更高灵活性:•适合异构IT环境部署，跨越平台障碍•一对一、多对一、一对多等多种部署模式iStreamDDS产品特点更高投资回报:•支持灾备数据实时复用•缓解生产系统压力•减少硬件采购成本更低部署、维护成本:•最小网络带宽使用•最小数据传输量•最少业务停机时间•简单高效的web浏览器管理更多应用价值:•实时远程数据容灾•业务压力负载均衡•数据实时迁移•企业数据集中•业务数据分发交流