平安科技Oracle数据库升级心得分享-樊永涛

平安科技Oracle数据库升级心得分享AboutMe平安科技数据库技术部架构师擅长Oracle数据库升级、SQL性能优化、综合故障诊断、应用系统架构设计开发多款Oracle规范审核工具羽毛球爱好者樊永涛升级动机方案选型性能测试SPM管理应急预案目录t持续支持标准支持R22007年7月扩展支持2010年7月2009年1月2012年1月R22010年7月2013年7月2012年8月2015年8月2008年7月2011年7月R22015年1月2018年1月2016年1月Oracle不再开发新补丁，不再承诺7x24的一级严重故障处理ORACLE数据库版本生命周期策略，推动升级步伐20082003200420052006200720022009201020112012201320142015201620172018ORACLESECUREFILESOLTP表压缩内存并行执行更多的分区选项支持结果集缓存只读表增强压缩技术自动SQL优化自动内存优化数据库重演SQL重演计划管理自动诊断知识库事件打包基本特性补丁访问建议器资源管理器ADDM更多的表分区类型在线应用升级完整的云管理ACTIVEDATAGUARD数据库服务器池FLASHBACKDATAARCHIVE（全面回忆数据变化）数据库防火墙DatabasevaultAuditvault备份恢复增强充分利用ORACLEDB11g新特性提升系统运行性能与稳定性升级动机方案选型性能测试SPM管理应急预案目录子系统G子系统I非银企直联业务通道（内调外与外调内的批量、实时业务）互联网合作伙伴约400家专线合作伙伴约120家子系统H子系统E子系统D银企直联业务通道（与6家银行直联的直接对接）专线合作6家银行子系统F核心通道(主要处理资金收费)子系统A子系统B子系统C核心库系统关联核心库直接对应的应用系统核心库子系统A子系统I子系统H子系统G子系统F子系统E子系统D子系统C子系统B为降低升级风险，公共系统系统采用新建库剥离方式升级，财务核心系统采用本地库升级方式（剥离见绿色，非剥离为黄色），分两个不同时间段升级.公共子系统非常规升级法公共子系统为集团一类，且应用较多，为了避免停应用时间较长，也为了避免系统出问题影响范围较广，采用6套应用轮流切换方案进行升级。应用只读写9i应用先写9i，再通过dblink写11g，sequence和基表从9i库上去读打开功能开关应用先写11g，再写9i，sequence和基表都从11g库上去读应用只读写11g数据源切换到11g库关闭功能开关Internet应用系统9idblink11g公共子系统非常规升级法公共子系统为集团一类，且应用较多，为了避免停应用时间较长，也为了避免系统出问题影响范围较广，采用6套应用轮流切换方案进行升级。应用只读写9i应用先写9i，再通过dblink写11g，sequence和基表从9i库上去读打开功能开关应用先写11g，再写9i，sequence和基表都从11g库上去读应用只读写11g数据源切换到11g库关闭功能开关Internet应用系统9idblink11g核心库9i状况1、数据库版本：9.2.0.82、HP小机平台，单实例，FS管理6、51%业务表无统计信息属主总业务表数无统计信息表数无统计信息表数占比OWNER0168128141.26%OWNER021276853.54%OWNER031125448.21%OWNER045757100.00%OWNER055555100.00%OWNER063232100.00%合计106454751.41%3、优化器版本：9.2.04、优化器模式：CHOOSE5、库大小：3.2T7、部分功能SQL存在性能问题升级目标1、数据库版本：11.2.0.4.22、HP小机平台，单实例，FS管理5、收集并发布所有业务表统计信息3、优化器版本：11.2.0.44、优化器模式：ALL_ROWS6、解决SQL性能问题数据库常规升级方案第13页1：本地升级方式通过在数据库所在服务器上安装11g数据库软件，然后对DB进行升级。升级期间需要停应用，停库。优缺点：优点：不用迁移数据，直接在本机上进行升级。停库时间几乎与库大小无关。缺点：已迁移走的系统所留下的空间不会释放，如果升级过程中出问题回滚时间稍长。2：迁移升级方式通过在目标环境提前安装好11G软件并创建好11G空库，在升级时把对象及其数据从旧版本库迁移到11G库中。升级期间需要停应用，停库。优缺点：优点：会释放已迁移走的系统所留下的空间，从而节省存储投资；也很适用于跨平台升级比如小机迁移升级到PC机上；对于数据量（低于400G）比较小的场景升级时间比较快；如果升级过程中出问题回滚速度稍快。缺点：数据量越大停库时间越长，可通过申请专用私有网络加快迁移数据速度。3：热切换升级方式通过预先搭建好11g三套环境（生产库、同城DG、远程DG），在升级前一周使用GoldenGate软件实施全库同步数据至11g环境。在升级窗口内，只需要切换应用连接11g环境即可。升级期间需要停应用，停库。优缺点：优点：应用切换时间短暂。临时故障回退时间短暂。缺点：需要考虑GoldenGate无法同步的类型，手工同步。全库数据比对非常耗时。不同升级方案区分第14页项本地升级热切换升级(生产备机+同SID)热切换升级(生产备机+不同SID)热切换升级(新主机+同SID)高可用VCS自动切换手工VCS切换VCS自动切换因新的11g无备机，无VCS切换开通防火墙N/AN/A开通开通搭建新应用N/AN/AYESN/ASID不变不变改变不变升级过程中VIP是否改变不变不变VIP改变域名改变不变临时存储（份）1333新11g库主机9i库生产主机9i库生产备机9i库生产备机与9i生产库同平台新主机回滚耗时59min44min39min44min优点总结1.方案成熟。2.无需迁移数据，对数据无物理改变。3.前期准备工作相对较少。4.本地升级前后对VCS自动切换无影响。1.生产升级时间少1小时左右2.回滚耗时相对比较短3.原9i库保持不动（在新地方另搭建11g库）4.需要在原9i生产库做GG配置。1.生产升级时间少1小时左右2.回滚耗时相对比最短3.原9i库保持不动（在新地方另搭建11g库）4.生产库升级前后对VCS自动切换无影响。5.需要在原9i生产库做GG配置。1.生产升级时间少1小时左右2.回滚耗时相对比较短3.原9i库保持不动（在新地方另搭建11g库）4.原9i库在升级前其HA功能不受影响。5.需要在原9i生产库做GG配置。缺点总结1.升级过程比其他方案多1小时。2.回滚过程比其他方案多15分钟。1.生产升级前后一周内HA自动切换失效，只能进行手工切换，切换时间由自动切换的15分钟延长到40分钟。2.没有相同场景成熟案例。3.升级当天无法做高可用切换测试，需要升级后另行安排维护进行HA切换测试并切回原9i生产主机。1.需新增应用服务器，并提前搭建好连接到11g库的应用环境。2.占用的临时存储比较多。3.需修改应用连接数据库的数据源，能否把所有系统的数据源修改完整是个挑战。4.域名改变涉及修改dblink、GG和开通防火墙，存在太多变更的风险，没法完整测试。1.需新增与当前9i生产库同平台的数据库服务器。2.生产升级后一周内11g生产库没有备机，且11g同城灾备和上海灾备只有搭建在同城备机和上海灾备的备机，升级试运行后切换到相应主机运行。3.占用的临时存储比较多。4.试运行结束后需停库停应用把11g库迁移到当前主机运行。风险级别低中最高高不同升级方案耗时比较第15页工作项本地升级热切换升级停应用，监控，冻结VCS等1515停业务GG，停止临时GG回滚，追平日志3535upgrade升级210N/A数据比对N/A120热切换处理搭建11g至9i全库同步、物化视图、sequence、修改中间件等N/A30配置VCS并做切换验证2020启动业务GG并验证3535启动应用并验证120120处理突发问题、多方沟通并且回滚等事件3535合计475410说明：以上每项时间都处于理想状态，无冗余时间。不同方案回滚工作序列第16页工作项本地升级热切换升级(生产备机+同SID)热切换升级(生产备机+不同SID)热切换升级(新主机+同SID)冻结11g生产库VCS（应用不停）1111停数据库监听、CRON3333停11g库业务GG，停止临时GG回滚，追平日志（并行）15151515获取当前11g库SEQ值，停11g数据库5555VIP切换55N/A5启动9i库业务GG0000启数据库并修改9i数据库SEQ值、启动监听（提前准备脚本）10101010启动应用至9i库（应用不停）0000应用验证5555合计44443944单位：分钟适合我们的升级方案本地升级试运行期间配置试运行结束后配置optimizer_dynamic_sampling：1optimizer_features_enable：9.2.0optimizer_index_caching：90optimizer_index_cost_adj：30optimizer_mode：CHOOSEoptimizer_dynamic_sampling：2optimizer_features_enable：11.2.0.4optimizer_index_caching：0optimizer_index_cost_adj：100optimizer_mode：ALL_ROWS统计信息收集不发布PUBLISH：FALSE统计信息收集并发布PUBLISH：TRUESPM每天抓取不演化SPM每周抓取并演化有了方案，接下来做什么选择这种方案，考虑因素如下：1.本地升级仅仅比热切换升级多一个小时，但是本地升级方案的成熟度、升级后VCS的自动切换以及升级前期的准备工作远远优于热切，综合了多方面最终而选择本地。2.试运行期间统计信息不收集以及优化器相关参数统一设置为与之前9i一致，主要考虑升级后SQL性能影响面，因为当前生产60%业务表无统计信息，在11gCBO情况下很难保证执行计划准确，出于SQL性能考虑最终选择9i优化器与统计信息。升级动机方案选型性能测试SPM管理应急预案目录如何性能影响分析伟大的工具：BenchmarkFactoryforDatabases（BMF）大体流程：1.抓取业务高峰期trace2.准备生产库一致环境3.BMF加载trace4.BMF负载回放trace5.BMF产生报告6.分析报告BMF回放trace遭遇的问题JobStartedStartedtestOracleWorkloadReplayAgent(CNSZ010770)Error:UnabletoexecutestatementinFetchRowORA-01002:fetchoutofsequenceThestatementSELECT1FROMTEST_LOCKWHERELOCK_PURPOSE=:1andINSTANCE_GROUP=:2FORUPDATENOWAITwithbindparameter(s){(1,STRING,$BFList(SEQUENTIAL,6,1,9,7,8,7,1,9,8,6,2,4,9,1,7,6,1,14,9,6,1,7,1,6,6,1,7,8,6,1,2,7,8,6,1,10,7,8,4,9,6,7,8,1,9,6,2,7,8,4,1,9,6,7,8,1,9,6,3,7,8,4,1,9,6,7,8,1,9,6,2,7,8,4,1,9,6,7,8,1,9,4,1,9,6,7,8,1,9,6,2,14,6,7,8,1,9,4,1,9,6,2,7,4,10,12,4,9,6,7,8,1,6,2,4,7,8,9,1,6,4,7,8,9,10,12,4,7,8,9,1,6,7,8,9,1,6,4,7,8,9,1,6,3,7,8,9,1,6,2,4,7,8,9,1,6,7,8,9,1,6,4,7,8,9,1,6,