飞康培训教程第三部分故障恢复解析

IPStorCDP培训教程第三部分（灾难恢复）颜军美国飞康公司2©FalconStorSoftware2007·AllRightsReservedSESSION灾难恢复3©FalconStorSoftware2007·AllRightsReserved•1:灾备系统日常管理•2:常见应用系统故障的恢复•3:站点级灾难的恢复流程4©FalconStorSoftware2007·AllRightsReserved（一）容灾系统日常管理容灾备份系统的管理、维护、系统恢复、生产组织等被称为业务连续性管理。业务连续性管理制度包括：a)容灾备份工作的领导与组织分工；b)日常维护管理制度和操作规程；c)测试管理制度；（包括备份系统有效性测试、应用软件升级测试等）d)灾难/故障的监测与分析、报告制度、以及审批流程规定；e)系统恢复/切换的操作流程和规范；生产系统重新恢复工作的管理与组织制度5©FalconStorSoftware2007·AllRightsReserved（二）一般系统灾难的恢复6©FalconStorSoftware2007·AllRightsReserved生产磁盘故障EMC/HDS7©FalconStorSoftware2007·AllRightsReserved数据丢失的恢复•1:通知北京灾备中心提取快照/时间点数据库加载关联数据传输回生产中心（export/FTP)•2:在本地生产中心提取快照/时间点数据库加载（要求具备查询服务器）8©FalconStorSoftware2007·AllRightsReserved系统升级•1:HACMP双机切换•2:单侧系统升级•3:HACMP系统回切---CDP系统均正常运行，不中断9©FalconStorSoftware2007·AllRightsReserved主机故障•1:HACMP双机切换•2:故障修复•3:HACMP系统回切---CDP系统均正常运行，不中断10©FalconStorSoftware2007·AllRightsReserved（三）站点级别灾难的恢复流程11©FalconStorSoftware2007·AllRightsReserved站点级灾难•1:停电•2:自然灾害•3:计划内停机•4:多个设备故障•5:生产网络瘫痪•……….12©FalconStorSoftware2007·AllRightsReserved灾难恢复流程通知北京灾备中心进行业务接管预警，应急小组进行应急决策接到电话接管通知存储接管/提升主机卷加载/数据库启动网间互联平台网络切换省中心登录远程业务验证省中心北京灾备中心验证通过切换完成13©FalconStorSoftware2007·AllRightsReserved北京灾备中心的接管步骤序号操作步骤操作命令预期时间备注1接到分行生产中心的接管通知，进行切换00:002在北京CDP网关中提取各省所有复制入资源（即生产盘的复制盘），然后将提取的复制盘分配给DB主机（3个）和APP主机（1个）IPStorCDPConsole：〉PromoteReplicadisks00:003在北京灾备中心DB主机和APP主机上识别接管的数据盘cfgmgr–v01：00用lsdev-Ccdisk查看14©FalconStorSoftware2007·AllRightsReserved北京灾备中心的接管步骤（续）序号操作步骤操作命令预期时间备注4将数据库VG（datavg）导入importvg-ydatavg-fhdisk601:40用lsvg-o查看卷组是否激活5删除临时表空间的LV（序号5-9都是只在DB主机上操作）rmlv-fdb2_tmp01：50用lsvg-ldatavg查看是否删除6将生产镜像后missing磁盘从数据库VG（datavg）中删除lsvg-pdatavgreducevg-dfdatavg00c7d2ede5cf8e2dreducevg-dfdatavg00c7d2ede5cfb080reducevg-dfdatavg00c7d2ede7004e4e402：0015©FalconStorSoftware2007·AllRightsReserved北京灾备中心的接管步骤（续）序号操作步骤操作命令预期时间备注7建立临时表空间所需LV，并将类型设置为rawmklv-ydb2_tmp-trawdatavg24002：10用lsvg-ldatavg查看8改变db2相关LV属性，变为db2inst1用户和db2iadm1组chowndb2inst1:db2iadm1/dev/*db2*02：20用ls-l/dev/*db2*查看是否修改成功9mount数据库的文件系统启动并连接数据库检验数据库的表空间是否正确在应用层面检测是否使用正常mount/db2_dbmount/db2log1su-db2inst1db2startdb2connecttocrams_nc04：00若所有表空间都是0X0000的状态，说明数据库使用正常16©FalconStorSoftware2007·AllRightsReserved北京灾备中心的接管步骤（续）序号操作步骤操作命令预期时间备注10将应用VG（appvg）导入mount中间件的文件系统然后检验是否正确importvg-yappvg–fhdisk6mount/cramsapp08：0011启动应用11：00业务切换完成17©FalconStorSoftware2007·AllRightsReserved（四）灾难后的生产中心恢复（回退-failback）18©FalconStorSoftware2007·AllRightsReserved生产中心的回退流程（生产中心CDP未损坏)序号操作步骤操作命令备注1确认此时的复制关系是北京-生产中心确认生产中心主机上应用和DB2的VG已经是varyoff状态2接到回切指令后，在北京灾备中心的主机上：1）停止应用和DB2；2）umount应用和DB2的文件系统3）varyoff应用和DB2的VG4）export应用和DB2的VG5）rmdev应用和DB2的hdisk1）./appstop./db2stop2）umount/cramsappumount/db2log1umount/db2_db3）varyoffvgappvgvaryoffvgdatavg4）exportvgappvgexportvgdatavg5）rmdev–dlhdisk2rmdev–dlhdisk3rmdev–dlhdisk4rmdev–dlhdisk519©FalconStorSoftware2007·AllRightsReserved生产中心的回退流程（续,生产中心CDP未损坏)序号操作步骤操作命令备注3在北京灾备中心的CDP网关上，将分配给灾备主机的逻辑资源取消分配4确认两地CDP的数据已经同步完成。在生产中心CDP管理器上进行反转复制（reverse），复制关系变为生产中心-北京20©FalconStorSoftware2007·AllRightsReserved生产中心的回退流程（续,生产中心CDP未损坏)序号操作步骤操作命令5在生产中心CDP管理器上将反转出的逻辑资源分配给生产主机61）生产中心主机上将应用和DB2的VGexport出来2）识别CDP分配的新增磁盘3）import应用和DB2的VG（import时选择CDP分配的hdisk）4）改变db2相关LV属性，变为db2inst1用户和db2iadm1组5）mount应用和DB2的文件系统6）启动DB2和应用验证是否工作正常1）生产中心DB2主机上：exportvgdatavg生产中心应用主机上exportvgappvg2）生产中心应用和DB2的主机上：cfgmgr–v3）生产中心DB2主机上：importvg–ydatavg–fhdisk22生产中心应用主机上importvg–yappvg–fhdisk254）生产中心DB2主机上：chowndb2inst1:db2iadm1/dev/*db2*5）生产中心DB2主机上：mount/db2log1mount/db2_db生产中心应用主机上：mount/cramsapp21©FalconStorSoftware2007·AllRightsReserved生产中心的回退流程（续,生产中心CDP未损坏)序号操作步骤操作命令7使用extendvg-f将生产磁盘extend到vg中，然后varyoff和varyon该vg，查看生产盘中已经没有数据生产中心DB2主机上：extendvg–fdatavghdisk18extendvg–fdatavghdisk19extendvg–fdatavghdisk20生产中心应用主机上：extendvg–fdatavghdisk21varyoffvgdatavgvaryonvgdatavgvaryoffvgappvgvaryonvgappvg8使用CDP分配的磁盘镜像生产盘mirrorvgdatavghdisk18hdisk19hdisk20mirrorvgappvghdisk2122©FalconStorSoftware2007·AllRightsReserved生产中心的回退流程（续,生产中心CDP未损坏)序号操作步骤操作命令9修改Quorum=nochvg–Qndatavgchvg–Qnappvg10删除临时表空间的镜像关系rmlvcopydb2_tmp1hdisk2211使参数后处理生效VaryoffvgdatavgVaryonvgdatavgVaryoffvgappvgVaryonvgappvg23©FalconStorSoftware2007·AllRightsReserved生产中心的回退流程（生产中心CDP也损坏的情况)序号操作步骤操作命令备注1分行数据中心的CDP修复后，建立北京-生产中心的复制关系确认生成中心主机上应用和DB2的VG已经是varyoff状态Replication+microscan进行差异比较，耗时10小时左右。其余步骤同CDP未损坏的步骤相同注：业务终止时间在3小时左右，最好等待生产磁盘修复再开启应用和数据库。生产磁盘修复完成前开启数据库将有可能影响处理性能。