省内中心局生产作业系统应急恢复手册

省内中心局生产作业系统应急恢复手册（中心局3.2版本）国家邮政局信息技术局2006年7月前言本手册侧重介绍当中心局系统发生严重及以上级别故障时，生产终止的情况下，通过本故障恢复手册利用之前做的备份来恢复数据库及应用，快速恢复生产。本手册分为数据库恢复、数据库服务器恢复、应用服务器恢复、车间服务器恢复四个方面分别介绍快速恢复的办法。适用对象本手册适用对象为各省(区.市)邮政信息技术局及车间服务器运维部门本手册适用范围为根据《中心局生产作业系统运行维护规程（暂行）》的规定，故障情况属于严重及以上级别的故障。适用的范围本手册除了数据库重建脚本以外，都可适用于省内中心局生产作业系统。数据库重建脚本目前适用于中心局生产作业系统3.2版本。处理原则故障处理流程及上报应严格遵循《中心局生产作业系统运行维护规程（暂行）》的要求。本手册中的恢复方法必须提前做好备份工作，请根据本手册的恢复要求制定好备份方案。恢复方法说明本手册分为数据库恢复、数据库服务器恢复、应用服务器恢复、车间服务器恢复四个方面分别介绍快速恢复的办法。数据库恢复：当数据库发生故障时，我们首先需要根据实际情况选择适当的数据库恢复办法，然后利用数据库备份对数据库进行恢复。数据库故障是所有故障中比较常见的一种，故障原因相对复杂，恢复起来也比较困难。所以本手册的重点放在数据库的恢复上，本手册根据不同种类的备份和生产需要提供三种数据库恢复方法。三种方法分别为直接用冷备份恢复数据库、利用主备及主备之后连续的归档重做日志恢复数据库以及重建数据库下面就以上三种恢复方法分别介绍各种方法的适用情况及优缺点。请各局根据本局实际情况，参照以下说明选择适合本局的备份方式及恢复方法。选择备份与恢复方案时，应该考虑备份种类、备份和恢复时间、生产需要等多方面因素。1)直接用冷备份恢复数据库适合恢复生产库。此方法的优点是操作比较简单，恢复所需的时间比较短。缺点是用冷备份恢复的数据库将无法恢复到故障点，所以从冷备份到发生故障点之间的生产数据丢失，需要生产人员采取手工录入、发验单等业务手段将丢失的生产数据补齐。2)利用主备及主备之后连续的归档重做日志恢复数据库适合恢复一、二级中心局的生产库。此方法的优点是数据库可以恢复到发生故障的时间点，理论上说不会丢失数据。缺点是由于操作比较复杂，所以相比第一种方式，恢复数据库所需的时间较长。3)重建数据库同时适用于生产库和历史库的恢复。由于历史库目前没有做冷备份并且运行在非归档模式下，所以当历史库发生故障时只能采取重建的方式。重建后将历史库的主备份和当月的辅备份导入历史库即可恢复历史库。对于生产库来说，当备份不全或者不可用的时候也可以选择重建数据库的方法恢复生产库。根据不同类型的数据库，我们提供不同的建库脚本（包括一二级局生产库、三级局生产库、一二级局历史以及三级局历史库四个脚本），统一下发给全国各个中心局。Level2.tar.gz包括一二级局生产库及历史库的建库脚本，Level3.tar.gz包括三级局生产库及历史库的建库脚本。请各局到w3网站上下载相应的建库脚本。数据库服务器恢复：当数据库服务器发生严重及以上级别故障时（如操作系统故障），我们先将数据库切换到另一台数据库服务器上，并且重装故障服务器，再用之前的备份恢复数据库服务器。应用服务器恢复：当应用服务器发生严重及以上级别故障时（如操作系统故障），我们先将应用切换到另一台应用服务器上，并且重装故障服务器，再用之前的备份恢复应用服务器。本手册除了提供用冷备份恢复应用服务器，还提供了不用备份恢复应用服务器的方法。车间服务器恢复：当车间服务器发生严重及以上级别故障时（如操作系统故障），在有备用车间服务器情况下，可将故障车间服务器所连的终端连接到备用车间服务器上；若没有备用车间服务器，在条件允许的情况下，我们可以将连在故障车间服务器上的终端连到其他车间服务器上恢复生产。随后重装发生故障的车间服务器，再利用之前的备份恢复车间服务器。恢复方法1数据库恢复1.1生产数据库恢复适应故障：oracle数据文件损坏或丢失导致数据库无法启动恢复步骤：首先按1.1.1执行。若1.1.1不成功按1.1.2执行。1.1.1利用主备和主备之后连续的archive日志文件恢复生产库说明：使用这种恢复方法恢复数据库的前提是生产库的主备以及主备后所有的archive日志文件都是连续并且齐全的。具体的操作步骤如下1)建以下目录mkdir–p/oracle/yz/u01/admin/pfilemkdir–p/oracle/yz/u01/admin/bdumpmkdir–p/oracle/yz/u01/admin/udumpmkdir–p/oracle/yz/u01/admin/cdumpmkdir–p/oracle/yz/u01/oradata2)将最新的生产主备份文件从磁带tar回/home/oracle/databak的dbf,data,arch目录中，具体步骤如下：将最新主备份的磁带放到磁带机里cd/，在跟目录下执行tarxvf/dev/st0或tarxvfz/dev/st0将磁带里的备份tar回3)如果空间不够，可先作链接到另外的分区上（如/archive）步骤如下：cd/archivemkdiroradatacd/oracle/yz/u01rm–rforadataln–s/archive/oradata/oracle/yz/u01注：如果空间足够不需要做链接其他分区这一步操作。4)将/home/oracle/databak/dbf下的文件拷贝至oracle/yz/u01/oradata目录下cp/home/oracle/databak/dbf/*.Z/oracle/yz/u01/oradata5)uncompress所有备份的数据文件uncompress/oracle/yz/u01/oradata/*6)将archive文件拷贝至/archive/yz目录下cp/home/oracle/databak/arch/*/archive/yz/注：必须保证从主备份后的所有archive文件齐全。7)将备份的控制文件拷至/oracle/yz/u01/oradata，注意文件名cp/home/oracle/databak/dbf/control.bak/oracle/yz/u01/oradata/yz_control01.ctlcp/home/oracle/databak/dbf/control.bak/oracle/yz/u01/oradata/yz_control02.ctlcp/home/oracle/databak/dbf/control.bak/oracle/yz/u01/oradata/yz_control03.ctl8)数据库恢复进入ServerManager修复数据库：[root@zxj_db1dbf]#su-oracle[oracle@zxj_db1oracle]$svrmgrlSVRMGRconnectinternal;Connected.SVRMGRstartuprestrictmountSVRMGRselect*fromv$datafile;（查看所有的数据文件）SVRMGRalterdatabasedatafile'/oracle/yz/u01/oradata/yz_system'online;SVRMGRalterdatabasedatafile'/oracle/yz/u01/oradata/yz_tool'online;………………（将所有数据文件置为online状态）SVRMGRrecoverdatabaseuntilcancelusingbackupcontrolfile;SVRMGRcancel;注：由于这种硬件故障，最后一个arch文件多半有问题，所以要做不完全恢复，不要选auto。到恢复最后一个arch时选cancel；否则恢复不成功要重新来过。SVRMGRalterdatabaseopenresetlogs;9)数据库启动成功后建议先做一个数据库冷备份SVRMGRshutdownimmediate;tarczvfu01.tar.gz/oracle/yz/u01注：以上步骤可参考recover.sh脚本。1.1.2通过重建数据库方式来恢复生产库说明：通过重建数据库，并且把导出的数据导回数据库的方法来恢复数据库。下面分别介绍不同类型数据库通过重建方式恢复数据库的方法。注：重建生产库需要各局提前记录yz_archive1_inx、yz_archive2、yz_archive3及yz_archive4四个表空间的大小，以便在重建后将以上几个表空间扩展到合适大小。各局生产库的所有数据量比较大的表都集中在yz_archive1_inx、yz_archive2、yz_archive3及yz_archive4表空间上，所以扩展这四个表空间就可以了，这四个表空间的大小可参考重建库前各表空间的大小。1.1.2.1一二级中心局生产库1)创建以下目录mkdir–p/oracle/yz/u01/admin/pfilemkdir–p/oracle/yz/u01/admin/bdumpmkdir–p/oracle/yz/u01/admin/udumpmkdir–p/oracle/yz/u01/admin/cdumpmkdir–p/oracle/yz/u01/oradata2)执行yz/目录下的setup.sh重建数据库3)导入之前备份的dmp文件。注：此建库脚本已包括表结构、索引、同义词、dblink等。如不需要建表等可修改installuser.sh注掉建表和同义词。1.1.2.2三级局及非三级局生产库1)创建以下目录mkdir–p/oracle/yz/u01/admin/pfilemkdir–p/oracle/yz/u01/admin/bdumpmkdir–p/oracle/yz/u01/admin/udumpmkdir–p/oracle/yz/u01/admin/cdumpmkdir–p/oracle/yz/u01/oradata2)在/oracle/yz/u01/oradata下分别按三级局名称创建不同目录cd/oracle/yz/u01/oradatamkdirwhnmmkdircfnmmkdirtlnm注：以上步骤以内蒙三级局乌海、赤峰、通辽为例。3)执行yz/global/目录下的setup.sh4)执行yz/user/目录下的installuser.sh,根据提示选择中心局名称进行重建（以上两个步骤为重建生产库的步骤）5)将之前不同实例的备份导入相应数据库中。注：此建库脚本已包括表结构、索引、同义词、dblink等。如不需要建表等可修改installuser.sh注掉建表和同义词。1.2历史数据库恢复适应故障：oracle数据文件损坏或丢失恢复步骤：按1.2.1执行1.2.1一二级中心局历史库说明：重建历史库前先记下表空间的大小，重建历史库后，首先扩表空间，然后导入历史库主备，最后导入当月的历史库辅备。步骤：1)记下yz2_archive1_inx、yz2_archive2、yz2_archive3及yz2_archive4四个表空间的大小2)创建以下目录mkdir–p/oracle/yz2/u01/admin/pfilemkdir–p/oracle/yz2/u01/admin/bdumpmkdir–p/oracle/yz2/u01/admin/udumpmkdir–p/oracle/yz2/u01/admin/cdumpmkdir–p/oracle/yz2/u01/oradata3)执行yz2/目录下的setup.sh重建历史库4)cd到expand目录下依次执行epd_archive1_inx.sh、epd_archive2.sh、epd_archive3.sh及epd_archive4.sh，按照提示分别扩展以上四个表空间5)导入历史库主备6)将历史库辅备的数据从数据库删