运行监管系统接口应用投产应急预案

运行监管系统接口应用投产应急预案2011年3月2目录一、总体规定..................................................................................................................................3（一）应急方案的适用范围和基本要求.......................................................................................3（二）应急工作的组织领导...........................................................................................................3（三）应急事件和应急措施...........................................................................................................4二、应急工作准备..........................................................................................................................4三、应急工作流程..........................................................................................................................4（一）应急事件的过滤与认定.......................................................................................................4（二）应急事件处置......................................................................................................................5（三）应急状态解除......................................................................................................................5四、各类应急事件及其应对措施...................................................................................................5（一）一类应急事件......................................................................................................................5（二）二类应急事件......................................................................................................................6（三）三类应急事件......................................................................................................................6（四）其他主要依赖技术手段解决的应急事件...........................................................................63一、总体规定（一）应急方案的适用范围和基本要求1、为了保证中国农业银行住建部运行监管系统接口应用切换上线工作顺利进行，在出现系统功能故障、网络通讯中断等问题时，切换上线分行全辖公积金委托贷款业务能够不中断连续开展，防范操作风险，特制定本应急方案。2、本方案的适用范围为系接口上线工作期间，自开始投产，至特护期结束，参与与切换上线工作相关的所有机构和人员。3、本方案从技术和业务两方面，为应对接口上线期间可能出现的由于接口功能、网络通信、关联系统接口、应用能力等各类原因造成的移植切换部分或全部失败、相关业务无法受理等风险（以下简称应急事件），提供应急指导方案。4、本方案以“连续处理业务，有效控制风险”为原则。应急工作要做到统一领导、分级管理、严格权限、加强监督。（二）应急工作的组织领导系统切换上线期间的应急工作，由软件开发中心总监室和应用开发二部组建领导小组统一领导，工作小组具体组织实施。1、领导小组的应急工作职责：（1）审定住建部运行监管系统接口应用切换上线工作应急方案。（2）组织对重大问题和突发事件进行分析，决定是否启动应急方案。（3）组织对应急方案实施效果的评估，决定是否关闭重大应急事件。2、工作小组的应急工作职责：（1）制定应急方案。（2）对收到的应急事件报告进行分类过滤，初步认定应急事件类型，拟定可采取的应急措施。（3）对一般应急事件，决定是否启动应急方案，并直接组织实施，及时向总监室汇报。（4）对重大应急事件或突发事件，报告领导小组决策，并根据领导小组决定组织应急方案的具体实施。（5）对应急方案实施效果进行评估，决定关闭一般应急事件，向领导小组建议关闭重大应急事件。4（三）应急事件和应急措施1、应急事件应急事件，是指由于数据移植或系统切换不成功、系统功能缺失或缺陷、与关联系统连接不成功、网络通讯中断、主机等硬件设备故障造成的信贷业务大面积、大范围暂停，需要采取紧急应对措施的各类情况。系统切换上线期间的应急事件分为以下类型：一类应急事件：接口投产失败或整体运行故障，需要退回；二类应急事件：接口投产成功，但部分交易失败；三类应急事件：接口投产成功，在运行期间由于系统功能问题或网络通信故障，导致上线部分或全部业务流程无法办理。2、应急措施应急措施，是指为应对具体应急事件所采取的处置方法或手段。对不同类型的应急事件，应分析具体原因，采取不同应急措施，包括以技术手段为主的技术应急措施和以业务手段为主的业务应急措施，以及综合各种手段的综合应急措施。各类应急措施必须经领导小组或工作小组批准后方能实施。二、应急工作准备1、系统切换前原TULIP平台项目必须进行备份，随时准备系统切换的需要。2、切换前，检查网络的联通性。3、根据业务部门提出的应急方案需求，在现有系统联机查询功能不能满足的条件下，提供提取各类统计数据的替代方法（如后台脚本、文件传递等）。4、技术人员随时待命，等待解决问题。三、应急工作流程（一）应急事件的过滤与认定1、在系统切换上线期间出现的各类问题，应第一时间向工作小组的报告。2、工作小组的接到问题报告，应快速判断问题性质，对属于单点、偶发的事件，按照常规问题解决；对于大面积、普遍性问题，及时向领导小组报告。3、工作小组接到问题报告后，应快速判断问题性质。（1）对属于业务处理方法或系统操作方法问题，交项目组业务需求人员处5理。（2）对属于单点、偶发的技术故障，交项目组技术人员处理。（3）对属于应急事件范围内问题，进行风险评估，提出应急措施建议。（二）应急事件处置经工作小组评估，对不同情况的应急事件按如下要求处置：1、对24小时内能够查明原因并解决的应急事件，由工作小组查明原因并组织解决，采取必要的技术应急措施，并及时向领导小组汇报；2、对24小时内无法查明原因或预计无法查明原因，或24小时内无法解决或预计无法解决的应急事件，工作小组应采取临时应急措施，并立即报领导小组协调解决。3、对预计48小时内无法解决的，由领导小组决定启动相关应急方案。（三）应急状态解除在造成应急事件的原因消除后，应按以下流程及时解除应急状态，恢复正常运行状态。1、对工作小组决定实施的应急措施，由工作小组评估继续实施应急措施的必要性，决定是否解除应急状态，并向领导小组报告。2、对领导小组决定启动的应急方案，由工作小组评估继续实施应急措施的必要性，并向领导小组提出建议，由领导小组决定是否解除应急状态。3、应急状态解除后，工作小组组织系统正常运行状态恢复工作，通知有关单位恢复使用系统进行正常业务处理。四、各类应急事件及其应对措施（一）一类应急事件接口投产失败或整体运行故障，将备份项目数据进行恢复。1、切换不成功，回退到投产前状态应对措施：（1）系统由平台中卸载，恢复备份数据；（2）其他关联系统也退回到原来系统，对数据进行处理；（3）将实施情况上报领导小组。62、特护期内，出现重大系统故障，需要回退至投产前状态应急措施：（1）备份系统已发生数据以及关联系统数据。（2）系统回退至投产前状态。（3）由技术支持组和业务支持组对整个系统进行内部检查、确认。（5）其他关联系统也退回到原来系统。（6）上述过程完成后，将实施情况上报领导小组。（二）二类应急事件问题现象：接口投产成功，但部分数据移植失败。应对措施：（1）对移植失败数据，查明原因，重新移植；或者（2）确实不能通过系统移植的数据，手工在系统中补录授权账户信息以及放款（支付）备案、留痕数据。（三）三类应急事件接口投产成功，在运行期间由于系统功能问题或网络通信故障，导致切换业务无法办理。问题1、由于授权控制错误导致的审批中的授权控制无法正常通过。应对措施：（1）检查授权表中数据是否完整；（2）如果是程序错误的修正授权模块程序错误。（3）通过参数调整，放开审批中的授权控制，或暂时取消授权控制。问题2、网络通讯中断，专线无法使用。应对措施：因目前只有一根专线，没有备用线，所以，如果出现此类问题，可考虑采取拨号或者邮件传送数据方式。（四）其他主要依赖技术手段解决的应急事件问题3、部分交易运行慢、阻塞，导致整个系统运行效率低。应对措施：（1）首先杀掉阻塞进程，如还不能解决问题系统重启数据库和CICS，保证系统能用；（2）技术人员检查程序，修改并测试完成后部署。问题4、数据库死锁导致系统不能用。应对措施：（1）首先杀掉死锁进程，如数据库还不能使用，重启数据库；（2）技术人员检查程序，修改并测试完成后部署。7问题5、硬件、网络和系统软件故障。应对措施：开放平台支持部等环境保障部门进行应急处理，进行硬件更换、切换备用网络或更新系统软件版本，如还无法解决提交相关厂商进行处理。问题6、特护期间部分业务出现数据错误。应对措施：（1）技术人员分析错误原因，对程序和数据进行分析，把分析的情况报告给工作小组。（2）如数据可通过程序修改则通知分行人员进行数据修改，如无法通过程序修改，则经过业务人员同意后，由技术人员在后台修改数据，修改数据前进行数据备份，修改后数据业务人员进行确认，确认后再次进行数据备份后，开始正常处理业务。