电子政务运维中心机房应急预案

文件编号:WL-SD-26版次:A/0应急预案分页次:1/181文档编号项目编号保密级别商密***电子政务运维服务中心机房应急预案用户：***有限公司主管机构：主管部门：***信息化领导小组日期：日期：2009-9-1签字：签字：文件编号:WL-SD-26版次:A/0应急预案分页次:2/182目录一、目的....................................................................3二、基本原则................................................................3三、适用范围................................................................3四、应急事件级别定义.........................................................4五、组织机构及职责...........................................................55.1应急领导小组组织机构.....................................................55.2应急领导小组职责.......................................................55.3应急小组成员职责.........................................................5六、应急响应机制.............................................................66.1基本处理流程.............................................................6七、应急方案................................................................77.1互联网中断应急预案（暂定为二级事件）.....................................77.2运维中心ITM监控软件应急预案（暂定为二级事件）...........................77.2.1运维中心ITM监控软件部署情况.........................................77.2.2数据库操作部分.......................................................87.2.3ITM操作部分.........................................................87.2.4ITSM操作部分........................................................97.3运维中心托管应用应急预案（暂定为三级事件）..............................117.4TSM异地备份应急预案（暂定为二级事件）...................................117.5运维中心市电中断应急预案（暂定为二级事件）..............................127.5.1运维机房操作流程....................................................127.5.2柴油发电机房操作流程................................................137.6发电机故障应急预案（暂定为二级事件）....................................15文件编号:WL-SD-26版次:A/0应急预案分页次:3/183一、目的为科学应对网络与信息安全突发事件，提高我省电子政务运维服务中心应对突发应急事件的处理能力，确保信息系统安全运行，维护网络和系统正常运行，降低信息安全事件对运维机房所造成的损失和影响，编制本预案。二、基本原则(1)居安思危，预防为主。实行突发事件统一管理、统一指挥、各级负责的原则；(2)统一领导，分级负责,全面规划、及时发现、快速反应、措施果断的原则。依据《***电子政务统一平台故障等级划分》对突发事件进行分级管理,并按照事件级别迅速上报相关领导和责任人。(3)制度规范，加强管理。严格按照《***电子政务网运行维护规范》、《***电子政务中心机房维护作业规范》事件处理流程规范操作，使突发应急的工作规范事件化、制度化。(4)快速反应，协同应对。当突发事件发生时，各级要立即按应急预案，投入应急工作；加强各个部门配合协作。形成统一指挥、反应灵敏、功能齐全、协调有序、运转高效的应急管理机制。(5)主动报告原则：当突发事件发生后，要及时报告应急预案实施情况。三、适用范围●运维中心互联网中断应急预案●运维中心运维监控软件应急预案文件编号:WL-SD-26版次:A/0应急预案分页次:4/184●运维中心托管系统应急预案●运维中心异地备份应急预案●运维中心市电中断应急预案●运维中心发电机故障后应急预案四、应急事件级别定义根据网络与信息安全突发公共事件的可控性、严重程度和影响范围，一般分为四级：I级（特别重大）、II级（重大）、III级（较大）、IV级（一般）。国家有关法律法规有明确规定的，按国家有关规定执行。（1）I级（特别重大）：重要网络与信息安全系统发生全市性大规模瘫痪，事态发展超出相关主管部门的控制能力，对国家安全、社会秩序、经济建设和公共利益造成特别严重损害的突发公共事件。（2）II级（重大）：重要网络与信息安全系统造成全市性瘫痪，对国家安全、社会秩序、经济建设和公共利益造成严重损害，需要跨部门、跨地区协同处置的突发公共事件。（3）III级（较大）：某一区域的重要网络与信息安全系统瘫痪，对国家安全、社会秩序、经济建设和公共利益造成一定损害，但不需要跨部门、跨地区协同处置的突发公共事件。（4）IV级（一般）：重要的网络与信息安全系统受到一定程度的损坏，对公民、法人和其他组织的权益有一定影响，但不危害国家安全、社会秩序、经济建设和公共利益的突发公共事件。文件编号:WL-SD-26版次:A/0应急预案分页次:5/185五、组织机构及职责5.1应急领导小组组织机构组长：副组长：成员：5.2应急领导小组职责（1）负责编制、修订所辖范围内突发应急事件的《应急预案》。（2）负责协调和督促整个应急事件的处理过程。有针对性地组织专业技术人员对应急突发事件进行增援处理；必要时去现场督促，对于超出界定的突发事件，尽快提出紧急补救措施进行恢复。（3）应急事件处理结束后，协调解决故障现场的恢复生产工作。（4）定期或不定期地对应急小组成员进行技能培训和应急演练。5.3应急小组成员职责（1）值班人员平时应做好应急事件的监控、预警工作，当应急事件发生后，迅速生产事件上报相关领导，并进行先期处置，如有必要通知二、三线工程师。（2）二线、三线工程师在接到应急信息后，应积极配合值班人员进行先期处置，迅速赶往故障现场提供技术援助。（3）对于在应急故障处理期间发生的新问题、新情况，应认真登记，及时上报。对于超出《应急预案》界定的应急事件，应及时汇报应急领导小组，争取尽早提出补救措施进行恢复。文件编号:WL-SD-26版次:A/0应急预案分页次:6/186六、应急响应机制6.1基本处理流程（1）值班人员平时应做好应急事件的监控工作，对于突发事件应认真分析、准确判定故障发生的数据域，负责跟踪该事件直至其结束。对于不在运维中心的故障，应在第一时间内通知负责人去现场处理，密切关注事件流程及进展情况，并做好登记工作上报领导。（2）正常情况下，要求值班人员在10分钟内进行事件确认。如果属于一般事件则按照事件流程进行分派处理，否则应迅速启动《应急预案》，并严格按照《应急预案》所规定的步骤快速实施应急处置，及时汇报上级领导，掌握实时处理情况。（3）在处理过程中，如需其他部门去现场增援处理，应及时向上级领导部门汇报，协调沟通，尽快联系技术工程师或厂家技术支持赶赴现场援助处理。已解决扩大应急发现故障启动应急预案，并通知领导按事件流程处理初步判定故障恢复联系技术支持处理联系开发人员或厂家工程师现场处理一般事件突发事件总结，修订应急预案已解决未解决突发事件应急组未解决已解决汇报进度汇报进度汇报增援记录文件编号:WL-SD-26版次:A/0应急预案分页次:7/187七、应急方案7.1互联网中断应急预案（暂定为二级事件）（1）密切关注，积极与其他机房值班人员取得联系，准确判断故障位置、数据域。如故障区域属于运维中心范围之内，应立即启动应急预案上报相关领导，同时通知其他机房值班人员加紧监控力度。（2）检查网络硬件设备运行状态，如发现指示灯有异常告警，及时与对端进行确认。必要时联系市广电工程师检查物理链路，如情况属实，尽快督促广电工程师去现场进行抢修，并上报相关领导。（3）如发现故障属硬件原因所致，尽快启用备份设备或备用端口，争取将损失减少至最低水平，及时汇报领导，协调更换或维修。（4）登录核心交换机检查配置信息及其运行情况，如果发现配置信息有被篡改的情况，尽快启用备份数据进行恢复。（5）坚持由简到繁，由大到小的原则逐步缩小故障范围，最后定位故障点。如果发现网络内部存在严重病毒感染或网络攻击，果断断网，尽快通知相关责任人查杀病毒，并告知技术支持寻求补救措施。7.2运维中心ITM监控软件应急预案（暂定为二级事件）7.2.1运维中心ITM监控软件部署情况设备ip应用名称位置设备型号备注10.15.36.21省政府监控3列2柜Dell2950可通过vnc登录10.15.36.22省委/人大/政协监控3列2柜Dell2950可通过vnc登录10.15.36.26统一平台监控3列2柜Dell2950可通过vnc登录10.15.36.27配置备份3列2柜Dell2950可通过vnc登录10.15.36.25数据库3列2柜曙光620r可通过vnc登录10.15.36.24服务流程管理3列2柜Dell2950可通过vnc登录文件编号:WL-SD-26版次:A/0应急预案分页次:8/1887.2.2数据库操作部分应用系统要运行，首先应保证数据库能正常工作。如有故障，可以利用vnc远程登录，然后在桌面打开一个命令行终端，输入如下命令：cd/opt/oracle/product/OraHome/bin//进入工作目录ps–ef|grepora//查看服务进程如果输出结果与下图类似，则说明oracle数据库正在运行。否则说明数据库有异常，需要手动重启。kill-9****//杀死相关进程su–oracle//切换用户dbstart$ORACLE_HOME//启动数据库服务进程7.2.3ITM操作部分在确保数据库正常运行后，才能依次在每台监控服务器上启动ITM服务进程，具体命令如下：cd/var/ITManager/bin//进入工作目录ps–ef|grepITM//查看服务进程文件编号:WL-SD-26版次:A/0应急预案分页次:9/189如果有ITMserver进程，则说明ITM服务正在运行。否则，应手动重启。nohup./ITMnurse&//启动ITM服务进程注意：在重新启动ITMnurse服务前，一定要将以前的相关进程全部杀死，否则它将去自动调用ITM服务，导致启动失败。整个启动过程较慢，大约需要8至10分钟，可以在监控区网管机上通过vnc远程进行操作。目前，各ITM应用的syslo信息也存放于本地物理磁盘，所以当应用启动后，还应检查syslog运行情况，具体命令如下：ps–ef|grepsyslog//查看服务syslog进程cd/var/ITManager/syslogc