机房应急演练方案

大厦309机房应急演练方案（电信事业部/网络工程中心）二〇一三年七月为强化公司网络运行安全保障，防范各类突发灾难性事件，保证业务正常开展，现结合机房实际，制定本演练方案。一、演练时间：××××年××月××日二、演练地点：易盛公司未来大厦309机房三、演练内容：场景一：机房电力室联通台达电源系统电池自燃起火场景二：机房UPS室电池自燃起火场景三：自用服务器机柜内某型设备意外失火场景四：机房地板下电缆发生火灾场景五：机房地板下发生漏水场景六：机房交易专线核心堆叠交换机单机损坏无法加电四、机房新增消防报警系统简介由于大厦309机房已分隔为多个区域，而机房原有的消防报警系统受物业公司管制，机房值班管理人员无法在第一时间得知警情。此外，由于机房地板下混铺有强弱电线缆，一旦发生火情也不易及时被值班人员发现。为了解决以上问题，机房新增了一套“早期烟雾报警”系统和一套地板下“温感烟感报警“系统。两套系统的数据均汇聚到消防报警控制主机。1、早期烟雾报警。该系统主要针对机房设备区和UPS室，通过房间上空安装的开孔监测管路，实现对机房主要区域的烟雾和灰尘进行提前预警。2、地板下温感烟感报警系统。该系统一共包括20个报警器，主要针对设备区、UPS室和电力室被地板覆盖的空间进行火情预警（设备区和UPS室的天花板已有物业安装的报警器）。其中，编号004-020共17个报警器分别安装在三大区域的地板下面。由于电力室之前没有安装过烟雾报警器，所以除了地板下安装外，天花板上还加装了编号001-003的3个报警器。3、消防报警控制主机。早期烟雾报警和地板下烟雾报警系统均统一接入机房入口的消防控制主机，发生警情时通过该主机所显示的信息可识别出是哪类报警，并确定相应的告警区域。五、演练实施步骤：（一）场景一：机房电力室联通台达电源系统电池自燃起火1、故障发生值班区门口北墙壁挂的“消防报警控制主机”发出声音告警，监控大屏1-3号感应器至少一个发出“报警”信息，或“消防检测”项目处出现红色闪烁“报警”字样。2、处置流程（1）机房值班管理人员迅速观察消防告警箱显示屏给出的告警器编号，确定是哪个传感器报警。（2）根据告警器编号，如果是001-003号则可确定报警点所属位于电力室，应立即进入室内查看。（3）电力室内主要安装有联通公司的台达直流电源系统，其蓄电池分两组排列。一旦确认电池起火，可立即取出机房配备的灭火器，拉出保险销，对起火焰根部位进行持续喷射。（4）打开电力室房门和值班区窗户进行排烟，观察设备区用电设备的工作情况，并及时向上级领导汇报。（5）打扫、清理现场，通知联通公司更换电池组。备注：由于台达电源系统的电池与主机之间没有安装独立的控制开关，一旦发生火势确实无法控制的情况，应立即打开房间内的“动力配电柜”，关闭柜中的“联通台达电源开关”，然后关闭柜门、退出房间并禁闭房门，手动开启门外壁挂的气体灭火控制开关，对整个电力室实施气体喷射灭火。气体灭火装置启动后有30秒预警时间，所有人员务必迅速撤离电力室并紧闭房门。3、事件报告报告人：报告对象：报告内容：今日××时××分，公司大厦309机房电力室联通公司直流电源系统电池发生自燃，经紧急处置，起火电池已被扑灭。目前，设备区联通公司直流用电设备工作正常，未对网络及通信造成影响，但联通公司相关直流电源设备已暂时失去断电保护。（二）场景二：机房UPS室电池自燃起火值班区门口北墙壁挂的“消防报警控制主机”发出声音告警，监控大屏“消防检测”和“早期烟雾报警”项目处出现红色闪烁“报警”信息。2、处置流程（1）“早期烟雾报警”覆盖区域为机房设备区和UPS室。一旦该系统出现报警，机房值班管理人员应立即赶往机房设备区和UPS室查看。（2）如果确认是UPS电池柜（科华/APC）内的蓄电池起火，应立即找到电池柜上的电源控制开关（断路器）并将其关闭。（4）取出机房所配消防应急箱中的螺丝刀等工具，撬开电池箱箱体金属板，露出自燃的电池。（5）就近取出机房配备的灭火器，拉出保险销，站在上风处对起火电池进行持续喷射，将火焰彻底扑灭。（6）打开房间窗户排烟，观察设备区用电设备的工作情况，并及时向上级领导汇报。（7）打扫、清理现场，紧急采购和组装新电池，尽快恢复UPS的断电保护功能。3、事件报告报告人：报告对象：报告内容：今日××时××分，公司大厦309机房UPS室（科华/APC）UPS电池发生自燃，经紧急处置，起火电池已被扑灭。目前，电池组已与UPS主机断开，设备区各用电设备目前工作正常，未对网络及通信造成影响，但相关设备已暂时失去断电保护。（三）场景三：自用服务器机柜内某型号设备意外失火1、故障发生值班区门口北墙壁挂的“消防报警控制主机”发出声音告警，监控大屏“消防检测”和“早期烟雾报警”项目处出现红色闪烁“报警”信息。2、处置流程（1）机房值班管理人员观察报警信息给出的确切区域位置，迅速确定消防报警的区域。（2）如果确认是公司自用机柜中的某型设备起火，应立即根据事故机柜编号，在机房南墙下的“科华三相UPS负载配电箱”上找到对应的电源控制开关并将其关闭（如下图）。（3）取来灭火器，打开事故机柜柜门，拔掉保险销，对准火焰根部持续喷射，将火焰扑灭。（4）打开房间窗户排烟，观察其它机柜用电设备的工作情况，并及时向上级领导汇报。3、事件报告报告人：报告对象：报告内容：今日××时××分，公司大厦309机房公司自用机柜×号柜的××设备意外起火，经紧急处置，火已被扑灭。目前，该机柜已彻底断电，柜内各设备的具体用途以及对公司业务造成的影响正在进一步核实当中。（四）场景四：机房地板下发生电缆失火1、故障发生值班区监控大屏“消防检测”项目出现红色闪烁“报警”信息，一个或多个特定编号的烟/温感报警器也同时出现红色“报警”字样。2、处置流程（1）根据报警器编号，机房值班管理人员应迅速判定报警区域并拿上“地板吸”赶往现场，打开地板进行观察。（2）确认火情后，应立刻就近取来灭火器，拔掉保险销，站在上风处对准火焰根部持续喷射，将火焰扑灭。（3）打开房间窗户排烟，联系公司电气工程师到现场进一步处置，并及时将情况向上级领导汇报。（4）打扫、清理现场。（5）配合专业人员详细检查地板下强弱电电缆受灾情况和设备、网络运行情况，评估事故损失。3、事件报告报告人：报告对象：报告内容：今日××时××分，公司大厦309机房××区域地板下电缆意外失火，经紧急处置，火已被扑灭。目前，已联系公司电气工程师来现场勘验，进一步查找事故原因。该事故对公司业务造成的影响正在进一步核实当中。（五）场景五：机房地板下发生漏水1、故障发生值班区监控大屏“漏水检测”项目出现红色闪烁“报警”信息。2、处置流程（1）机房值班管理人员观察报警信息给出的确切区域位置，迅速确定漏水的具体房间（参见下图）。（2）立即前往漏水现场，打开地板对水线检测区域进行查看。（3）快速查找漏水来源，采取应急封漏及排水处置，防范因水灾引发电路故障。（4）观察设备区用电设备工作情况，并及时向上级领导进行汇报。（5）彻底堵漏并清理现场积水。（6）详细检查机房场地受灾情况和电力线路、网络线路情况，并随时监测机房湿度环境变化。3、事件报告报告人：报告对象：报告内容：今日××时××分，公司大厦309机房××区域发生漏水，水源来自××××。经过紧急处置，漏水现已停止。设备区各用电设备工作正常，未对网络及通信造成影响。（六）场景六：机房交易专线核心堆叠交换机单机损坏无法加电1、故障发生值班区“网络拓扑”监控大屏上大厦交易专线核心交换机Trade-SW3750和郑商所主中心的两根连接线突然有一根显示红色，和楼层链接线路带宽从2000M降为1000M。网络监控软件同时发出紧急告警。2、处置流程（1）网络管理值班人员迅速进入机房设备区，打开5号机柜后门，查看机柜下方安装的交易专线核心交换机Trade-SW3750的工作状态。（2）确认其中一台交换机电源损坏，设备已无法加电。如果是主设备无法加电，需要把主设备的5,10,11,12,15,20口平行上移到备设备的5,10,11,12,15,20口。这些口的业务分别为（易盛技术部，华泰长城，IDC，和讯，国泰安，国信）。（3）检测当前链路状态。查看路由是否学习到，ping郑交所上联口ip，ping郑交所前置机。（4）向上级领导汇报事故情况。（5）联系设备供应商值班人员（冯述军，13598823217），通报设备基本故障情况，安排专业人员到现场进行检测。（6）准备其它型号的新交换机做冷备份。由于原设备为双机热备，仓库无同型号备机，而不同型号交换机之间无法直接导入配置。因此，需将在用主机配置文件经分辨后导入。确认配置无误后，保持新设备处于冷备工作状态。3、事件报告范本报告人：报告对象：报告内容：今日××时××分，公司大厦309机房交易专线核心交换机3750发生主用机单机故障，初步确认是电源损坏导致设备无法加电。本次事故中，网络主干未受影响，受影响的下级线路已全部切换至另一台交换机。目前，所有网络均已恢复正常。此外，在恢复双机热备之前，为防止在用设备再次发生意外，已准备了一台其它型号的交换机作为冷备份。本次事故影响到的下级线路主要有：主交换上的直接业务（易盛技术部，华泰长城，IDC，和讯，国泰安，国信期货），期间因此中断了约3分钟。未来大厦和未来公寓会员用户未受到影响。附：大厦309机房电力控制走向图郑州易盛信息技术有限公司2013年7月28日空调电源引自5F电力室02号柜4号开关309机房电力室空调配电箱UPS室.电力室小空调配电箱值班区.空调新风机配电箱电力室.小空调UPS室.小空调值班区1#,2#小空调新风机动力电源（双路）引自5F电力室04号柜5/6号开关309机房电力室动力配电箱UPS室易盛科华三相UPS动力配电箱UPS室联通APC单相UPS动力配电箱电力室.联通48V台达直流电源柜值班区..动力配电箱设备区.联通电话程控交换机.....UPS室易盛科华30KVA三相UPSUPS室联通APC8KVA单相UPS值班区、门禁、交易所电话程控交换机、电视机、X.25机架,设备区备用市电插排设备区联通ADSL交换机柜设备区科华UPS负载配电箱电池检测仪.消防电源箱易盛.1—9#服务器机柜易盛.环境监控服务器照明电源引自310房间.309机房电力室照明配电箱UPS室..照明配电箱UPS室照明.设备区照明.应急灯...大厦309机房电力控制走向图设备区1#,2#大空调机组电力室照明.值班区照明.....