通信机房停电应急预案

通信机房停电应急预案核心机房电力的保障一直是维护体系的头等重要事项，通过实施应急发电演练，建立了可靠的应急预案机制，最大限度的降低电源中断对网络传输质量的影响。现分享核心机房电源中断应急预案，希望分公司尽快建立一套统一指挥、职责明确、反应迅速、处置有力的机房安全保障机制。组织架构:责任领导、工程维护、网络监控、网络运维、质量管理等相关人员。机房电源系统说明:1、机房电力是两路三相四线制供电，进线线缆规格为：RVV50*4+16*1铜芯护套线。2、机房电源系统采用三级防雷系统，三级防雷分别位于电源进线端、UPS输入前端。3、机房现有两台60KVA-UPS电源，均处于正常运行状态。4、机房现有设备机柜已编号，均通过UPS电源和市电供电，每个机柜有独立的20A空气开关。空调、墙壁插座开关、应急灯、照明等都是单独空开接市电。5、运行中的UPS电源所带负荷，在逆变运行状态下能正常工作约4小时(已经过UPS放电测试)。一、核心机房电源中断预案1、在接到停电通知的情况下：1)计划性停电通知要确保综合部、工维机房管理部对口人接到通知(提前将对口联系人备案在物业处)，机房管理员接到计划停电通知后，升级到调度中心进行信息发送，同步进行邮件通知相应应急小组成员。并与负责组长及责任领导电话告知，确保已经接收到本次停电的时间及可能发生的情况。2)维部进行发电应急预案小组成员通知，提前做好机房发电预案要求的准备工作，将相应的发电机、连接线、人员安排到位，各司其职，随时待命现场，做发电准备工作。确保停电时刻的电力安全及机房用电的保障措施，提前调度安排好相应人员做好保障用电的措施。3)计划停电时间开始后，马上启动应急发电操作，按照机房发电操作步骤实施阶梯供电的步骤，恢复市电保障。并进行现场值守及设备工作确认，确保全部正常后电话告知调度中心及维护体系领导。2、在没有接到任何通知，突然发生停电的情况下：确认停电线路，停电时刻，停电时间等要素，启动核心机房发电应急预案。1)值班网管工作流程：⑴值班网管监控到核心机房停电，第一时间告知工维部、网络部、运维部应急小组组长。信息传达到工维部机房管理员(一主一备)，告知停电开始时间。要求在停电5分钟内将消息传达到调度中心，各应急小组组长。如无法联系上，进行升级到责任领导-工维部经理经理处。⑵网管将停电信息电话传达后，进行调度派单，确保全部的应急小组成员都收到本次故障停电的信息。然后进行机房中设备的检查，包括：UPS设备主机、各核心设备、汇聚设备、服务器、语音系统等。检查是否受影响。同时启动机房降温措施(降温方案：初步为加装抽排风设备、增加大风扇排风形成热量流动降温)⑶实时监控设备及UPS工作情况，包括：电量下降情况，设备工作正常情况，每15分钟通报一次电量情况。2)运维部应急工作流程：⑴运维应急同事接到故障通告后，第一时间往停电现场赶，到现场配合网管/工维部门进行设备仪器的检查、客服语音系统的保障，应急发电的协助。⑵现场配合进行机房降温散热措施实施，实时检查网络设备的工作情况。3)运营质量管理应急工作流程：⑴调度中心值班人员接到网管监控调度信息后，第一时间将故障信息记录并发故障通告到相关应急成员，并电话通知各应急小组组长是否知悉。⑵进行客服调度系统的设备工作运行系统检查，特别语音系统级坐席电脑，是否有问题，如发现工作系统有异常，及时与运维应急小组成员沟通，进行检查处理。⑶实时关注故障工单流程进度登记，配合应急小组进行人员调度通告。4)工维部应急工作流程：⑴机房管理员第一时间往停电现场赶，同时进行电话沟通供电公司、物业方等，咨询停电原因，是属于计划性还是突发性停电，预计停电时长，将咨询清楚的结果反馈到应急小组成员中，电话联系物业沟通好需要发电需求申请。⑵工维应急小组组长接到时间后第一时间往停电现场赶，同时进行发电应急小组成员调度，安排第一时间到场工作开展，并升级通报告知主管领导，对口集团维护中心上报信息。⑶工维应急小组成员接到停电时间后第一时间往停电现场赶，要求30分钟内必须到场(住机房附近的人员往现场去，较远同事可以进行打车往现场去)，先行到处同事配合网管、运维同事启动做好应急发电前的准备：连接线布放、接续、发电机发电前检测油/电/水路检查，确保正常。确保一切就绪后，确认可以进行发电操作后，按照发电操作流程进行发电恢复市电。⑷网管将监控到停电的相应信息及级别同步发送到运营质量管理部调度岗，由调度岗将相应信息进行工维、运维、网络关联同事进行信息告知，同时报工维主管领导知悉。5)应急机房发电操作流程：⑴机房用电系统包括四方面：空调制冷、主/备UPS主机、照明系统、客服调度系统。⑵发电前考虑4方面系统设备用电功率情况，为保障发电机带动的正常，不能进行同步供电，要区分优先恢复的步骤实施，确认发电机的工作正常。在发电前将需要供电的“空调制冷、主/备UPS主机、照明系统、客服调度系统”的市电输入主开关关闭。防止同步启动时发电机的无法供电保证。⑶启动发电机，检测发电输出电流通断，待发电机运行稳定后。第一步启动空调制冷系统的市电输入开关，运维应急小组成员重新启动空调主机(空调因为市电恢复后需要重新启动)观察空调制冷工作是否正常。第二步启动主UPS设备的市电输入开关，观察发电机运行稳定情况，主UPS主机工作稳定情况，网络设备的工作正常与否。第三步启动客服系统的市电输入开关，包括(客服坐席电脑、UPS设备、空调制冷等)，观察发电机运行稳定情况，设备恢复工作情况。第四步启动备UPS设备、市电照明的市电输入开关，观察发电机运行稳定情况，备UPS主机工作稳定情况，网络设备的工作正常与否。⑷发电机启动，市电输入正常后，网管将降温系统的抽排风设备关闭，与运维同事进行所有设备的运行进行全面的检查，确保设备已经是运行正常。⑸发电机发起市电正常后，工维应急小组安排专人现场值守，及时关注发电机油量情况，同时与油品供应商确认油品配送要求及时间要求，并实时与供电部门确认市电恢复时间。6)停电过程中突发事项预防:⑴网管在停电时进行机房确认运行中的UPS工作组、设备组工作状态。主/备UPS工作切换是否正常，在市电中断时UPS是否已经开始进行供电保护。⑵值班网管对机房中的所有设备进行全面检查，确保所有的设备已经是有主备供电，市电中断后UPS已经正常保障设备工作。同时对机房的温度进行观察，温度是否突然升高。⑶停电后，UPS处于逆变工作状态，当班人员要每隔15分钟观察一次UPS的蓄电池容量、带负荷情况、机房环境温度，尽量使蓄电池容量大于60%，带负荷小于85%(因为已经有自购发电机应急，尽快要求短时间发起电，减少UPS的放电过度)。⑷发现机房环境温度大于26℃。当以上指标不能保证时，要及时向机房管理员汇报，同时上报责任领导知悉，网管预案小组成员经过慎重讨论，适时采取关闭不必要网络的网络设备、加强通风降温等措施尽量延长关键设备运行时间。