IDC机房故障及案例举析

目录一．IDC机房电力系统故障举析二．将单电源回路系统的IDC机房实现低成本在线改造成双总线供电结构的实例举析三．综合体会、提问与讨论一、IDC机房电力系统故障举析1、IDC机房电力系统故障举析1、举例一：某400KVA*（3+1）UPS输配电气结构图；3.15电容泄露事故；5.13电子开关误动作等引起单点故障的实例解析；9.09电池开路的断电事故；400kva*（3+1）UPS系统6#负载输出屏7#UPS输出屏——A路8#UPS输出屏——B路2#屏市电输入（主）屏3#屏市电输入（副）屏电池组排11#BYPASS5#屏：UPS输入4#屏旁路及市电应急输入1#--UPSk13200Ak23200AK9800AK82500A3#--UPS~==~2#--UPS~==~~==~Q1K10800AQ1K11800AQ1Q5NQ5NQ5NQ4SK72500AQ3NQ3BPK102000AK92000AQ5NQAF8至6F-K14柜A路QAF9至6F-M01柜A路QAF10至6F-O01柜A路QF11备用QF12备用QBF1至6F-A17柜B路QBF2至6F-C01柜B路QBF3至6F-D17柜B路QBF4至6F-F01柜B路QBF5至6F-G16柜B路QBF6至6F-H16柜B路QF13备用QF14备用QF15备用QAF5至6F-G16柜A路QAF6至6F-H16柜A路QAF4至6F-F01柜A路QAF3至6F-D17柜A路QAF2至6F-C01柜A路QA6F01至6F-A17柜A路9#电池开关柜壬癸庚辛4#--UPS~==~K12800AQ1Q5N15#扩容预留K备1000AQBF7至6F-J01柜B路QBF8至6F-K14柜B路QBF9至6F-M01柜B路QBF10至6F-O01柜B路QBF11备用QBF12备用QBF13备用QBF14备用QBF15备用QAF7至6F-J01柜A路K13160AK14160AK15160AK16160AK3250AK4250AK5250AK6250A1#THM有源滤波器2#THM有源滤波器3#THM有源滤波器QF16备用QBF16备用2、举例二：某机房300KVA*（2+1）UPS输配电气结构图，UPS维修时误操作引起单点故障实例解析；2、IDC机房电力系统故障举析Q289917K1—1200AK2-500A-1#UPS输出K3-500A-2#UPS输出K4-500A-3#UPS输出QF1-500A921至列头柜QF2-500A922至列头柜QF3-500A923至列头柜QF4-500AQF5-300AQF6-300A457903移动油机接口ATS1#UPS输入QF1-630AQF3-备用QF2-备用QF1-直流系统62#UPS输入QF2-630A3#UPS输入QF3-630A1#UPS旁路输入QF4-630A2#UPS旁路输入QF5-630A3#UPS旁路输入QF6-630AATSATSATS901来自市电1902来自市电2Q1K1-400A-4F空调配1-904K2-300A-4F空调配2-905K3-300A-5F空调配-906K4-63A-4F照明-907K5-63A-5F照明-908K6-100A-4F风扇-9091F照明5F风扇910913914911912915920919918ups-1#电子旁路~==~手动旁路电子旁路~==~手动旁路电子旁路~==~手动旁路916至蓄电池至蓄电池至蓄电池312ups-2#ups-3#QF4—1200A300KVA（2+1）UPS系统3、低压系统失压保护装置引起的惊险与分析3.07张江6.02张江5.12真北3、IDC机房电力系统故障举析1、2008年12月24日，湖南荷花园局因UPS输入开关跳闸，造成该省分公司CRM系统、集中计费系统、10000号系统、综合结算系统、网上营业厅、WAP业务系统中断服务近2小时；2009年3月，湖南荷花园同一UPS系统因电容器炸裂，又一次导致服务中断事故；2、2009年2月16日，上海信息园区增值业务机房因UPS电源系统故障，导致机房内新建WAP系统、NMSC系统、ISAGRouter系统、BREW系统、PIM系统、OTA&KJAVA系统（未正式上线）以及机房出口网络设备中断近2小时50分钟，造成全网189用户上述业务服务全部中断；4、集团公司级08-09年的大型事故5、集团公司级08-09年的大型事故3、2009年4月27日，集团京门机房UPS供电系统输入开关跳闸（后查明开关整定值设置偏小），维护人员在紧急处置时误操作外置维修旁路开关，造成UPS系统供电中断。导致京门机房21个C网业务平台服务中断；4、2009年5月8日，青海格尔木局因外部市电原因导致直流供电系统毁坏，造成该局近两万电话用户，200多宽带用户中断4个多小时；5、2009年6月5日，因雷暴天气造成外部市电多次闪断，安徽合肥五里墩电信大楼一个直流系统蓄电池经过二次短时放电(每次3到5分钟），在第三次放电3分钟后中断。导致短信互通网关、本地传输、省内数据骨干网ATM、城域网BRASE设备、本地交换用户近2万户、12个移动基站等中断近27分钟。6、综合分析1、电源系统设计不尽合理，UPS系统主机旁路输入与主输入共用一个输入开关，在某一单机故障时，极易导致故障扩大。（例:上海信息园区2.16故障、湖南荷花园3月份断电故障）2、供电回路上下级开关匹配（含整定值匹配）不合理，导致故障从某单点向上级扩大。另外，单回路供电系统的设计，系统基本上没有可维护性，处于看守式维护，被动等待故障的出现；3、现网电源设备超期服役状况严重，特别是2V蓄电池组，运行时间超过8年后（6V\12v不建议超过6年）随时可能出现放不出电的现象（例：安徽合肥电源中断事故）4、不严格执行机房无人值守的条件，在远程维护手段不具备（无监控）、维护职责未落实的情况下，对电源设备实行无人值守。在出现输入开关跳闸、市电中断等前兆性故障时，没有及时处理恢复，导致故障扩大，造成业务中断（例：湖南荷花园12月24日故障，青海西宁格尔木路局5月8日故障）；5、电源维护人员数量配置不足，专业技能欠缺，在正常维护检查中不能及早发现故障苗头，甚至误操作导致故障或导致故障扩大（例：京门4月27日UPS故障）；6、电源应急预案及故障操作、处理流程不完善，导致操作失误或处理时间过长造成故障扩大（例：例：京门4月27日UPS故障，青海西宁格尔木路局5月8日故障）二、将单电源回路系统的IDC机房实现低成本在线改造成双总线供电结构的实例举析1、原系统供电结构图Ups总输出开关柜市电1ATS1市电2柴油机ATS2UPS输入配电柜K1(2+1)ups主回路(2+1)ups旁路UPS输出分配柜UPS列头柜机架UPS输出分配柜外部低压电力室1F-UPS配电室4F机房配电区域2、系统参数及历史故障概述a)该机自2001年投入运行的到2007年，未发生过具有重大影响的电力事故；b)08年以来，以UPS为主的电力事故接连不断，其中2次重大的断电事故，间、直接损失超千万。究其事故的表面原因，多为UPS设备及电池老化、性能下降、故障率上升、市电超限、输配电器件误动作所致，但其实质是单电源、单回路的配电结构没有对负载形成应有的冗余回路保障等原因，使小故障升级引起的重大事故。机房区面积机架数量电力区面积UPS配置理论后备时间市电配置空调数量制冷量570m2237只150m212P-300KVA*2+136min2*1600KVA17台约900kw空调能耗功率UPS输入UPS输出Ups效率空调能效比视在功率有功功率THDUTHDICOSΦ视在功率有功功率THDUTHDICOSΦ310KW580kva420kw3.4%7.4%0.72425kva349kw0.6%17.1%0.8273%0.893、单路径的缺陷分析a)ATS1的单点性：从市电输入侧看，虽然市电1、2形成了双路输入，但ATS1就是一个单点故障点；b)ATS2的单点性：虽然由ATS1转换后的两路市电与柴油机组通过ATS2形成了有效的回路备份，但ATS2的单点故障性将使3路电源的备份形同虚设（排除柴油机容量不足的问题）；c)UPS总输出开关柜的单点性：虽然在UPS输入柜中的各分机主输入和旁路输入端都都设置了分路开关，看上去与2+1的UPS设备已经形成了有效分路备份，但却在总输出开关柜中将所有UPS的输出通过母排并接在一个总容量为1250A的电子开关（K1）的上桩头，无疑是一个致命的单点故障点，如果该开关故障或者误动作，将会使整个的后端负载失电（其中一次达的断电事故便是由此开关受谐波干扰后的误动作引起的）！d)下游的单点性：从UPS总输出柜K1的下端直至机房内的配电尾端——机架，可以看出所有的路径均是单路径的单点配电结构，其中任何一个中间器件故障都会影响其下级设备的正常运行，只是不同点位的故障影响范围有所区别罢了；4、设备及下走线的缺陷a)UPS设备老化的缺陷分析：从表2数据输入功率因数0.77，输入输出效率70%可知，其UPS的运行参数已远远偏离了其高效节能的合理区间。该UPS设备在日常运行中，时常出现误告警、实际运行参数和显示参数不一致、误转或拒转旁路、逆变器IGBT击穿、交直流电容泄露等严重的故障现象，所以更新该套UPS设备也属必然！b)下走线的缺陷：该机房原采用的活动地板下送风、上回风的送风方式，但地板下走线方式，严重制约了空调的制冷和送风效果，致使空调系统的能效占比高、效率低（表2数据），从节能减排的角度出发，对本系统改造和更新也是迫切需要。5、改造方案及解析：a)改造目标：将低效能的旧UPS及蓄电池系统在线更新；将单回路供电模式改造为双总线结构的供电模式；地板下综合布线的走线方式改为上走线方式；b)改造原则：改造全过程不能中断或影响业务的正常运行，尽量利用原系统的输入输出配电柜和可用线路，节约投资；6、高可用双总线结构的UPS供电系统目前，业内比较流行和公认的“高可用双总线UPS供电系统”结构由三部分组成：前级输入：两路以上的市电、油机及适当数量的ATS组成的输入配电系统，系统组成为2*AC+M*ATS；不间断电源设备：采用2*N或2*（N+1）UPS+电池系统，组成不间断供电系统；后级输出：由若干数量的静态开关组成的不间断自动切换装置，内容为K*STS；7、改造方案---A实现“双UPS系统的双总线”结构的供配电模式，该方式是目前IDC机房比较通用的双总线结构的冗余配电方式，是将容量相等、组合方式相同的两套UPS系统，相互线路独立、全容量互备的供电方式直到机架：ATS3ATS4AC输入配电柜新增AC电力系统市电1ATS1市电2柴油机ATS2UPS输入配电柜（2+1）ups旁路（2+1）ups主回路UPS列头柜机架外部低压电力室原UPS电力系统4F机房配电区域UPS输出配电柜STS-1STS-2STS-m机架UPS列头柜UPS输入配电柜（2+1）ups主回路（2+1）ups旁路实现“单UPS系统+AC+集中式STS的双总线”结构的供配电模式7、改造方案---BATS3ATS4AC输入配电柜新增AC电力系统市电1ATS1市电2柴油机ATS2UPS输入配电柜（2+1）ups旁路（2+1）ups主回路UPS列头柜机架外部低压电力室原UPS电力系统4F机房配电区域UPS输出配电柜STS-1STS-2STS-m机架UPS列头柜实现“单UPS系统+AC+模块化STS的双总线”结构的供配电模式7、改造方案---C机架双路配电模块4*4口插座板4*4口插座板机架式STS模块AC侧UPS侧128单电源服务器双电源服务器765单电源服务器12AC配电UPS配电2+1UPS旁路输出2+1UPS逆变输出市电1市电2油机ATS1ATS2ATS3ATS4AC配电8、三种方案的优缺点比较内容方案A方案B方案C系统组成1.1250A–ATS柜，4组；2.300kva2*（2+1）UPS、830KVAh蓄电池组，4组；3.STS配电柜，m组；1.1250A–ATS柜，