上海通信段MSC设备应急预案

应急预案编号：上铁电专-共用-04-001-2015数字移动通信系统MSC设备应急预案上海通信段上海高铁通信车间2016年2月应急预案一、编制依据1.《上海通信段应急处置管理实施细则》（上通信调[2015]230号）；2.《上海铁路局关于进一步规范路局应急处置指挥体系建设的通知》（上铁运[2014]283号）；3.《上海通信段铁路通信障碍（故障）管理实施细则》（上通信调发[2013]89号）二、系统整体介绍上海GSM-R机房MSC基于西门子EWSD平台。所有寄存器功能，都是由软件来实现的。在硬件设计方面，许多重要部件都设置了冗余备份，主要体现在0侧与1侧互为备份。目前MSC网络应用情况：与北京核心网、武汉核心网的MSC/VLR、HLRi、SCP相连，与虹桥BSC、京沪高BSC、南京BSC、温州BSC、阜阳BSC、合肥BSC、杭州BSC各局向、FAS等相连，实现了上海局下所有GSM-R客专线的GSM-R核心交换、网内移动号码的鉴权、铁路专用的位置寻址、功能寻址、调度台与GSM-R移动终端的通信等功能。三、应急预案内容1.故障等级（一、二、三级）1)一级：设备宕机、与一个或多个TMSC局向中断、与某STP的信令能力中断、突发话务量造成上海MSC负荷过高的设备过载控制、智能业务中断、与专网（PSTN）的互联互通故障、与FAS系统局向全部中断、HLRi系统故障、与BSC系统局向全部中断、与RBC机房互应急预案联全部中断、与北京武汉互联电路全部中断。2)二级：MSC个别进程或数据吊死、对某局向中继部分中断。3)三级：单板故障（影响业务）2.关键项：汇报、登销记1)当虹桥GSM-R工区发现局管内GSM-R系统MSC设备发生障碍（故障）时，应在五分钟之内汇报段调度、车间主任、网调工区，并通知相关设备维护车间网调工区。2)车间主任在接到汇报后，立即组织人员赶赴虹桥GSM-R工区，负责组织指挥处理、信息汇报、障碍（故障）分析等。3)虹桥GSM-R工区负责障碍（故障）的指挥处理、过程信息汇报、处理报告的撰写等。4)网调工区根据虹桥GSM-R工区的处理要求，组织做好车间管内相关配合工作。3.针对不同设备及故障等级编制处理措施1)上海MSC宕机的应急技术预案（一级）(1)启动前提交换设备瘫痪、全部能力丧失时启动MSC宕机应急技术预案。启动前提可归结为以下三种情况：①交换机系统掉电；②交换机CP侧瘫痪；③交换机MP侧瘫痪；(2)制定方案的原则应急预案现场操作维护人员一定要马上通知诺西公司相关技术支持人员，并且清楚地描述宕机状态的发生时间以及问题的具体详细情况，不能擅自单独处理。在机房备有紧急故障处理的Emergency手册，以备现场处理参照。日常维护中严格执行计表中系统备份制度，备份带务必做好详细标签。系统在重大操作前都必须做好系统备份带。下表是各恢复等级的描述：恢复等级重启影响由MML启动由SW启动正在建立的呼叫丢失与否已经建立的呼叫丢失与否预计恢复时间NSTART0所有与呼叫处理不相关的进程的重新启动XXNSTART1所有进程重新启动XXX5sNSTART1B②呼叫处理基本模式，不从硬盘装载XX50sNSTART2所有进程重新启动，重新装载程序代码和所有半永久数据XXX50s应急预案恢复等级重启影响由MML启动由SW启动正在建立的呼叫丢失与否已经建立的呼叫丢失与否预计恢复时间NSTART3所有进程重新启动，重新装载程序代码和所有半永久数据以及特定的瞬态数据XXX60sISTART1①初始启动SSP：不对外围SW(LTG/DLU)做无条件重新装载XXXX120SISTART1B②呼叫处理基本模式XXX120SISTART2①初始启动SSP；无条件重新装载外围数据至所有应处于工作状态的LTGXXXX6MISTART2R(在修带重新装载的SSP初始启动；仅通过X不相关不相关.15M应急预案恢复等级重启影响由MML启动由SW启动正在建立的呼叫丢失与否已经建立的呼叫丢失与否预计恢复时间改LTG软件后使用)人工操作，无条件装载不处于MBL或PLA的LTGISTART2F(在安装APS后使用)强制初始启动SSP，仅通过人工操作，装载处于MBL状态外所有已安装的LTGX不相关不相关.15MISTART2G初始启动SSP，倒回至旧的APSGEN;无条件重新装载所有应处于工作状态的LYG/DLU的外围程序代码和数据XXXX15M①ISTART1/2的后处理恢复尝试重新装载并激活所有处于UNA的LTG/DLU。②NSTART1B和ISTART1B不用于D900/1800移动业务交换中心应急预案MSC。(3)应急措施抢修组确认预案启动前提成立，参照应急通信故障的报告和通报流程制度启动应急预案。宕机应急技术预案启动后，抢修组应马上联系诺西相关技术支持。在诺西人员无法马上赶到现场的情况下，现场维护人员应在诺西技术支持的指导下，严格参照Emergency手册中相应的紧急流程进行分析处理。a.交换机掉电时，影响所有GSM-R业务，系统需重新启机，启机最长用时40分钟。D900交换机在断电后再通电会自动选择GEN重新启动至MANUAL状态，设备自动重启之后如果有不正常的状态，需尽快的将交换机恢复至ACTGEN并保证硬件设备正常，以下为具体操作流程：应急预案若设备自动重启无法正常启动，需要用人工进行重启，详见CP侧瘫痪、MP侧瘫痪应急预案。b.交换机CP侧启机，影响所有GSM-R业务，需立即对CP侧进行启机：①准备工作：需人工重启交换机，重新LOADLTG，在CP侧执行指令RECOVSYSTEM:LEVEL=ISTART2F;然后做常规检查。在CP侧执行DISPGEN;检查当前GEN是否重启前在使用的ACTGEN，若是GEN列表里第一行的GEN，则为ACTGEN，否则为BACKUP/GOLDENGEN检查重启时是否进行了ISTART2G，可通过CP侧指令DISPALARM;看种类为ISTART的告警的详细信息或交换机重启时的LOG来得知。系统已倒回原来的备份GEN，需立即通知TAC，现场应尝试人工重启系统恢复至ACTGEN，在CP侧执行令RECOVSYSTEM:LEVEL=ISTART2G，GEN=“ACTGEN”;后续检查必须在TAC指导下进行。系统工作在正常的ACTGEN下，由于已做过ISTART2G，LTG应该极少有SEZ的，详细检查应通知TAC完成，此文档不涉及，现场需做常规检查。系统工作在正常的ACTGEN下，且大部分LTG工作正常，可通过人工指令激活不正常的LTG，流程见附一。然后做常规检查。YNNYYN至交换机的连接应已建立，在CP侧执行：STATLTG:LTG=X-X;检查是否有很多LTG在SEZ状态.应急预案将IOP-UNI后背板的03C295P1或04C295P1连出线为串口线连接到电脑终端COM1口；将CP侧1侧的BAP（010101柜07框257）关电，用于必要时的备用。在电脑终端打开BMML操作框（必须有BMML软件）。②硬盘状态正常，在正常（MANU）模式下重启：按0侧CMY的boot键，在BMML中输入命令“FORMAT；”出现显示（如果无显示，需要重新按boot键）----“；”---“MANU”---“IOC-0”（如果启机用1侧，则用IOC-1）---选择一个GEN的名字（一般用前期所用的GEN，本次用的为ODAGEN----FORCED----需要一段时间大约40分钟，之后查STATSSP确认启机是否完成。③硬盘状态不正常，使用最近备份的光盘启机，在UTI模式下重启：按0侧CMY的boot键，在BMML中输入命令“FORMAT；”出现显示（如果无显示，需要重新按boot键）----“；”---“UTI”---“MOD”---“010C23”（为MOD0启机）---“SY.INSTALL”输入命令：INITMD:DEVOUT=010C01（如为MDD1则输入030C01）;初始化硬盘；LABELMD:DEVOUT=010C23;做成系统盘；TRANSFILE:DEVIN=010C23，DEVOUT=010C01（如为MDD1则输入030C01）;FILECAT=*，OLDGEN=*，NEWGEN=*；将光盘下所有文件传送到硬盘下。使用硬盘在MANU模式下再启机。④启机之后，使用SwitchCommander进行查看DISPGENCPMP，应急预案确认GCS一致。查看相应的CP、MP侧状态。确认一切正常，并修改时间（ENTRTIME）。c.交换机MP侧瘫痪，影响所有GSM-R业务，需立即对MP侧进行启机（硬盘、光盘启机均适用）：①准备工作：准备一台笔记本电脑，一条9针串口线，到设备前，将串口线连到0侧MP：OAM（010102柜09框251槽）；将1侧MP：OAM（010102柜09框271槽）拔出；将电脑服务中的BCTCOM口release掉，打开超级终端②操作步骤：按0侧MP：OAM（010102柜09框251槽）RES键，超级终端出命令，〈CTRL〉-X进入选项（1，2，9）---进入1确定IP地址、ASN等无误，确认使用MDD（MOD）；---进入2选择GEN---进入9选择reboot。启机大约20分钟。启机之后，使用SwitchCom进行查看DISPGENCPMP，确认GCS一致。查看相应的CP、MP侧状态。确认一切正常，并修改时间（ENTRTIME）。(4)全业务验证宕机恢复后必须对全业务进行验证，包括开关机、通话（MTC/MIC/MOC/MMC）、组呼/广播、短信、短号码、列控业务（RBC）、FOLLOWME等等。(1)启动前提：SGSN宕机，主备的功能单元模块均不能正常工作，同时已有平应急预案时的SGSN数据备份带。(2)应急措施：日常维护中应该严格执行计表中的系统备份制度，做好备份带及详细标签。系统在重大操作前都必须做好备份带。宕机预案启动后，机房操作维护人员应该马上联系诺西相关技术支持，在诺西技术人员无法马上赶到现场情况下，现场维护人员应该严格按照诺西厂家提供的相应紧急故障处理流程进行分析处理。紧急情况下可能需要对设备进行重启、切换操作，在进行类似操作前，应运行命令收集信息，便于故障的跟踪处理。(3)实施步骤：SGSN：登录进SGSN的管理界面，按照下列步骤进行操作。a.系统重启：确认系统有可用的备包;WQO:CR;同步数据库文件；DBC:GPDATA,0;DBC:OEDATA,0;DBC:EQUIPM,0;检查数据库的一致性DBS:GPDATA,0DBS:OEDATA,0;DBS:EQUIPM,0;应急预案DBD:OMU;确认磁盘同步任务已经全部完成DUQ;关闭并上传所有话单GHA;重启系统:USS:SYM:C=DSK;b.系统还原：从光盘复制备包到硬盘：IWL:,OMU:WSB,NODEF:FB061214,FFF0,,XY:;IWY:S:UNIT=OMU,PATH=/SG04-061214,DRIVE=FDU-N0,;IWY:D:UNIT=OMU,PATH=/FB061214,DRIVE=WDU-SB,;IBC:,,%%,,,,,,DIR::;IWX:,OMU:WS,NODEF:FB061214,:%,%,;WQC:NAME=FB061214,DIRE=FB061214,:CW=ALL,:;当defaultBU包出错时用FB包还原:将FB包状态改为defaultWSD:NAME=FB010712修改状态,WSR;WKS:MODE,NAME=FALLBACK1,DIRE=FALLBACK1,MODE=FULL;WQD:NAME=BENSON1:DIRE;应急预案必要时确认包的内容WQB:NAME=FALLBACK1:FORM=FAILED;c.收集软件故障数据：ZDDS:unit,index;//进入需采集日志的单元ZGSC;//显示日志ComputerlogZE;//退出d.重启单元：USU：PAPU,0;2)与一个或多个TMSC局向中断（一级）(1)启动前提上海MS