xx保险业务缓慢故障处理

XX保险业务缓慢故障处理文档类型:文档密级:主送对象:抄送对象:文档编号:审核人:学习目标•掌握XX保险分公司网络架构•掌握故障处理的基本原则及方法2课程内容•第一章XX保险地市分公司网络结构概述•第二章XX保险故障处理过程•第三章经验总结3*E12*E1RSR50-40RSR20-18H3C-S7506RSR08E-2RSR08E-1分公司省公司XX保险组网概述1、省公司两台RSR08E汇聚全省17个分公司的上联路由器。2、省公司申请2条155MCPOS线路，每个分公司申请4条E1，每2条E1做MP捆绑与省公司下联路由RSR08E相连。3、客户生产业务与办公业务实现分流并相互冗余，4、RSR50-40、RSR08E-1正常转发生产业务，RSR20-18、RSR08E-2转发办公业务，当其中广域网线路断时，业务将切换一条线路组网概述*E12*E1RSR50-40RSR20-18H3C-S7506RSR08E-2RSR08E-1分公司省公司OSPF协议规划RSR50-40,RSR20-18路由器上行口、互联以太网口划入area0。每个分公司一个area，areaid为电话区号。在RSR50-40、RSR20-18做区域间路由聚合，向省网发布分公司聚合路由。COST值全省统一规划，保证业务分流。OSPF协议规划*E12*E1RSR50-40RSR20-18H3C-S7506RSR08E-2RSR08E-1分公司省公司客户处于增加带宽考虑，将两条E1线路做了MP捆绑。链路层协议为PPP。客户采用MP原因：1、增加带宽，2、链路负载均衡，任何一条E1线路故障，不影响业务转发。接口配置如下：interfacemultilink1pppmultilinkfragmentmaximum2ipospfcost40ipaddress10.248.113.18255.255.255.252!interfaceSerial1/0:0encapsulationPPPpppmultilinkpppmultilinkgroup1interfaceSerial1/1:0encapsulationPPPpppmultilinkpppmultilinkgroup1*E12*E1RSR50-40RSR20-18H3C-S7506生产下行流RSR08E-1分公司省公司生产上行流办公上行流办公下行流1、正常情况，生产、办公业务分流。2、当生产线路故障时，OSPF收敛，生产业务经过RSR50-40与RSR20-18互联线路切换至办公线路。办公线路故障，与此类似。RSR08E-2XX保险生产、办公业务流量分流及冗余模型课程内容•第一章XX保险地市分公司网络结构概述•第二章XX保险故障处理过程•第三章经验总结8保险故障现象•XX保险XX分公司申报故障，称：客户业务办理非常缓慢，电信已检查，称线路没有问题，请设备厂商解决。•XX保险是我司重点客户，我司设备占很大比重，这样的故障，如何着手处理，快速恢复客户业务？9、故障处理系统化是合理地一步一步找出故障原因，并解决故障的总体原则2、网络故障解决的处理流程是可以变化的，但故障处理有序化的思维模式是不可变化的。故障现象观察对网络故障做出完整、清晰的描述是必须的！“业务慢”是一个不完整、不清晰的描述故障描述，追加客户问题：1、办公业务慢吗?2、全局问题还是局部问题？即分公司全部慢，还是个别网点慢?其它分公司业务状况？3、最近是否进行网络调整？客户信息反馈：1、分公司生产、办公所有业务都比较慢，业务高峰期明显2、其它分公司业务正常3、用户网络近期无调整因此，可以推断：是分公司局部故障，全省地市分公司正常。故障信息收集根据对客户网络组网结构及网络运行原理的掌握，收集以下信息：1、分公司访问省公司、总公司的路由是否正确？2、分公司RSR50-40及RSR20-18设备状态信息，重点查看：1、设备日志2、路由器各接口是否正常。带宽占用情况。3、OSPF邻居建立是否正常。3、广域网电路是否正常？*E12*E1RSR50-40RSR20-18H3C-S7506生产上行流RSR08E-1分公司省公司RSR08E-2生产下行流办公上行流办公下行流第一、查看办公、生产业务的路径信息。1、模拟分公司一台主机，tracert省公司生产及办公服务器，发现生产业务的路径绕行RSR20-18，如图所示，所有业务都走办公线路，业务未分流2、查看RSR20-18的上行链路，发现链路带宽接近4M，链路出现拥塞业务慢的原因已找到：全部业务走办公线路，造成办公线路拥塞所致。测试机*E12*E1RSR50-40RSR20-18H3C-S7506生产上行流RSR08E-1分公司省公司RSR08E-2生产下行流办公上行流办公下行流第二步、收集RSR50-40的设备信息：1、路由表信息，发现去往省公司、总公司的路由全部指向RSR20-18。2、查看RSR50-40上行接口的信息，发现带宽占用很小。3、查看RSR50-40的OSPF邻居，发现与省公司的邻居未建立起来。4、查看RSR50-40的日志，发现日志从昨天开始，邻居频繁UP及DOWN。*Jan2101:37:37:%OSPF-5-ADJCHG:Process1,Nbr10.32.16.6-multilink1fromFulltoDown,InactivityTimer.*Jan2101:37:40:%OSPF-5-ADJCHG:Process1,Nbr10.32.16.6-multilink1fromDowntoInit,HelloReceived.*Jan2101:37:45:%OSPF-5-ADJCHG:Process1,Nbr10.32.16.6-multilink1fromExchangetoFull,ExchangeDone.经验判断及理论分析业务慢的原因：业务未分流，造成所有业务走办公线路，造成线路拥塞所致原因分析：因RSR50-40与省公司RSR08E-1的OSPF邻居建立不稳定，导致RSR50-40去往省公司、总公司的路由表下一跳错误指向RSR20-18。什么原因可以导致RSR50-40与RSR08E-1的OSPF邻居无法正常建立？、DOWN的原因1、设备配置错误2、OSPF运行故障3、设备产品自身缺陷、配置错误与省公司、分公司网络维护人员确认，配置无人改动，该原因排除。2、OSPF运行故障可能原因列表：生产线路故障，广域网线路故障，会导致OSPF报文交互异常，邻居建立失败。设备BUG，因全省路由器、型号、版本都一样，这个可能性很小。*E12*E1RSR50-40RSR20-18H3C-S7506生产下行流RSR08E-1分公司省公司生产上行流办公上行流办公下行流RSR08E-2生产线路丢包是造成OSPF邻居不稳定的原因！RSR50-40与RSR08E-1之间OSPF邻居频繁up、down,导致RSR50-40路由重新选路，生产业务流迂回至RSR20-18，经办公线路上行至省公司生产业务流及办公业务流都经过办公线路，在业务高峰期时，2*E1线路出现拥塞，业务办理缓慢。登陆RSR50-40，ping与RSR08E-1的互联接口IP，发现丢包率在50%以上。E1线路的故障导致OSPF邻居频繁up及down问题最终定位是广域网线路丢包，而广域网电路故障已超出我们的范围，且运营商称：其电路没有问题，如何有效排查呢?线路故障？最直接的方法是检查接口状态.showinterSerial1/0:0时，发现了问题==========================Serial1/0:0========================Index(dec):7(hex):7Serial3/0:0isUP,lineprotocolisUPHardwareisSerialDescription:to-[HN-DLR-RSR08E-1]-[e1-0/0/0:21]-SDH-DianXinInterfaceaddressis:noipaddressMTU1500bytes,BW2000KbitEncapsulationprotocolisPPP,loopbacknotsetKeepaliveintervalis10sec,setCarrierdelayis2secRXloadis218,Txloadis8LCPOpen,MultilinkOpenClosed:ipcpQueueingstrategy:FIFOOutputqueue0/4096,0drops;Inputqueue0/75,0dropsTimeslot(s)Used:0-31,Transmitterdelayis0flags30secondsinputrate75314bits/sec,156packets/sec30secondsoutputrate69373bits/sec,145packets/sec172967270packetsinput,82503848443bytes,0nobuffer,0droppedReceived0broadcasts,0runts,0giants43045inputerrors,0CRC,6frame,0overrun,0abort233022603packetsoutput,38531458697bytes,0underruns,0dropped0outputerrors,0collisions,6interfaceresets0outputerrors,0collisions,6interfaceresets入方向有错误包，且一直增加！广域网电路故障排查接口有错误包，造成线路丢包发生，可能原因列表：1、E1线缆接口故障。路由器接口-----E1非平衡线缆------运营商广域网线路，任何一个节点出现问题，都有可能产生错误包。2、运营商SDH设备故障运营商SDH设备故障也会引起故障，此类故障需运营商的配合。广域网电路故障排查故障排错过程：1、shutdown该接口Serial1/0:0故障线路，查看OSPF邻居是否正常，ping包是否正常，根据MP协议运行机理，单条E1线