中国移动PTN项目组-常见问题处理FAQV1.0

文档名称文档密级：2020-2-25华为机密，未经许可不得扩散第1页,共66页一．光纤链路类1.波分问题导致Mpls_tunnel_locv告警现象描述：网管重要告警在同一时刻上报5条Tunnel都有Mpls_tunnel_locv告警告警信息：网管重要告警在同一时刻上报5条Tunnel都有Mpls_tunnel_locv告警原因分析：具体原因分析见附件文档处理过程：具体处理过程见附件文档MPLS_TUNNEL_LOCV故障处理.doc2.两台直连PTN3900之间链路丢包问题处理现象描述：在XX移动的网络中，PTN91?10（CX-CS）的13-255-1和PTN91-11（CX-XJL）的7-25-1连接的链路存在持续丢包的情况。具体表现在，配置IP后ping存在概率性丢包，从获取的log信息来看，丢包率曾经达到10％。告警信息：PTN3900设备上未出现任何告警，光纤连接正常。原因分析：1、查询芯片异常，未发现可疑异常。2、查询端口Rmon计数，未发现碎包和错包。3、查询CPU占有率，一切正常。4、建Tunnel，使能OAM，一个方向一直有LOCV告警，说明这个方向存在丢包。5、配置静态ARP，设置环回操作，两侧内环没有丢包，外环都有丢包。从定位的结果分析，可以确认存在单方向（CX-XJL－CX-CS）丢包，另一方向基本正常。设置内环没有丢包计数，说明设备芯片没有异常，设置外环存在丢包，说明丢包发生在两侧光模块和中间光纤上。处理过程：1、在CX-CS局点将连接对端的光纤拔出，使用光纤连接器连接（对远端CX-XJL站点进行环回操作），查看远端的收发报文是否有异常，如果存在异常先确认一下光功率是否异常端口上是否有错包，没有光功率等异常则可以确定问题出现在另一侧光模块和中间链路上，如果正常，说明另一侧光模块和中间链路应该文档名称文档密级：2020-2-25华为机密，未经许可不得扩散第2页,共66页是OK的。2、使用短光纤和衰减器环回下站点这侧端口，查看收发包是否正常，如果正常，可以确定本端光模块无异常；如果不正常先确认一下光功率是否异常端口上是否有错包，没有光功率等可以确定是本端光模块异常，需要更换光模块继续测试；3、在ODF侧对本端CX-CS局点进行环回操作，发现有丢包。可以判断是本端设备到ODF侧的尾纤出现问题。更换PTN到ODF的尾纤之后，从CX-XJL到CX-CSPING包未出现丢包现象。建议与总结：对于链路出现丢包的问题，我们以后可以采取逐段进行环回的方法进行测试。1、在设备的端口进行自环来判断设备自身的光模块是否出现问题。2、在本端设备的ODF侧进行环回，来判断设备到ODF侧的尾纤是否存在问题。3、在对端的ODF册对本端进行环回可以来判断中间光路是否存在丢包。4、在对端端口对本端进行环回可以判断本端到对端端口的所有光路是否存在问题。3.纤缆连接错误导致新配置TUNNEL不通现象描述：某局点配置业务TUNNEL的时候，提示“近端缺陷不可用”，导致该TUNNEL无法正常承载业务告警信息：查看TUNNEL两端，网元都上报“MPLS_TUNNEL_LOCV”告警原因分析：产生此类告警的问题种类很多：TUNNEL经过网元的链路问题，单板问题、配置问题、网管纤缆连接问题等等。采取逐段配置TUNNEL的方法进行排障，最终定位至其中两网元，无论如何配置都会产生“MPLS_TUNNEL_LOCV”告警，使用navigator登陆其中一网元并使用(:cm-get-pppoeinfo)命令查看DCN连接的MAC地址对应关系，发现和对端网元网管所连纤的端口MAC无法匹配，网管连纤端口错误，又因网管使用自动分配ip功能，ip地址也配置在错误的端口上。文档名称文档密级：2020-2-25华为机密，未经许可不得扩散第3页,共66页处理过程：将网管的纤缆删除，按照实际连接情况重新创建纤缆，重新配置TUNNEL，告警消失，问题解决。建议与总结：因R1版本和R2C00版本目前不支持纤缆搜索功能，只能网管进行手动创建，因此在网管在创建纤缆过程中务必保证与实际连纤的一致性二．DCN类1.为什么通过PTN3900的备用主控板上ETH或EXT口也可以网管设备？现象描述：在开局过程中使用便携机上安装的T2000V2R7C03对PTN3900进行调测，发现网线接在备用主控板的ETH或EXT口上时也能正常搜索到网元并可进行管理、配置，这是为什么呢？告警信息：原因分析：处理过程：A：对于PTN3900设备来说，主备主控板上的ETH、EXT都能连接到主用主控板的管理模块上，实际上这四个接口相当于都连接在设备内部的一台交换机上，在端口默认vlan未修改时，四个端口都是互通的。使用带外网管方式管理PTN3900设备时，无论网线接入在主备主控板的ETH、EXT中的任意一个都能正常对设备进行网管。建议与总结：因为PTN3900主备主控板的ETH、EXT都是互通的，实际组建带外网管时，可以通过多条链路接入到设备端口上来增强链路的可靠性，但需要注意规划清楚链路不要产生环路。2.新接入网元修改子网掩码导致DCN域内网元全部托管现象描述：某局点反馈突然一个DCN域内网元全部脱管，使用命令行工具直连网关网元也无法登陆文档名称文档密级：2020-2-25华为机密，未经许可不得扩散第4页,共66页告警信息：DCN域内网元全部托管，T2000网管上网元颜色显示为灰色原因分析：根据故障现象，分析原因可能是网关网元主控问题，导致所带网元全部脱管。使用命令行工具无法登陆，拔掉纤缆之后可正常登陆，说明主控没问题。修改网元IP，用navigator登陆网元使用命令(:cm-get-iproute)查看DCN路由表，发现有一条为24位的路由条目，此路由条目为新接网元的路由信息，因PTN带内DCN采用的是OSPF路由协议，采用的最长匹配原则，所以所有本应该网关网元发送给T2000的DCN报文都转发至新接入网元，导致T2000无法收到DCN信息报文，网元全部脱管。处理过程：1、尝试把纤缆全部拔掉，可正常登陆网元，连上纤缆之后又无法登陆2、把网关网元IP129.11.1.75/16修改为129.12.1.75/16，连接纤缆可正常登陆，当修改后两位IP时，仍然无法登陆3、当正常登陆网关网元时，使用命令(:cm-get-iproute)查看路由表，发现有一条129.11.1.0/24的路由信息，登陆该网元，发现该网元子网掩码改为255.255.255.0，将其改成默认255.255.0.0，网关网元修改为原来IP地址，所有网元都通讯正常，问题解决。建议与总结：对于新接入网元，不要随意的修改网元的子网掩码附件：修改子网掩码导致全网托管.bmp3.DCN未关闭导致业务无法配置问题处理现象描述：通过PTN开通以太网专线L2VPN业务，出现提示TAGID已被使用告警，业务无法配置下去。告警信息：提示TAGID已被使用原因分析：业务配置是端口独占模式，但是由于端口已经是能DCN，默认VLAN为4094。这样与端口独占模式冲突。文档名称文档密级：2020-2-25华为机密，未经许可不得扩散第5页,共66页处理过程：关闭端口DCN功能，问题解决。建议与总结：附件：4.PTN如何手工切换DCN通道现象描述：Q:PTN如何手工切换DCN通道？告警信息：原因分析：处理过程：A：1、Navigator登陆下游网元，使用:cm-get-ip:命令查询出下游网元的NEIP。2、Navigator登陆上游网元，使用:cm-get-iproute:命令查询出上游网元的IP路由表。3、在上游网元的IP路由表中搜索下游网元的NEIP,找到该NEIP对应的第一个Interface使用:cm-get-interface:命令查询出上游网元的interface列表。4、在上游网元的interface列表中搜索第3步查出的Interface，找到该Interface对应的实际物理链路。5、在上、下游网元都使能另一路备用DCN通道。6、去使能上游网元（不能是下游网元，以免出现操作失误导致脱管）正在使用的DCN通道。7、重复1到3步，确认正在使用的DCN通道已经切换到另一条物理链路上。建议与总结：PTN设备，即使使能了多路DCN通道，真正被使用的也只会是其中一路，其他几路DCN做为备用的DCN通道，只有当该DCN通道协商不成功后，才会自动切换到另一路备用DCN通道。如果出现正在使用的DCN通道异常，但又不自动切换备用DCN通道的情况，这个时候，我们需要手工切换DCN通道。文档名称文档密级：2020-2-25华为机密，未经许可不得扩散第6页,共66页附件：5.PTN网元在网管上闪断，但网元承载业务正常。现象描述：PTN网元在网管上闪断，但网元承载业务正常。告警信息：原因分析：DCN域过大，超出设备处理能力处理过程：把骨干环（或交叉系统）和汇聚环互联的端口的DCN功能关闭，确保每个DCN域内网元数量小于120个，同时域内设置两个网关网元，各带60个非网关网元。建议与总结：附件：6.PTN间CD1对接，DCN突然断掉现象描述：PTN和SDH设备之间通过CD1（通道化155M处理板）对接，组网：PTN--SDH网络--PTN。CD1端口帧模式初始为CRC4帧模式，设置了DCN使能后，DCN是通的，把端口帧模式修改为非成帧模式后，DCN一开始是通的，过一段时间后，DCN不通告警信息：原因分析：配置了DCN业务，就会启动CD1接口通道的三层PPP业务，PPP业务需要根据帧头提取帧信息，需要定帧，因此不支持非成帧模式，之所从CRC4改成非成帧模式DCN也是通的，是由于之前CRC4时已经定好了帧,所以DCN可以通，如果一旦端口出现Down/Up，或者设备掉电重启后，非成帧模式就没有了定帧信息，则成帧模块会透传报文，不会定帧，因此帧头是错误的，所以PPP业务处理模块提取出来的报文不对，识别成错误报文，会把这些错误报文丢掉，DCN不通。处理过程：该应用场景下，需要把DCN通道帧模式设置成CRC4帧格式。建议与总文档名称文档密级：2020-2-25华为机密，未经许可不得扩散第7页,共66页结：附件：7.修改PTN网元的掩码后，有PTN脱管现象描述：修改PTN网元的掩码后，有PTN脱管告警信息：原因分析：IP地址在同一网段的PTN掩码要保持一致，不一致后，掩码短的网关网元会脱管，掩码长的网关网元不会脱管处理过程：1、从没有脱管的网关网元登录到脱管的网关网元，修改掩码。2、如果没有带业务，把脱管的PTN光纤都断掉，用navigator或者网管接ETH口就可以登录建议与总结：附件：三．包加载类1.新建升级任务的时，网元名称显示错误，无法选择现象描述：在新建升级任务的时候，发现网元树里面显示的并不是已搜索上的网元的名称、都是网关网元的IP地址，因此对那些设备无法进行区分告警信息：原因分析：网元信息没有更新处理过程：1）点击系统---网元软件管理---网元数据备份/恢复。2）选择网元，点击获取版本。3）再新建网元升级任务，问题解决。文档名称文档密级：2020-2-25华为机密，未经许可不得扩散第8页,共66页建议与总结：附件：2.SWDL_INPROCESS告警导致PTN910版本升级失败现象描述：C国M局IP骨干网PTN设备，PTN910，950发货版本为V100R001C00，由于PTN属于新产品，软件版本更新较快，老版本在运行调试过程中，出现过设备掉电重启后配置的业务数据全部丢失的问题，经研发确认需要在网络商用前将现网所有网元进行版本升级，升级目标版本为：V100R001C01SPC600，在升级过程进行到软件加载时，两个PTN910网元提示升级失败，网元持续上报告警SWDL_INPROCESS，无法继续升级，同时数据库回滚也无法新建升级任务重新进行升级。告警信息：SWDL_INPROCESS原因分析：分析告警原因，查询PTN告警手册，引起SWDL_INPROCESS告警的原因为网元正在进行包加载。告警处理步骤：待包加载操作完成后，告警即会自动消除。于是分析原因