XX移动诺西GPRS核心网数据包乱序分析

1(7)XX诺西GPRS核心网数据包乱序分析2013年7月2(7)1.概述根据XX移动局方的要求，参照标杆案例“降低核心网乱序丢包，提升HTTP下载速率”，对现网的数据包乱序情况进行分析和定位原因，探索相应的优化空间。2.思路先针对诺西GPRS核心网的不同业务网段接口进行数据采集，统计得出乱序包的大致占比，然后根据不同的包类型、特征码、上下行流向、源头以及流经业务路径等多个维度进行进一步的细分和聚焦分析，定位出关键点，推断问题产生的可能原因或源头，进一步采集数据样本进行验证和评估。3.分析3.1问题定义根据相关项目经验，我们将乱序包定义为带tcp.analysis.out_of_order标识的数据帧。在抓包统计分析过程中，应当注意是否存在大量超长帧、坏帧等情况导致TCP/UDP协议层无法解析，从而影响统计结果的准确性。3.2初步统计XX移动现网有多台SGSN和GGSN，根据本地care团队的提议，我们选取GGSN10&12的Gi口进行数据采集。初步的统计结果如下：Gi/Gi'接口帧数目乱序帧所有乱序比率上行乱序大帧*GGSN10&1226309628061.07%183526184828091.07%153126064727571.06%162426260926681.02%122619989620781.04%121526437527131.03%*大数据帧主要指产生了IP分片的数据帧，从而导致IP上层协议无法解析，因此无法判断是否乱序包。统计结果表明这一类数据极少，因此我们认为关于乱序的统计是准确有效的。从这个初步的统计结果来看，XX现网的乱序似乎比例并不高，远远低于标杆案例当中3(7)的4%。但是对数据进行多维度的进一步细分，我们发现乱序包主要发生在CMWAP下行方向，而且基本都集中在华为WAPGW下行的数据，比例高达8%以上。如下表：Gi/Gi'接口WAPGW下行帧数目WAPGW下行乱序帧数目WAPGW下行乱序帧占比华为下行帧数目华为下行乱序帧数目华为下行乱序帧占比中兴下行帧数目中兴下行乱序帧中兴下行乱序帧占比GGSN10&125540425764.65%2868325438.87%26721330.12%5595526174.68%2917925678.80%26776500.19%5690725394.46%2910124578.44%27806820.29%5668224194.27%2868123688.26%28001510.18%4262018984.45%2165918508.54%20961480.23%5775425154.35%*将GGSN10&12的华为/中兴WAPGWGREtunel地址作为特征码，即(ip.src==211.138.104.12)为中兴WAPGW下行数据，而(ip.src==211.138.100.230)为华为WAPGW下行数据，带tcp.analysis.out_of_order标识的则为乱序数据包。3.3聚焦分析对于WAPGW下行数据，需要对其数据流向和流经节点进行深入分析，以进一步判断影响乱序的相关因素。4(7)SiSi互联SiSiCMNET7609-A7609-B1234NE5000ENE5000E中兴WAPGW华为WAPGWFlexiISN图-1XX移动诺西GPRS核心网与CMNET网络连接示意图为了排查该问题是否和诺西设备相关，根据以上的网络连接图，我们在节点1,3和4都进行了数据采集，但抓包结果表明节点1的下行数据主要为CMNET和Gn漫游数据，亦即CMWAP下行并非走了CMNET与7609-A的互联链路。相应的统计结果如下：Gi/Gi'接口帧数目乱序帧所有乱序比率WAPGW下行WAPGW下行乱序WAPGW下行乱序帧占比华为下行华为下行乱序华为下行乱序占比中兴下行中兴下行乱序中兴下行乱序占比Gi-FW01下行28788822910.80%6013320663.44%3037919886.54%29754780.26%28732021660.75%5908119733.34%3002619306.43%29055430.15%28715321260.74%5859219423.31%2964519026.42%28947400.14%28579820280.71%5848618803.21%2910418026.19%29382600.20%35(7)CMNET下行至7609-A3339123350.10%下行方向只有CMNET数据以及Gn口(漫游)数据，怀疑下行GGSN10&12的CMWAP数据都走了另一侧的路径3314613630.11%3362313350.10%21110220.10%3306883660.11%根据数据配置以及流量分析，最终确认CMWAP到诺西核心网的下行路径如下图所示：SiSi互联SiSiCMNET7609-A7609-B23412NE5000ENE5000E中兴WAPGW华为WAPGWFW01FlexiISNFW02图-2XX移动CMWAP下行至诺西GPRS核心网的真实走向示意图即WAPGW……NE5000E诺西7609-B经由互联port-channel7609-AJuniper火墙7609-AGGSN。16(7)根据上图所示的业务路径，只需要节点1(7609-B的业务链入口)和节点4(7609-A下行到GGSN)采集数据进行比对，即可判断CMWAP下行到诺西核心网时诺西设备是否会对乱序情况产生影响。Gi/Gi'接口帧数目乱序帧所有乱序比率WAPGW下行WAPGW下行乱序WAPGW下行乱序帧占比华为下行华为下行乱序华为下行乱序占比中兴下行中兴下行乱序中兴下行乱序占比CMNET到7609-B5368723104.30%4843522694.68%2496622338.94%23469360.15%14638169914.78%13292169795.25%68489685010.00%644321290.20%14644768474.68%13397668075.08%6911466799.66%648621280.20%14588167174.60%13277466705.02%6747765419.69%652971290.20%14561569844.80%13279769645.24%6851468179.95%642831470.23%14444970134.86%13181269885.30%68432687310.04%633801150.18%7609B--7609APo114414566664.62%12940166545.14%64949652910.05%644521250.19%152736083.98%135806064.46%69455948.55%6905120.17%14359462314.34%12867162264.84%6330661199.67%653651070.16%14386464984.52%12885664795.03%6381163599.97%650451200.18%14559163124.34%13133063074.80%6473261369.48%665981710.26%GGSN10&1226309628061.07%5540425764.65%2868325438.87%26721330.12%26184828091.07%5595526174.68%2917925678.80%26776500.19%26064727571.06%5690725394.46%2910124578.44%27806820.29%26260926681.02%5668224194.27%2868123688.26%28001510.18%19989620781.04%4262018984.45%2165918508.54%20961480.23%26437527131.03%5775425154.35%*注：节点4的数据采集时间为7月25日，而节点1和2的采集时间为7月30日下午。不同时段的数据统计可能略有差异。从上表的统计分析可得知：CMWAP下行数据流经诺西核心网设备之后，乱序比例并没有明显变化，尤其是对中兴WAPGW，甚至绝对值一直保持在同一个数量级，基本没有变化。因此，可得知诺西设备或者甚至是内部流经的众多业务链节点对乱序并没有贡献。4.结论和建议结论1)乱序分布：诺西GPRS核心网的乱序集中在华为WAPGW下行数据，约为8-10%；而诺西上行乱序极少，基本可以忽略，而中兴WAPGW下行乱序稳定保持在4127(7)0.2%；2)乱序原因：华为WAPGW沿CMNET路径下行至诺西GPRS核心网的乱序占比已经高达8-10%，而流经的诺西设备对乱序没有明显影响；建议针对现网情况，我们有如下建议：1)乱序解决：a.需要协调华为侧尽快解决WAPGW乱序问题；b.需要安排测试，比对中兴WAPGW以及华为WAPGW两种设备不同乱序情况下的端到端关键质量指标(时延抖动丢包率等)，以便评估乱序对于终端用户的影响。2)网络调整：a.网络能力协同：CMNET与诺西GPRS核心网采用了2条10G链路实现互联，诺西上行数据为2条链路负荷分担，但CMNET侧则实现了CMNET和CMWAP的独立下行。随着网络高速发展，这种流量分离的负荷分担机制不一定合理。建议CMNET侧重新评估是否需要改进，以便更好提升网络协同能力；b.网络结构梳理：从本次排查来看，目前诺西内部网络结构不合理，业务链不规范，对问题排查和网络容灾恢复造成极大的困扰，建议开展专题优化，深入评估是否存在隐患，对网络稳定性/可扩展性/容灾的影响，以及相应的优化改进。