数据业务质量端到端优化

移动业务质量端到端优化经验交流中国联通山东省分公司2010年7月中国联通山东省分公司目录端到端优化展望123端到端优化成果项目概述中国联通山东省分公司端到端优化理念终端业务网和SP核心网无线网ServiceNetworkMMSBTSNodeBBSCRNCIPCoreGGSNSGSNDNSWAPGWBackhaulGb/IuGn/GpGiGw用户业务WAP彩信流媒体可视电话FTP……工作目标端到端全程分析解决影响用户感知的业务质量问题用户、终端、无线网、核心网、业务网、业务涉及范围相关部门分组域业务、电路域业务业务形式网优、网管、市场、销售、产创、客服、终端中国联通山东省分公司山东联通端到端优化项目组织以3G典型业务为主，创新性地研究端到端优化的方法论，全过程分析影响业务质量的因素，掌握不同终端在提供各类业务时的差异，初步建立业务质量评价体系，从核心网、无线网、业务平台、终端等方面进行优化，改善用户感知，为3G经营服务工作提供更好的支撑。省公司网优中心统一组织，对全省核心网分组域设备进行专项优化，同时与华为公司组成联合课题组，以济南为试点，对iPhone、N85等主流终端在承载WAP、流媒体等3G特色业务时的性能表现进行端到端优化，并根据优化分析结论协同销售、产创、客服等部门改进3G经营服务工作。2009年11月-2010年6月。项目目标组织方式项目历时中国联通山东省分公司优化成果建立基于用户感知的QoE/KQI/KPI指标评价体系初步形成业务质量端到端优化的方法论搭建端到端优化环境，明确了工具部署、问题定界、分析流程和优化方法。解决影响用户感知的业务质量问题解决WAP、彩信、可视电话、流媒体、FTP等5种典型业务质量问题，进行iPhone专题分析优化，积累了手机上网、彩信成功率低、FTP断流等40多个端到端分析优化案例。分组域KPI指标得到提升InterRAU成功率、PDP激活成功率。经营服务支撑基于业务质量优化成果，对销售部、产创部提出建议，支撑精确营销。中国联通山东省分公司2端到端优化成果•指标体系•端到端优化方法论•业务质量优化•PSKPI指标优化•经营服务支撑中国联通山东省分公司用户感知指标体系组成关键性能指标(KPI，KeyPerformanceIndicator)，TMF标准：GB923。主要是基于网络层面对网元设备的性能描述，由一组可监测可度量的参数构成，是运营商对网络进行测量管理的重要方法，例如PDP激活成功率、掉话率等。关键质量指标(KQl，KeyQualityIndicator)，TMF标准：GB923。站在用户视角，在业务层面反映用户感受的指标，包括在业务流程中直接测试得到的指标（如：首页显示时延），以及通过统计分析或者KPI计算得到的指标（例如WAP上网成功率）。用户体验质量(QoE，QualityofExperience)，ITU－TP10/G100。与传统的QoS不同，QoE与具体业务相关联，从用户的角度提供业务主观感知评价。QoEKQIKPI中国联通山东省分公司用户体验QoE/业务KQI/网络KPI层级NodeBRNCMSC/MGW用户QoE用户感受层面业务应用层面网络性能层面业务KQI业务KQI网络KPI网络KPI网络KPI核心网KPI承载/传输KPI核心网KPI无线KPI用户对业务品质的QoE感知度和认可度承载网的业务承载能力水平运营商提供的业务品质KQI业务KQI标准网络KPI标准用户QoE标准MSC/MGWNodeBRNCIPNetwork基线基线安全阀值安全阀值用户分级中国联通山东省分公司QoE-KQI指标QoE-测评KQI指标KPI指标KQI/KPI数据来源KQI指标QoE权重测评KQI指标名称QoE测评KQI权重QoE～测评KQI映射测评KQI现状KPI指标KPI值首页接入成功3.385%首页接入成功率（％）3.0040%5,≧99%4,≧95%3,≧80%2,≧70%1,70%85.52%覆盖率98.00%DT测试RAB建立成功率98.00%RNC话统(SGSN级汇总)附着成功率94.55%SGSN话统PDP激活成功率98.89%SGSN话统connect成功率99.76%SQMget成功率95.47%SQMCQT首页接入成功率（％）4.0030%5,≧99.9%4,≧98%3,≧90%2,≧80%1,80%98%鼎利测试每万用户WAP接入成功投诉次数3.0030%5,04,≦23,≦82,≦201,208投诉QoE-KQI-KPI测算模型以WAP业务为例，QoE/KQI/KPI测算模型：WAP接入成功满意度QoE=首页接入成功KQI*权重1+平均首页显示时长*权重2首页接入成功KQI=首页接入成功率KQI*权重1+CQT首页接入成功率KQI*权重2+每万用户WAP接入成功投诉次数*权重3首页接入成功率KQI=覆盖率*RAB建立成功率*附着成功率*PDP激活成功率*Connect成功率*Get成功率中国联通山东省分公司山东联通数据业务质量QoE测算结果数据业务权重业务QoE整体QoEWAP60%3.553.47彩信20%3.27流媒体10%3.16可视电话10%3.73FTP0%-QoE质量用户满意度业务受损度5非常好非常满意无法感知业务受损4好满意可以感知到业务受损但不恼人3一般部分用户不满意轻微的恼人2差很多用户不满意恼人1很差大多数用户都不满意非常恼人依据初步建立的指标体系测算，山东联通3G数据业务QoE用户感知评分为3.47分，整体较好，部分用户对于数据业务质量不满意。中国联通山东省分公司通过问卷调查，得到用户业务使用体验的QoE主观评价，与QoE/KQI/KPI指标体系测算结果进行对比分析，校正计算公式。如图所示，山东联通内部客户问卷调查的满意度高于网络测试OoE值。该差异主要原因在于，内部客户对业务理解较好，今后还应进一步对社会公众客户扩大调查。用户调查结果修正QoE/KQI/KPI指标体系00.511.522.533.544.55WAP业务MMS业务流媒体业务可视电话业务网络测试QOE值问卷调查QOE值中国联通山东省分公司2端到端优化成果•指标体系•端到端优化方法论•业务质量优化•PSKPI指标优化•经营服务支撑中国联通山东省分公司端到端优化环境NASTAR无线网核心网业务网CP/SP终端SGSNGGSNRNCBTSBTSMMSWAPGWSPTerminalPCUIPIPIP报文采集与保存用户面数据报文协议解析SQM工具采集器Iu_PSGnGi鼎利/CDSSQM采集采集器采集器采集器路测呼叫与记录保存Iu_PS信令跟踪与用户面数据保存E2E优化专家无线优化专家核心网优化专家业软优化专家采集器测试方法：被动监测：SQM抓包进行业务质量评估主动测试：模拟用户感知DT/CQT测试测试工具：•SQM业务质量管理系统•NASTAR：无线、核心网分析工具•鼎利/日讯/CDS路测工具中国联通山东省分公司定界－分析－优化流程端到端KQI，KPI测试结果差发现问题查找关键流程，典型用户用户群，找到关键网段界定问题深入分析网络性能，找到关键的问题点定位问题制定优化建议优化建议制定计划，优化实施优化实施重新测试，验证优化效果效果验证SP200msNodeBGGSNSGSNTerminalRNCWEBGWMMSC业务时延大Wireless600msCN20msService1000ms总Delay1820msKQI/KPI测试，失败原因分析找到差的区域和用户群定位区域或网段，进行路测和定点测试验证业务指标差逐级检测，跟踪IMSI，查找根因修改优化是否解决问题1.直接指标可通过工具测试输出，找关键KQI/KPI指标，定界定位，从重要因素流程入手。2.间接指标（统计类，或由其他指标计算得到），找关键区域和用户群，从共性典型问题入手；中国联通山东省分公司2端到端优化成果•指标体系•端到端优化方法论•业务质量优化•PSKPI指标优化•经营服务支撑中国联通山东省分公司3G典型业务专题优化iPhone诺基亚(Symbian)HTC(Android)多普达(WindowsMobile)流媒体FTPWAP可视电话彩信中国联通山东省分公司优化措施：手机上网设置成3GWAP，由WEB网关对页面内容进行压缩、适配等处理，可以大大降低访问时延。问题描述：使用NokiaN85、iPhone、dopodS610、HTCG2等手机通过3GNET方式访问新浪门户网站，均出现打开页面较慢的问题，打开所有图片的时间花了37.61秒，是文本显示时间的9倍。WAP平均首页显示时间(分手机类型)01020304050NokiaN85Iphone3GSDopodS610HTCG23GWAP3GNET平均WAP问题分析：通过3GNET方式访问互联网上的门户网站时，没有对手机终端页面内容进行压缩适配，增加了页面访问时长。中国联通山东省分公司彩信问题描述：彩信全程接通低，1月份只有39.44%。测试分析：1、从Gw口（彩信中心与WAPGW之间接口）SQM数据统计，Gw口下发彩信成功率为97.08％（成功＋延期提取），排除彩信中心问题。2、彩信中心4441/4442错误码（过期未提取的用户）占失败总数的99%。彩信优化效果：彩信业务全程接通率稳步增高，6月份(54.34%)比1月份（39.44%）提升14.9%。优化措施：彩信中心提取VAC中不存在订购关系的4441、4442用户，从SP侧删除这些用户，不给这些用户下发手机报。月份MMS发送总条数MMS忙时日业务量MMS注册用户总数彩信全程接通率01309218921422550548921639.44%02281372541640654571914237.25%03267778211159862583338140.37%04307148621236828595681043.60%05262152821262303607464044.58%0665526551072518611287554.34%中国联通山东省分公司流媒体测试分析：N85默认的视频播放器Realplayer不适合播放youku网站上的视频，播放器的解码功能不能很好地把视频文件数据解码。优化措施：安装适合youku视频播放的CorePlayer1.35，或使用UCWEB浏览器、播放器来登陆youku观看视频。优化效果：安装了CorePlayer1.35播放器后，播放清晰度与流畅度大大改观。问题描述:通过直观观察和后台视频流回放评价发现，N85手机登陆优酷网站流媒体视频质量很差，马赛克严重。RealplayerCorePlayer1.35视频流回放及质量评分中国联通山东省分公司FTP问题描述：FTP测试过程中发现有断流（下载不成功）的现象。定界到FTP服务器问题测试分析：从终端、RNC、SGSN、GGSN侧分别抓包测试，向FTP服务器发送的数据包请求都能发送成功，但是在各个环节都存在没有接收到FTP服务器响应数据包的情况，说明问题主要集中在FTP服务器侧。中国联通山东省分公司FTP优化措施：1、由低端服务器DL380更换为HP高性能服务器（HPDL580）。2、重装FTP服务器操作系统，消除了安装冗余应用软件过多引起的隐患。3、优化FTP服务器网络传输参数，将TCPReceiveWindow设置为62500（默认值17520），在RTT（回环时延）较大的情况下可以提高单线程下载速率。优化效果：优化后在日常DT及CQT测试中没有出现FTP断流现象发生，并且平均速率达到4.03Mbps。日期测试方式FTP次数FTP时长(S)平均下载速率(Mbps)2010-6-23CQT(二机房)13004.512010-6-23DT46702.922010-6-23DT45403.152010-6-24DT13204.072010-6-24DT35724.032010-6-24DT110943.732010-6-24DT614414.06中国联通山东省分公司可视电话评估目标：可视电话的质量评估手段目前还不成