华为-综合满意度多维评测与管理方案-201904V1.8

SecurityLevel:内部公开综合满意度多维评测与管理方案2业务挑战及方案总体架构网络满意度预测及提升方案介绍网络满意度方案应用介绍网络满意度方案部署建议目录3满意度管理的关键问题用户满意度服务网络业务服务态度发票获取服务水平缴费难易价格终端套餐计费语音数据网络短彩信能否正常通话通话是否断续是否经常掉话手机信号格数信号格数变化能否上网上网是否断续打开网页时延看视频是否卡上传下载速率室内手机信号格数室外手机信号格数能否正常打电话能否正常上网短/彩信是否正常发送…………挑战网络中潜在的不满意用户从抽样到全量，从通报投诉到主动预测，从定性到定量，牵引网络、市场等专业部门高效协同，切实提升综合满意度调研反馈的不满意用户如何识别影响满意度的真正要素？如何有效优化提升综合满意度？如何主动管理满意度潜在问题？网络运营指标与客户感知指标难映射，用户满意度与网络运营指标体系难以建立传统的线性关联，到底优化哪些区域、哪些业务、哪些指标，满意度才能有效提升？满意度调研主观性强扰动因素复杂多样，部分用户的主观反馈与客观体验有较大差异，过度友好、盲从差评成为满意度问题分析优化的关键障碍，如何“去伪存真”有效识别有效样本群组？抽样调查考核与全量主动优化缺抓手，集团考核随机抽样，被动救火处理问题总是滞后于考核，盲目优化如大海捞针，如何精准识别潜在不满意用户，针对性投入网优资源快速提升满意度？4方案总体逻辑对齐考核，全面调查电话外呼采样数据Benchmark识别网络/服务/业务问题网络短板业务短板服务短板调查评估深度访谈场景：住宅、乡镇、CBD表现：覆盖、上网慢、掉话热线服务、营业厅体验资费套餐、老用户优惠发现问题解决问题网络满意度预测及分析问题定界质差识别问题汇聚可定界到终端/无线/核心网/SP全网全量用户主客观关联服务增强业务改进资费优化/口碑营销/新老同权服务渠道优化/流程优化网络满意度提升专业服务闭环业务/服务满意度提升针对性专项优化服务品管中心外呼平台大数据聚合分析满意度影响因子识别关键指标影响度排序全网全量用户调研数据聚合综合满意度提升落地建议对齐集团考核，主动识别影响满意度的关键因素，从网络/服务/业务侧全面切入，基于O+B域大数据集成治理与关联建模，支撑满意度评测和提升•网络侧：主客观数据关联建模，结合集团满意度考核指标对全网用户网络满意度进行评估预测，识别已有/潜在不满意用户清单和关键劣化指标，自动多维汇聚分析、定界分析根因（L3定界），高效关联满意度提升专项服务进行问题闭环•非网络侧：结合满意度影响指标标签&用户基础信息标签，对已知不满意用户进行精细分群，通过群分析算法识别TOP群组&TOP因子排序，自动给出维护优化策略方案；固化群组特征模型，作用于全网用户筛查潜在不满意用户并主动关怀第一阶段：先分析清楚问题•引入咨询，分析影响满意度的TOP问题，与运营商达成提升改进目标第二阶段：闭环问题•闭环网络侧问题：SOC+精品网协同，主动识别问题，精准分析定界，规划优化闭环•闭环“服务+业务”问题：不满意指标识别和优先级排序，运营商业务、市场部门改进和提升第三阶段：迭代优化•方案门限、算法迭代调优演进•综合满意度持续优化提升5方案业务架构主观调研样本客观网络指标覆盖，语音与数据3大场景SEQ平台PSPU数据MR&CHR、CSXDR、PSXDR主要输入业务架构样本用户B域数据网络满意度预测网络体验提升评估网络满意度提升评估网络满意度预测用户识别和根因分析(A)闭环动作执行(A)效果评估不满意用户识别用户属性分析质差用户识别和分析终端分析市场和客服体验和价值驱动的网络规划和建设体验驱动的E2E网络优化网络满意度建模建立主客观桥梁关联网络满意度与客观KQI全量用户多领域数据集成市场/服务侧数据挖掘在海量主观调研数据中识别关键因子和排序用户特征精细化分群回归聚合满意度关联指标用户满意度群组画像透析典型不满意用户群组识别精细分群与标签分析满意度干预与提升满意度关键指标识别与排序关联输出干预优化措施跨领域数据集成，主客观数据关联建模，根因分析定界并给出处理优先级排序，闭环验证驱动迭代优化6业务挑战及方案总体架构网络满意度预测及提升方案介绍网络满意度方案应用介绍网络满意度方案部署建议目录7网络满意度预测及提升方案全景场景聚类及价值排序全量用户网络侧满意度可视，识别潜在诋毁者并进行场景化问题归类分析数据清洗剔除无效样本，挖掘满意度强相关指标，单据小时级精细切片，提升模型预测效能基于随机森林算法，主观调研考核关联客观网络体验指标，真正识别影响满意度的关键指标网络数据+用户数据，进行质差用户场景&业务维度交互式分群透析，精细化匹配闭环方案关键技术数据源：•满意度调研样本•每用户每业务数据•全网MR/CHR数据•CRM,营帐等数据数据建模：•主观+客观数据关联建模•基于调研样本的模型矫正B侧数据数据挖掘工具SEQ满意度调研样本PSPUKPIDMModuleDataAnalysisTeam典型场景业务子类不满意用户用户属性小区信息关键指标XDR话单价值排序价值建网体验优化精准营销客服关怀汇聚定界场景化优化闭环全网用户满意度预测建立满意度预测模型满意度调研及数据集成MR数据探针满意度预测：•潜在不满意用户列表•强相关指标列表质差识别及聚类分析异常IPRAN异常网元识别异常UGW异常DNS/APN异常SP异常终端异常小区质差小区分析覆盖评估干扰评估容量评估多维度汇聚分析：•不满意用户质差事件•终端/无线/核心网/SP聚类及排序：•居住区/道路/景区……•语音/视频/上网/手游•价值用户/不满意用户8第一步：合理设计问卷，样本数量充足和客观公正，保证预测准确性样本数量要求•基于统计学中关于样本容量的定理唯一完全精确的样本是普查随机样本并不精确，必定会产生抽样误差随机样本容量越大，精确度越高，抽样误差越小(如图)调研问卷设计•建议调研最少样本数量3000份/月：2000模型训练+1000模型校验•最优样本数量5000份/月：3000模型训练+2000模型校验•问卷设计原则确保最佳访问效果，访问时长控制在3分钟内满意度指标在问卷中采取十分制进行询问，语音贴合客户受访习惯结构化与非结构化问题相结合，给被访者以表达空间•测评维度与重点（指标）建立多层级的指标体系(4层)，用于用户满意度原因归类主要维度：网络、服务、业务客观样本分离•部分用户的主观反馈会与客观体验出现较大的差异，导致样本公正性较差•运用数据挖掘技术，将用户打分和客观体验指标关联分析，分离非客观样本•使用客观公正的样本，保证后续预测和分析均的准确性。差感用户无感知指标异常/异常事件，调研反馈打分低客观用户感知指标/异常事件与调研反馈打分比较一致好感用户有感知指标异常/异常事件，调研反馈打分高9第二步：网络满意度预测建模—主客观数据关联，大数据计算建模数据挖掘和建模用户面数据调研用户信息控制面数据B域数据调研用户体验指标ID业务KQIxxxstreamingstallrate2%…调研用户行为ID维度行为类型XXXNetwork2G/3G/4G体验KQI业务偏好用户数据集成满意度评测建模调优模型部署数据清洗全量用户预测输出1.贬损用户列表2.强相关指标列表全量用户数据不满意/满意基于样本的机器学习数据管理数据清洗指标计算建模与调优模型评估NY模型评估客观数据:PSPU+B域数据(Optional)主观数据:满意度调研样本MR/CHR数据10关键技术-1：数据清洗分离客观样本，特征工程识别高价值指标客观样本分离按场景划分调研用户群，将用户打分和场景对应客观体验指标关联分析，运用数据挖掘技术分离出客观样本引入聚类、单变量异常检测/局部异常因子、离群点检测等关键技术，剔除与网络体验客观指标不一致的无效样本，提高训练集样本质量，提升模型预测性能调查样本按场景分类关联场景相关体验指标语音场景上网场景12差感用户无指标异常和质差事件，整体体验指标好，但调研反馈打分低客观用户体验指标和质差事件与调研反馈打分比较一致好感用户有指标异常和质差事件，整体体验指标差，但调研反馈打分高3分离出客观样本数据处理特征选择效果评估KQI2vs.满意度KQI1vs.满意度特征工程增强(引入IV算法)KQI与满意度得分相关性强KQI与满意度得分相关性弱等级指标重要性1KQI10.9842KQI20.9773KQI30.935..……nKQIn0.931识别强相关性指标强相关指标参与建模特征工程引入IV（信息价值增益）算法，对建模候选指标集实施特征工程，识别预测性能好的关键指标，剔除相关性低的指标，减少干扰因素，提升模型预测性能语音场景指标集上网场景指标集指标集合11关键技术-2:实际场景精细切片，建立反映用户真实感知的指标体系说明：MR/CHR数据需要现场部署Discovery来提供原始单据，以便计算覆盖相关指标，如3/4G弱覆盖的占比CSXDRPSXDRMR/CHR参考门限业务感知Counter异常事件Counter体验异常占比体验异常次数最值华为独有会话级单据拼接，计算指标接近用户真实感知L3衍生指标(小时/天级/周/月度汇聚)体验异常次数均值网优经验值+数据挖掘L1原始详单L2基础指标SDR(15min)覆盖超频注册3/4G弱覆盖占比单位时间内PS重定向次数语音信令面业务面信令面注册/呼叫/接通/切换成功率接入类异常次数小时峰值回落成功率/寻呼成功率注册失败/呼叫失败/回落失败/掉话次数上网PDP激活/Attach请求/RAB建立失败次数小时峰值页面&视频等打开失败/页面&视频RTT大/下载速率低次数指标增强信令面Counter成功率失败率业务面MOS质差占比呼叫时延大/MOS质差/单通次数信令面PDP激活/Attach附着/RAB建立成功率业务面Web响应/视频初缓/TCP链接成功率以前：现在：信令面指标以天级成功率或失败率为主，短周期内的多次失败会被掩盖，无法有效反应信令面异常对用户感知的影响业务面指标以平均速率和平均时延为主，无法体现速率慢和低时延等异常事件发生的频次，从而影响用户对业务体验的准确评估信令面引入失败次数和小时峰值次数指标，反应短时间内信令指标异常对用户影响的程度，以便更准确的通过客观指标体现用户感知业务面引入速率慢和时延大(超过设定门限)等体验异常事件统计指标，通过用户发生的异常事件频次，来提升用户体验评估的准确性TCP/DNS失败次数小时峰值指标数量10+60+200+12第三步：基于满意度劣化精细分群，进行多维汇聚分析及问题定界多维汇聚定界无线覆盖容量问题非网络网络体验优化价值建网承载网带宽不足核心网性能问题DNS/SP问题终端能力受限扩容加站困难区域超套限速SIM卡开户问题流媒体业务Web业务VoLTE语音业务OTT业务业务侧管道侧客户关怀精准营销多维质差用户群评估-质差用户精准识别•完备的业务体验KQI和管道KQI指标集•聚焦小区全量用户&不满意用户两个群组维度•通过水平对比&忙闲对比，识别出质差detractor用户1多维度汇聚评估-问题精细化分段定界•聚焦质差用户话单及主业务过程小区•瞄准2阶（TCP建链和TCP数传）6维（用户/终端/空口/DNS/SP/UGW）不同网元进行汇聚分析•通过水平对比、忙闲对比，识别出真正的质差网元22空口问题精准识别-L3根因分析高效指导优化•开发单机轻量化工具对MR/CHR数据深入挖掘•一键式输出弱覆盖/干扰等空口问题根因分析结果3关键技术13贬损用户列表用户属性分析网络数据分析业务偏好用户小区分布两大方面多维度交互分析基于在网时长贬损者分布基于付费类型贬损者分布基于星级贬损者分布基于ARPU值贬损者分布PSPU数据商业区CBD场景高校道路场景高校手游业务为主居民区视频业务为主CBDVoLTE业务为主•识别典型质差场景的主流业务，明确质差分析重点方向。第四步：结合用户属性、网络数据进行精细分群透析，明确优化优先级124上网贬损用户语音贬损用户典型场景•识别不同类型的贬损用户的主要分布区域，确定质差的典型