网康之流量流向分析技术白皮书

【密级：外部公开】应用流量及流向分析方案白皮书1不容乐观的大背景运营商开始全方位竞争：国内三大运营商的业务重组，经营模式日趋雷同，各个运营商之间的全面竞争已经开始。网间结算吞噬利润：由于竞争的白热化，无论是固网还是移动互联网的流量资费大幅度下调。此时缺少内容的运营商将因为高额的网间结算费用导致利润急剧降低。网间瓶颈导致客户流失：由于网间内容访问的质量不可保障，导致客户体验降低，投诉增多，客户粘性下降，甚至流失。综述：上述3大问题将直接威胁着运营商EVA考核的达成。当下是需要考虑向管理要绩效，向创新要利润的时刻。2通过流量流向分析为IDC提供优化思路是必由之路表面上IDC的主营业务是主机托管，主要收入来源是主机的托管费用。并且IDC的托管服务往往仅仅占到运营商收入的1%左右。但当下的IDC部门不再是一个传统的战术盈利部门，而已经被提升到了战略盈利的高度。其战略意义有4点：1.丰富的内容提供可以使得中移动充分发挥得天独厚的移动用户第一品牌的优势，在移动互联网的数据业务领域再一次独占鳌头。2.内网丰富的内容可以极大的减少网间结算，进一步提升运营商的综合利润。3.内网应用的丰富可以减少网间流量的拥塞，可以大幅度提升用户体验，从而增加客户粘性、提升品牌形象4.从长远意义来看，IDC的建设也为运营商由通道提供商向服务提供商的转型提供了必要的基础积累。【密级：外部公开】目前中国移动已经将大力发展IDC作为战略目标，全国各个省份均在大力投入资金重点建设。并且不少区域已经将IDC建设产生网内流量与网间流量的变化趋势作为了IDC部门重要的考核KPI指标。3解决方案的适用场景如果您想随时了解带宽利用率，提前预警带宽拥塞如果你想了解网间结算根源，并希望获得精准的解决思路哪些网间应用访问正在侵蚀利润哪些网间网站访问正在侵蚀利润哪些网间P2P软件正在侵蚀利润哪些用户DNS配置错误，正在白白浪费钱如果你想了解潜在的用户体验投诉风险，提前布局优化思路哪些网间交互式应用可能成为最大的投诉热点哪些网间网站访问可能成为最大的投诉热点如果你想量化考核各种技术优化成果，不流于形式量化考核IDC引入命中情况量化考核网页CACHE命中情况量化考核IDC应用引入命中情况量化考核P2Pcache命中情况量化考核DNS优化效果如果你想准确的了解用户喜好，提前布局精准营销4解决方案的核心技术说明DPI技术DPI(深度包检测):不依赖传输层端口的识别，而是是通过对明文传输的报文中一些特征字进行匹配，识别出是什么所应用。请看下面的HTTP协议的报文，看到框中的文字就知道是HTTP【密级：外部公开】DFI技术DFI(动态流检测):DPI必须是明文才有用，很不幸很多协议开始加密了，没有明文特征，但每个应用有很明确的目的性，因此流的行为特征是有规律的。通过流的规律性的特征，就可以判断出加密流量是什么协议。看看下图的几个数值就知道了XAI技术XAI(扩展应用识别）:应用又变化了，开始更加狡猾，行为特征也开始不那么清晰；人的需求也变化了，对应用的识别要求更加精细化，例如不在满足于对应用的识别，而是想把应用的一些属性作为细分应用，例如发给某个人的邮件，MSN作为应用。应用分类库当下基于端口、IP来感知、管理、优化网络流量是越来越不能胜任了。因为应用的端口，IP在不停的变化，因此管理者希望达到的是对应用的认知，并且进行管理。因此专业的厂商已经将这个可能变成现实。使得管理者们可以真正的把直接使用的应用软件名称作为管理的对象了。网康科技目前提供了中国真正的最大的应用协议库，达到600多种，并且已树状结构分成了各种大类，便于管理者使用。【密级：外部公开】网站分类库类似于应用管理，网站的识别也无法再基于IP来操作，并且网站访问是用户心态的直观体现，掌握了网站的洞察，就掌握了用户的心理。网康科技目前提供了全球最大的中文网页分类库，可识别2000万的网站访问。并且已树状结构分成了各种大类，便于管理者使用。综述：上述全部核心技术是方案实现的必备要素，每个核心技术的专业程度直接决定着方案效果的达成效果。5解决方案如何工作网康ITM设备支持多种网络部署模式，如单链路模式、多链路模式、镜像模式、重定向模式、旁路监听模式、双机冗余模式等。根据我司网络特性，同时考虑到业务不能中断等特性，因此采用旁路监听模式对流量进行分析。旁路监听模式支持两种监听方式：单端口监听和双端口监听。如果希望获得具体网站的访问的命中情况，可额外部署网康ICG，通过ITM的应用镜像功能将网间和网内的网站访问流量重新镜像给网页分析系统。拓扑图如下图所示：【密级：外部公开】5.1了解带宽利用率、发现潜在拥塞风险下图可以简洁的获取到抽样频率较低的链路带宽占用情况分布图，便于了解总体带宽的利用率以及常见的上网高峰时间。通过本图可以看到，带宽的利用率总体维持在20%-60%之间，总体来说正常，并无拥塞风险。下图可以简洁的获取到抽样频率较高的链路带宽峰值情况分布图，使得可以了解的潜在的突发危险隐患。【密级：外部公开】通过本图可以看到，带宽的峰值没有达到整体的80%，不存在丢包风险。下图可以简洁的获取到形成当前流量分布的各类应用组成，便于快速了解可能造成网络拥塞的网络应用的组成。下图为构成线路流量的应用分布，了解可能拥塞的来源：根据上图分析，目前网内流量90%以上均为P2P流量，其中占前5位的应用为PPStream，迅雷，QQLive，BitTorrent，风行占到总流量的69.62%。【密级：外部公开】5.2了解网间流量、提供IDC优化目标可以看出，流量中有多少是流向了其他运营商，其中，流向移动自己的流量占总流量的51.8%，说明目前IDC引入较为正常，但仍然有较大的改善空间。5.2.1了解最大网间应用，便于IDC重点引入针对有软件制造商信息的网络游戏、网络视频、在线炒股、在线期货交易等应用，分析其中去往其他运营商的流量及人数排名情况。【密级：外部公开】根据上图可以快速分析出去往其他运营商的应用中流量最大的5种是网易视频央视高清穿越火线通达信行情分析易盛交易系统使用人数最多的5种是易盛交易系统通达信行情分析网易视频穿越火线黄金岛根据上述的综合分析，IDC引入的重点关注对象是网易视频穿越火线通达信行情分析易盛交易系统可进一步分析，以上4种热门应用去往各运营商的占比情况。【密级：外部公开】网易视频（网内流量占22.4%）穿越火线（网内流量占0.19%）通达信行情分析（网内流量占0.71%）易盛交易系统（网内流量占49%）【密级：外部公开】从上面对4种应用的分析可看出穿越火线和通达信行情分析目前的命中率非常低，应该作为首要考虑优化引入的应用，才能有效改善网间流量大的情况；网易视频和易盛交易系统的命中率情况较好，但仍然有进一步优化的空间。5.2.2了解最大网间网站访问，便于IDC精准引入网间网站访问流量排名由上面2张图可快速分析出，网站访问中流量最大的主要是门户网站与搜索引擎类的站点，特别是新浪、搜狐、163、百度【密级：外部公开】等常用站点，其次是娱乐类的站点，特别是土豆、优酷等网络视频网站运营商可有针对性的，着重加强对这几类网站服务器的引入，减少网页网站访问带来的网间流量。5.2.3最大网间P2P流量分析由上图可分析出，网间流量最大的P2P应用是迅雷和BitTorrent，运营商可有针对性的引入CACHE，减少P2P带来的网间流量。5.2.4网间DNS配置错误分析DNS流量去往不同运营商的分布情况。由上图可以分析出，去往移动自己的DNS流量占94.71%，分布合理，但是，仍然有不【密级：外部公开】少网间DNS流量，说明网内存在DNS配置错误，需要进一步改善。进一步分析配置错误的主要用户情况。可以根据上图可以快速获取DNS流量最大的前20的用户情况，有针对性的改善。5.3潜在投诉风险分析及优化建议5.3.1网间交互式应用隐患分析1、网络游戏情况分析全网的热门游戏排名【密级：外部公开】去往移动网内的热门游戏排名去往其他运营商的热门游戏排名【密级：外部公开】综合上面三张图可以分析出，目前在网络游戏的使用上，大多数人还是在访问其他运营商的游戏服务器，这种情况就很有可能引发由于网络质量问题而产生的投诉。优化建议：短期：建议对全网前10位的热门游戏进行高质量线路引流具体可参见《应用引流解决方案》长期：针对去往其他运营商的热门游戏，逐步锁定引入目标，努力引入2、炒股软件情况分析全网内的热门炒股软件排名【密级：外部公开】去往移动网内的热门炒股软件排名去往其他运营商的热门炒股软件排名【密级：外部公开】综合上面三张图可以分析出，与网络游戏的情况类似，目前在炒股软件的使用上，大多数人还是在访问其他运营商的服务器，这种情况就很有可能引发由于网络质量问题而产生的投诉。优化建议：短期：建议对全网前5位的炒股软件进行高质量线路引流具体可参见《应用引流解决方案》长期：针对去往其他运营商的热门炒股软件，逐步锁定引入目标，努力引入5.3.2网间网站访问隐患分析网间网站访问请求次数排名【密级：外部公开】由上图可以分析出，网间访问次数居高的有百度、谷歌、新浪微博等常用站点，应引起运营商的重视，注意优化相应服务器的引入，避免带来大量的网间流量。5.4IDC优化效果量化评价5.4.1量化考核IDC引入命中情况内网IDCIP范围的流量时间趋势目标：内网的日均流量应保持在7T以上。效果：由上图看出，内网日均流量还没有达到目标要求，应进一步加强引入。内网IDCIP范围的流量占总体流量的百分比【密级：外部公开】目标：内网的流量应占全网流量的60%以上。效果：由上图看出，内网流量基本达到目标要求，但仍可进一步优化提升。5.4.2量化考核网页CACHE命中情况CACHEIP的流量走势目标：CACHEIP的日均流量应保持在90G以上。效果：由上图看出，CACHEIP流量基本达到目标要求，但仍可进一步优化提升。CACHE占总体网站访问流量的百分比可以看出虽然部署了网页Cache，但是相应网站在网间还是有较大的流量，Cache的效【密级：外部公开】果还没有达到预期的90%以上的命中率5.4.3量化考核IDC应用引入命中情况内网热门应用流量的时间趋势（网络视频、网络游戏、在线炒股、期货交易）目标：内网的热门应用日均流量应保持在12G以上。效果：由上图看出，内网热门应用日均流量基本达到目标要求，但仍可进一步优化提升。热门应用的网内网间流量比（网络视频、网络游戏、在线炒股、期货交易）目标：内网的热门应用流量应占全网流量的50%以上效果：由上图看出，内网热门应用流量还没有达到目标要求，应进一步加强引入。5.4.4量化考核P2Pcache命中情况内网P2P流量的时间趋势【密级：外部公开】目标：内网的P2P日均流量应保持在1.6T以上。效果：由上图看出，内网P2P日均流量还没有达到目标要求，应进一步加强引入。P2P应用的网内网间流量比目标：内网的P2P流量应占全网流量的50%以上效果：由上图看出，内网P2P流量基本达到目标要求，但仍可进一步优化提升。5.4.5量化考核DNS优化效果流向外网的DNS请求流量的时间趋势【密级：外部公开】目标：流向外网的DNS日均流量应保持在250M以下。效果：由上图看出，网间DNS日均流量基本达到目标要求，但仍可进一步优化提升。内外网DNS请求连接比例目标：内网的DNS请求数应占全网流量的50%以上。效果：由上图看出，内网DNS请求数还没有达到目标要求，应进一步加强引入。6解决方案带来的价值有的放矢、减少投资浪费：【密级：外部公开】本方案可以给出精准的急需优化的目标，缩短IDC优化进程。同时避免盲目的IDC投资建设带来的浪费。量化考核优化成果，凸显绩效本方案可以为IDC优化后的效果给出量化的依据，因此可以为IDC部门设定量化的KPI指标。通过量化指标的达成可以有效的彰显IDC部门在优化方面的突出成绩技术创新，成为精准优化的先行者