互联网质量优化经验

网络质量是通信企业生命线2011年7月中国移动江苏公司网络部互联网质量优化目录全球互联网情况概览CMNET总体分析CMNET资源加速技术目录2北美和欧洲互联网渗透率最高亚洲互联网用户数最大、发展潜力最大美国是全球互联网中心各大洲建流量交换以北美为最大全球互联网内容源仍以美国为中心中国网站用户主要集中在国内，国际化程度不高，信息源质量和创新度不够（百度用户96%来自国内）互联网发展的主要指标互联网的网络价值取决于用户规模、网络能力和内容资源三大因素3互联网指标VerizonAT&TNTTLevel3中国电信中国移动海外POP点数量（个）1000380025180201自建、1租用连通自治域数（个）222422845902565暂无数据18转接客户数（个）3150934暂无数据5000暂无数据0宽带用户数（户）1000万1400万1700万05346万130万内容源情况（互联网网站数）暂无数据暂无数据暂无数据暂无数据数十万个数百个全球TOP10网站全球TOP50网站分布中国网站访问主要集中在国内数据来源：2010年6月Alegal公司统计发布全球互联网内容源仍以美国为中心，TOP50排名网站中占50%以上；截止到09年中国网站数量达到323万，与全球相比数量较少，信息源质量和创新程度不够。互联网内容源分布情况排名网站名国家1GOOGLE美国2Facebook美国3Youtube美国4Yahoo美国5WindowsLive美国6Wikipedia美国7百度中国8Blogger.com美国9MSN美国10QQ.com中国4中国移动的互联网发展国内环境在移动通信和有线宽带领域均遭受不对称管制，国内宏观环境总体较差出口结算不对称管制宽带运营牌照限制监管力度逐步加强根据工信部的结算管理办法，电信和联通之间采用互不结算模式；移动和电信、联通之间采用付费结算模式，按照互联端口支付结算费用2010年中国移动骨干网结算成本约100万/G/月，全行业最高，2010年国内结算费达到11.2亿。电信重组后，中国移动通过中国铁通间接获得有线宽带运营牌照、根据工信部最新文件，中国移动只可经营利用TD网络开展的无线宽带接入和网元出租业务。中国体统经中国移动授权可以开展有线宽带接入业务。2009年12月份工信部电管【2009】686号文，对中国移动和中国铁通的经营范围作出了明确规定；各地电信加大申告力度，各地通管局逐步加大管制力度，明确移动不能经营有线宽带业务并对授权铁通经营有线宽带制订了管制细则。移动通信非主导运营商主导运营商移动固定对等结算共建共享携号转网价格监管互联网非主导运营商主导运营商最后一公里接入垄断付费结算牌照限制内容资源垄断5全球互联网情况概览CMNET总体分析CMNET资源加速技术CMNET总体情况面临主要问题分析目录6宽带用户上网感知的影响因素网站本身处理能力不足，业务忙时响应时延较长；网站页面设计不合理，页面插件多，造成用户打开慢；网站资源接入带宽不足。用户电脑处理能力不足；用户终端感染病毒，大量发送数据包造成处理器繁忙；用户终端浏览器安装插件太多，造成打开网页处理缓慢；用户终端软硬件故障。路由器、防火墙等网络设备处理能力不足，在业务忙时会造成丢包、会话建立时间长；域名解析服务器处理处理能力不足导致用户域名重复解析；网络中链路带宽拥塞；互联互通干扰。网络网站终端影响用户上网感知的主要涉及终端、网络、网站三个环节。网络影响主要是端到端的带宽保障，任何段落带宽利用率超过80%都可能导致网络层面数据传输时延增加、丢包等。7网络各环节影响分析城域网省网国际互联网电信联通教育网CMNET骨干网用户接入网城域网省网骨干网互联网接入网主要影响是部分区域用户集中接入，但是受资源限制，存在电路配置带宽不足现象。随着城域网扩容已经逐步缓解。城域网和省网，此前由于部分中继带宽利用率超过90%，造成忙时拥塞。随着CMNET四扩工程推进，省内和省网出口中继利用率基本在50%以内，省内整体时延在30ms内骨干网除个别中继外整体利用率不高，骨干网整体时延在60ms内，基本上不影响用户感知；1、国际出口电路整体利用率不太高，但是由于互联对象较少，造成访问多数国际互联网资源缓慢；2、国内互联网资源主要集中在电信、网通网内，访问速度受限于骨干网出口的带宽；其他省网8互联网国内、国际出口现状国际出口总带宽：33.2G（北美9G，香港24.2G）国内出口总带宽：133G（电信42.5G，联通70G，铁通23.5G，教育网3.5G，百度1G，世纪互联2.5G）接入网城域网省网骨干网9CMNET骨干网络现状3图图图10Gbps图图图图2.5Gbps图图图图图图图图图图哈尔滨2哈尔滨1石家庄郑州1呼和浩特2银川2兰州2西宁1重庆2昆明1贵阳1南宁2海口1厦门南昌1南昌2长沙2合肥1太原1杭州2长春2长春1天津2天津1青岛济南郑州2合肥2杭州1长沙1福州南宁1贵阳2昆明2重庆1乌鲁木齐1呼和浩特1太原2沧州中国移动互联网骨干网四期三阶段工程后的网络结构示意图海口2西宁2兰州1银川1拉萨1拉萨2西安2成都2武汉2上海2无锡大连2222深圳乌鲁木齐2NAP路由器GSR12008国内网间专线互联路由器M320国际网间互联路由器GSR12416国际Internet国内其他运营商上海NAPNAP路由器GSR12008国内网间专线互联路由器M320国际网间互联路由器GSR12416国际Internet国内其他运营商广州NAPNAP路由器GSR12008国际Internet国内其他运营商北京NAP2国际网间互联路由器GSR12416-1国内网间专线互联路由器M320-1155M图图图图GE图图图图4上海1-1上海1-2南京1-1沈阳1-1西安1-1西安1-2成都1-1成都1-2武汉1-1432224422322北京3-1322222222222223222233234222222222310G222223422224444224444224444香港POP3北美POP2图图图图图图南京1-2武汉1-2北京1-1北京1-2沈阳1-2广州1-2广州1-12831315727618499290953936866873720761341128512834154983959763340864131548781646943085250500001000001500002000002500003000003500002002年2003年2004年2005年2006年2007年2008年2009年2010年系列1系列2CMNET现状自2000年建成以来，网络架构没有大的变化；骨干节点没有增加；出口节点没有增加；网络发展体现在传输带宽的增长以及出口带宽的增加；为满足国际业务的疏通，先后建设了香港、北美两个海外节点；CMNET资源及业务增长情况CMNET网络承载流量：2002年底为851M，2010年底为308525M，九年增长363倍；CMNET网间互连流量：2002年初为283M，2010年底为134112M，九年增长474倍；接入网城域网省网骨干网10全球互联网情况概览CMNET总体分析CMNET资源加速技术CMNET总体情况面临主要问题分析目录1152.9%38.2%1.6%1.6%1.5%0.7%0.7%0.0%0.0050,000.00100,000.00150,000.00200,000.00250,000.00300,000.00350,000.00400,000.00电信原网通科技网教育网移动原联通原铁通国际经贸网0.0%10.0%20.0%30.0%40.0%50.0%60.0%22.2%1.1%2.3%3.8%7.4%7.8%19.5%35.8%0.0200.0400.0600.0800.01000.01200.0电信原网通移动教育网原铁通国家信息中心原联通其它0.0%5.0%10.0%15.0%20.0%25.0%30.0%35.0%40.0%CMNET面临的主要问题规模小：CMNET网络建设于2000年，较电信、联通的网络晚了近五年时间；资源少：90％的网络资源在外网，85％的互联网流量需要出网访，网间互通压力巨大；竞争激烈：全业务竞争后，对方已经有意压制CMNET的发展，网间带宽扩容难度越来越大；信息安全：国家赋予运营商控制互联网上不良信息传播的使命，前期以来人力来发现、拦截不良信息，投入人力大，效率低。国内IP地址分布国际出口带宽分布I地址量（B类）国际带宽（Mbps）12网内资源少，对外网依赖程度大出境流量中Web比例远小于入境流量，说明大量的网站资源在CMNET以外。网外的Web站点较为分散，排名前十位的网站访问量不到13％；社交、搜索、门户网站访问量较大13网间带宽瓶颈导致业务质量无法保证05000100001500020000北京－山西广州－国内出口北京－国内出口广东－网通上海－网通广州－电信上海－电信北京－电信北京－网通北京－铁通广州－铁通上海－铁通香港－德电广州－联通上海－教育网香港－PCCW上海－ATT香港－NTT北京－世纪互联上海－UUNet0.00%20.00%40.00%60.00%80.00%100.00%互连带宽峰值流量(Mbps)峰值带宽利用率12%6%82%高负荷中负荷低负荷83%9%8%国内出口国际出口网内流量•从全网负荷分布来看，•高负荷链路共27条，其中国内、国际出口占20条，网内链路占7条•中低负荷链路共202条，其中国内、国际出口链路仅占9条；CMNET网内质量是可以保证的，国内出口链路是CMNET网络中的瓶颈，且又是流量集中的方向。从目前流量模型看，国内出口流量是主要部分，占全部流量的83%14目录全球互联网情况概览CMNET总体分析CMNET资源加速技术流量疏通流量控制内容缓存内容引入问题与思考目录15互联网总体优化方向思考核心目标：提高互联网用户业务感知；重点解决网速慢、错误代码等用户投诉；提高忙时用户平均下载速度；重点方向：提高网内资源消费比例，降低对外网资源依赖；结合内容引入、CDN、重要资源直联等手段，提高用户网内资源消费比例；疏堵结合，降低P2P下载大量消耗出口带宽影响浏览、游戏等时延敏感业务；辅助手段：第三方出口作为阶段性应急手段，解决网内无法引入的热点资源，降低结算费用；考虑到第三方出口的不稳定性、集团结算方法变化等因素，逐步降低对第三方出口的依赖。16热点网站内容引入IDC内，资源就近访问第三方出口社会IDC直连大型网站直连基于DPI/DFI进行流量分析，对P2P流量进行分类控制，降低下载类流量占比重定向辅助缓存通用缓存系统兰汛CDNCMNET加速手段综述流量疏导流量控制内容引入内容缓存17目录全球互联网情况概览CMNET总体分析CMNET资源加速技术流量疏通流量控制内容缓存内容引入问题与思考18骨干网层面13地市城域网核心NE5000E南京苏州N*BRASN*SR专线路由器/交换机N*AC集团CMNET骨干网络南京省网出口无锡省网出口省内互联网第三方电路部署方案省网专用第三方出口路由器C7613电信网络网通网络世纪互联电信网通地市专用第三方出口路由器电信NAT出口NAT/BGP穿透BGP+NAT4*10G4*10G科研网网通骨干网疏通数据流第三方疏通数据流流量疏通总体原则：第三方电路疏通个人宽带流量、个别互联网访问要求高的集团客户流量，移动互联网相关业务流量全部通过集团骨干网疏通。集团公司关于国际流量不通过省内第三方出口疏通要求。19互联网第三方电路流量疏导方式分析电路类型功能特点路由策略优点缺点使用定位BGP方式双向对等互联，属于标准网间互联方式；按地址段交换路由，对等交换路由双向互通，简单、灵活、可靠，价格偏高电信方向目前买不到。省网层面部署少量电路，保障部分重点集团客户和业务网站质量。NAT方式只能实现本网用户到对方资源的单向访问；部分银行、游戏类应用受限。方式一：按照源地址策略路由，引导流量到第三方出口路由策略数量相对较少，对设备负