承载集团客户的MPLSVPN网络-中国移动IP承载网

中国移动MPLSVPN网络-IP专用承载网中国移动集团网络部黄昭锐-2-目录中国移动IP专用承载网介绍IP专网组网与路由设置IP专网维护手段与团队IP专网业务与网络质量2MPLSVPN业务发展的背景客户业务需求----从省内业务扩展到省际业务.IP承载网特性----覆盖广、质量高、安全性高的网络。PEIPNETPEPEPEPECEA用户CEA用户CEB用户CEB用户CEB用户MPLSVPN可以为用户提供不同逻辑拓扑连接的跨省业务。MPLSVPN通过不同的“虚通道”，传递不同用户VPN的数据。各条“虚通道”互不干扰，保证用户数据的隔离。Internet互联网与VPN承载网分离，降低公众网络攻击的风险。MPLSVPN网络特点中国移动IP专用承载网介绍中国移动IP专用承载网是中国移动面向多种业务、能够同时支持语音、视频、数据等多业务的核心承载网络，是全国性的IP网络。主要面向承载中国移动自有高服务质量和高安全可靠性要求的电信业务（包括软交换网、TD核心网电路域/分组域、中国移动企业内部支撑系统）和大客户业务。网络通过MPLSVPN来承载和隔离业务，保障业务信息高速、安全传送。中国移动IP专用承载网始建于2004年，经过多次工程扩容建设，到2013年，网络已经覆盖全国31个省市自治区约340多个地市节点以及网管中心节点。-5-目录中国移动IP专用承载网介绍IP专网组网与路由设置IP专网维护手段与团队IP专网业务与网络质量5IP专网网络组网–中国移动IP承载网整体网络规划定位于核心、汇聚和接入3层结构，其中接入节点已经覆盖全国所有340余个地市，–计划建设广州国际出口节点，能够保证满足用户VPN业务的全国/海外接入需求；后续计划建设北京、上海国际出口节点。网络组网省会和重要城市各个地市核心城市IP专网网络组网核心层：北京、上海、广州、沈阳、南京、武汉、成都、西安、杭州9个城市分别配置2台核心路由器（CR）或核心兼作汇聚路由器（CR/BR）构成9对核心层节点。汇聚层其他省省会城市及厦门、广州、深圳、大连、无锡、青岛成对配置汇聚路由器（BR），构成27对汇聚层节点。接入层全国300多地市成对配置接入路由器（AR，也称为PE），构成接入层节点。IP专网路由设置网络整体路由组织采用扁平化原则，全网为单一自治域（AS域）IGP采用IS-IS路由协议，所有路由器置于Level2层中启动IGPISIS的快速收敛使用LDP协议分发标签通过MP-iBGP传播VPN路由信息，实现VPN内的互通核心层TEFRR链路保护91、全网开启ISIS，通过metric值设置路径选择；全网为同一个AS域，AS号为24059。2、全网开启MPLS，通过LDP标签分发协议建立LSP;通过MPLSVPN封装业务系统IP专网路由设置103、CR之间部署流量工程TE:流量工程是控制流量如何通过本网络以实现资源利用的最大化和提升网络的表现力的一种手段。TEFRR收敛时间在50ms以内。目前仅在核心层（CR之间的所有链路）部署TE；所有核心节点之间实现“一跳式”的保护，备用LSP仅在核心层之间实现；IP专网路由设置-11-IP承载网、CMNET（专线）架构对比整个IP专网为一个自治域每个省网为一个自治域每个省网为一个自治域骨干层骨干网为一个自治域省网层IP专网CMNET硬件设备与链路设置路由设备–全网采用业界上最先进的设备构建，具备良好的业务支持能力，具备MPLS等业务的开展能力，设备处理能力及可靠性高。中继设置–网络所有中继链路带宽设置满足全网任何1台路由器宕机及任何1条中继链路失效时的流量疏导需求。–全网基本采用N*10G链路组网，全网中继链路平均链路利用率不超过30%。全网为轻载网络，对于服务质量有力保证。–2013年2季度，现网省际总带宽达到1413G，省内总带宽12000G。华为NE5000ENE80E…思科CRSASR…JuniperT1600阿尔卡特7750SRIP专网的保护机制设备级链路级网络级设备关键部件冗余集中控制&分布式转发体系构架MPLSOAM端口Trunk链路双归环网保护IGP快速收敛TEFRR设备级：路由器设备双电源、双引擎，设备故障率下降明显；链路级：链路故障路由器快速检测达到传输级别；网络级：节点、链路故障快速切换保护，业务中断时间达到电信级。-14-目录中国移动IP专用承载网介绍IP专网组网与路由设置IP专网维护手段与团队IP专网业务与网络质量14IP承载网业务情况省带宽Gpbs省带宽Gpbs省带宽Gpbs省带宽Gpbs北京340浙江200重庆40贵州20湖北370河南50天津20云南20广东300河北40山西40西藏20上海210福建40内蒙20甘肃33江苏270安徽40吉林20青海23四川170山东40黑龙江20宁夏20辽宁110湖南40江西30新疆30陕西190广西40海南20总部20出省带宽•出省带宽利用率在16%以下，节假日突发量约在30%左右。能够满足业务需求。•集团客户接入的业务带宽门限在接入带宽大小，而不是大网容量。0%2%4%6%8%10%12%14%16%051015202530北京湖北广东上海江苏四川辽宁陕西浙江河南河北福建安徽山东湖南广西重庆天津山西内蒙吉林黑龙江江西海南贵州云南西藏甘肃青海宁夏新疆总部Gbps31省出网流量图流出速率Gbps流出带宽利用率（%）出省流量（Gbps）IP专网网络性能与技术指标网络时延PE位置平均时延城市范围同一省内一级城市间60ms郑州，长沙，武汉，南昌，合肥，南京，石家庄，西安，杭州，广州，上海，北京，天津，济南，太原，成都二级城市间或二级至一级城市间90ms兰州、呼和浩特、福州、南宁、西宁、重庆、海口、沈阳、贵阳、哈尔滨、昆明、银川、长春、乌鲁木齐、拉萨、大连、无锡、深圳、无锡、厦门三级城市间或与一二级城市间125ms其他城市国际段（HK-LA-LD）IP专网网络性能与技术指标丢包率与抖动性能指标可用率•设备可用率：双节点设备99.99%、单节点设备99.8%。•链路可用率：双链路可用率99.9%，单链路可用率99.7%。端到端路由器收敛时间=3s核心区域快速重路由收敛时间=50ms指标（7月统计）丢包率抖动平均值0.0002%0.93ms最大值0.04%5.47ms网络存在丢包率的原因网络特性的原因：业务流量具备随机性、突发性的原因，某些节点在业务突发的情况下，转发性能下降，存在随机丢弃的可能性。甚至在骨干网中的路由切换，也会有小几率的丢包。尤其是数据业务主要为UDP报文，本身是面对无连接的业务，一旦网络略有抖动就会产生丢包。传输性质的原因：传输面对的环境和地理位置情况多种多样，传输的干扰、光功率的抖动，传输路由倒换时，有可能会有小概率的丢包。网络流量大的原因：在流量大的情况下，设备或板卡会根据业务的等级，丢弃一些低优先级的数据包。例如ping包的优先级别很低，使用ping测试网络时，会可能有丢包产生。路由器设备安全保护机制的原因：路由器的CPU本身有保护机制，CPU工作忙、或受到攻击、或收到大量快速大包ping时，基于对CPU的保护，有可能会丢弃一些包（/ping包）,达到路由器大脑的自我保护。行业内的高端路由器都使用了这种保护机制，如思科、Juniper、华为等。Ping测试丢包不等于业务丢包。网管测试机制的原因：网管统计是一次发送60个测试ping包，所以偶有丢弃一个包时，丢包率就是1.67%。由于网络及设备处理机制的缘故，存在偶发丢包现象，的原因如下：IP专网QOS情况骨干：核心/汇聚设备进行转发控制边缘：在接入业务的端口进行流分类在网络入口对分组进行分类、流量控制，设置DSCP在网络中根据分组的DSCP值，进行队列调度、分组丢弃业务设备DiffServ域用户设备PHBPHBPHBPHBQoS的实施分为两个部分：骨干和边缘。在骨干采用的技术包括：带宽分配与拥塞避免（WRED）带宽分配与拥塞控制（WFQ）在边缘采用的技术包括：业务分类（Classification：IPP/DSCP,MPLSEXP）速率限制（CAR）IP专网QOS情况业务类型类别DSCPIPPEXPCS信令、Iu-Ps信令、Gn信令CS75677路由协议CS64866CS语音、PS语音EF4655PS流媒体AF413444预留AF312633PsInteractiveAF211822预留AF11011BackgroundBE000QOS设置说明：上图为骨干网内目前设置的QOS，客户业务接入侧的QOS根据客户需求定制。-21-目录中国移动IP专用承载网介绍IP专网组网与路由设置IP专网维护手段与团队IP专网业务与网络质量21IP专网维护手段与团队人员网管系统7*24小时监控维护团队（含省）统一管理-数据网管VPN业务网管系统告警监控投诉处理故障派单、督办故障处理业务分析、预警分析月度报告网元监控统一告警监控故障派单质量监控性能统计SLA报告业务开通技术支持方案制定网络规划中国移动IP专用承载网介绍网络管理–对所有VPN设备和业务资源、业务告警、业务报表和业务申请流程、业务统计、业务数据配置、业务质量监控进行管理，为网络和业务统一管理提供有效的基础管理支撑手段。业务开通管理业务质量监控业务QoS管理业务SLA管理业务概况监控视图业务接入信息管理业务资源管理业务告警管理业务性能管理大客户运维报表管理应用层数据对象管理(新增CE数据对象支持)统一数据建模(新增CE设备数据建模)数据管理层数据库数据采集层配置采集代理配置下发代理质量拨测代理性能采集代理告警采集代理集客CE告警采集代理采集适配接口（SNMP/SET、TRAP、NETFLOW、NETSTREAM、SYSLOG、TELNET、SSH…...）用户管理、安全管理、权限管理、日常管理功能•资源管理•拓扑管理•告警管理•性能管理•质量管理•SLA管理•业务开通•月报管理•CE管理•客户自维网络概况监控图业务接入信息管理业务资源管理业务资源拓扑呈现业务告警管理业务性能管理业务流量流向管理业务质量监控业务开通管理总结附录：集团客户VPN业务情况VPN业务量：7月新奥入网流量为21.2TB，博世入网流量为46.6TB，流量每月比较平稳。博世租用总带宽为1767Mbps，峰值带宽使用1045Mbps。新奥租用总带宽为490Mbps，峰值带宽使用238Mbps。用户投诉分析：7月用户投诉共22起（新奥6起，博世16起）。客户原因引起的投诉总共14起，占63%。移动原因引起的投诉共8起，占37%，主要为传输、电源故障、时钟施工引起。3414.82019.921.920.121.2046.452.853.743.746.601020304050602013年2月2013年3月2013年4月2013年5月2013年6月2013年7月TB集团客户VPN入网流量图新奥入网流量（TB）博世入网流量（TB）客户原因,14,63%传输故障,2,9%市政施工,3,14%电源故障,3,14%客户投诉原因分析附录：集团VPN网络质量情况35CMNet网络质量（新奥VPN业务）-满足客户SLA要求：IP承载网络质量（博世VPN业务）-满足客户SLA要求：IPNET31省-北、上、广时延见右图。丢包率最大为0.04%，最大抖动为5.47ms。新奥VPN时延见右图，各节点时延（蓝线）小于门限值（红线）。丢包率最大为0.04%，最大抖动为2ms。0102030405060708090100安徽六安PE1安徽巢湖PE2安徽滁州PE1安徽蚌埠PE1江苏南通PE1江苏常州PE2江苏泰州PE1江苏淮安PE2江苏盐城PE2江苏连云港PE1浙江海宁PE1浙江湖州PE1浙江金华PE1浙江杭州PE2内蒙鄂尔多斯PE1山东潍坊PE1山东烟台PE2山东聊城PE2山东青岛PE2河北廊坊PE2河南开封PE1河南新乡PE1河南洛阳PE1辽宁葫芦岛PE1北京马连道PE1河北石家庄PE2广东东莞P