SDN的流量工程和路由控制

基于SDN的路由控制及流量调度TencentSDN实践分享腾讯网络架构－业务需求是第一出发点即时通信•国内最大的在线社区•最高同时在线数1.76亿•微信注册用户突破3亿网络媒体•流量最高的中国门户网站•腾讯微博日活跃帐户数0.87亿网络游戏•国内第一互动娱乐游戏平台•QQ游戏最高同时在线账户数880万网络社区•国内最大的互动社区网站•QZONE月活跃帐户数6.03亿无线业务•国内领先的无线门户网站注：所有数字的统计口径为2012年年底业务众多且发展迅速，需要稳定运营&高效交付的网络！开放平台TencentNetworkLabarotary2ISP-ACity-AIDC-APod-1IDC-CISP-BISP-CWAN-ACity-NISP-BIDC-NCity-BIDC-AIDC-BPod-2MANISP-APod-1IDC-BPod-2MANISP-BWAN-BISP-C腾讯网络互联50+DC，30w+服务器，1k+专线，3T+出口带宽TencentNetworkLabarotary3面临的挑战及SDN实践TencentNetworkLabarotary4•高性能、安全、多特性的大规模数据中心网络•大容量、差异化、高利用率的广域网通讯•高效、自动化、智能的网络管理IDC：广域网：网管：SDN实践定制网络路由协议虚拟网络交换中央流量调度NETCONF零配置部署配置自动发现OVERLAY网络虚拟化大规模网络路由协议SequoiaRoutingProcotolTencentNetworkLabarotary5目前DC内网络路由协议大多数使用OSPF1.生成并全局同步LSA2.把LSA拼接成拓扑3.计算最短路径TencentNetworkLabarotary6Sequoia项目简介•目标：大规模IDC架构(2W+服务器）下路由简单可控•SRP（SequoiaRoutingProcotol)•价值•控制器运算，减少路由协议（如OSPF）对控制平面的负担•适应大规模多级CLOS架构，收敛时间不随规模增加而增加•可集中调度，复杂度可控、可预测（代码极度精简）•手段•静态路由+动态收敛，简单、轻量的距离矢量协议•依赖固定的网络拓扑，水平分割原则避免环路•中央控制器实时监管、动态调整TencentNetworkLabarotary7SRP典型拓扑服务器x40服务器x40服务器x40SequoiaRouteProtocol……………….核心接入Cor1Cor4Border1Border2边界…….…….Tor1Tor128Tor512Tor256外部网络XGP服务器x40TencentNetworkLabarotary8SRP水平分割原则服务器x40服务器x40服务器x40SequoiaRouteProtocol……………….核心接入Cor1Cor4Border1Border2边界…….…….…….Tor1Tor128Tor512Tor256外部网络XGP服务器x40•所有流量必须遵循最短路径（忽略所有其他较长路径）：•DC内：接入--核心--接入（2跳）--蓝色路径•DC间：接入--核心--border（3跳）--绿色路径•被禁止的路径：接入--核心--接入--核心--接入(4跳)–红色路径SRP实现框架转发表生成、维护转发表SRP控制器RouteMap根据身份下发链路通告、邻居状态维护SRP算法Server2Server1TopoGrid10TencentNetworkLabarotarySRPTopoGrid示例DevicesCore1Core2…Core4ToR1****ToR21111……Core11***Core2*1**……Border11111Border21111DevicesCore1Core2…Core.4ToR11111ToR21111……Core11***Core2*1**……Border1****Border2****列表示邻居行表示目的设备1表示邻居为目的有效next-hopDevicesToR1ToR2…ToR128Border1Border2ToR11*****ToR2*1****……Core1******Core2******……Border1****1*Border2*****1ToR1’sGridCore1’sGridBorder1’sGrid*表示邻居永远为无效next-hop描述互联关系TencentNetworkLabarotary11SRPRouteMap示例SubnetFromDescriptionStatusToR1’PToR2’PCore1’PCore4’PBorder1’P10.1.1.0/26ToR1Production有效DirectLearnLearnLearnLearn10.1.33.0/26ToR1ServerILO失效DirectBlackholeLearnLearnLearn10.1.0.41/32ToR1Loopback有效DirectLearnLearnLearnLearn10.255.254.0/24ToR1Deployment有效DirectBlackholeLearnLearnBlackhole10.1.1.0/26ToR2Production失效LearnDirectLearnLearnLearn10.1.33.0/26ToR2ServerILO有效BlackholeDirectLearnLearnLearn10.1.0.41/32ToR2Loopback有效LearnDirectLearnLearnLearn10.255.254.0/24ToR2Deployment有效BlackholeDirectLearnLearnBlackhole10.1.0.1/32Core1Loopback有效LearnLearnDirectBlackholeLearn10.0.0.0/8Border1AwayfromIDC有效LearnLearnLearnLearnRedistribute10.0.0.0/8Border2AwayfromIDC失效LearnLearnLearnLearnRedistribute根据设备身份配置，确定采用哪一列设置每一行确定对每条路由的学习策略实现路由管控TencentNetworkLabarotary12SRP算法纵览0111063512Peer/PortSubnet0001001111111UpdateMessageReceiveSend某subnet的总可达peer数变为0或1Peer/Portup/downEvent0/1-静态路由表-动态可达/不可达状态1将此Peer/Port的所有Subnet置为0000链路状态恢复信息11TencentNetworkLabarotary13TencentNetworkLabarotary14OSPFBGPSRPIDC内收敛时间2s1s1s规模敏感性规模增长性能恶化不敏感不敏感实现代码50万级别30万行级别7000行功能扩展管控程度低极限：分布式调度集中式调度SRP已经上线运行TencentNetworkLabarotary15SRP愿意和各位一起完善广域网流量调度CarrierBackboneNetworkController16TencentNetworkLabarotary专线容量管理窘境专线带宽利用率低成本压力很大专线容量预警多BG用户很不爽TencentNetworkLabarotary更窘迫的是突发流量Microsoft在其骨干网同样碰到了链路利用不足的问题TencentNetworkLabarotary18原因在哪里？传统网络架构类似于每个路口的交警们。根据路口情况独立做出判断指挥交通。分布式，健壮性很好。但缺乏全局视图，无法解决所有人可能都走一条路，或突发的问题；提前规划、区分流量、智能分流很关键TencentNetworkLabarotary19建立多条通路专线公网流量原则：①先保障承诺流量优先、最优路径传输②非保障流量在拥塞时，先切换到次优路径选路原则：①有带宽资源的最优专线②有带宽资源的次优专线③有带宽资源的最优公网传输④有带宽资源的次优公网传输利用auto-te技术解决分布式计算带宽实现流量根据资源池资源按需调度更强的容灾架构提高专线利用率，降低运营成本TencentNetworkLabarotary20集中式路径计算与调度TencentNetworkLabarotary21SDNControllerBGP-LSPCEP•SDNController与路由器之间运行BGP-LS/SNMP协议，路由器将通过IGP搜集的网络拓扑和带宽情况通过BGP-LS传递给SDNController，每个域内只需一台或两台路由器（通常为ABR）与Controller建立邻居关系即可，解决了系统扩张的压力；•SDNController基于BGP-LS/SNMP传递的信息完成路径选择（PathComputation），并通过PCEP协议将结果下发给路由器•集中式路径计算避免分布式模式下的带宽利用不合理路径计算routerrouterrouterrouterrouterrouterrouterrouter集中式业务流量规划及QOS管理CBNIDCSERVERNetflow收集流量分析QOS信息库Controller(1)(2)(3)(4)(5)业务申请带宽Netflow采集业务使用情况集中判断业务流量是否超过下发至交换机上QOS降级管理通知业务进行处理集中化云端QOS分析、控制、处理，由原来依赖硬件网络设备高性能处理工作交由软件系统实现。TencentNetworkLabarotary22ipdscp标识业务流程TencentNetworkLabarotary23差异化广域网流量服务（路径计算+流量控制）业务需求集中流量控制集中路径调度CBN源服务器sw城市Asw城市BDSCP用户带宽申请/撤销1策略下发Controller245为流量上打DSCP标3差异化服务目标服务器5流量采集路径计算TencentNetworkLabarotary24TencentNetworkLaboratory愿与您探讨&分享：大规模IDC网络架构设计广域网流量调度虚拟化网络智能网络管理更多SDN内容WechatID:sagezouQQ:335957600Mail:[e-mail]：腾讯云数据中心