多ISP出口及以太网网接入技术解决方案(修正2版)

多ISP出口解决方案☺叶晓斌于2006-3-17QQ：22077589千与MSN:[e-mail]：[e-mail]由于电信分家，网通与电信各占了半个中国。网通与电信之间的互联互通问题，就变成不可调和的矛盾。同样是在广东一个省，用网通线路的宽带访问，同一栋房子内电信的宽带，需要绕整个中国一圈，必须先去北京，电信网通的交汇点排排队，丢丢包之后才重新绕回广东，造成时延，丢包率及抖动都非常不理想。许多企业，网吧及小型ISP开始考虑双链路及双归属的做法。此文试图对多ISP接入的静态方式做探讨，以一种较为可行的方式，实现多ISP上联。阅读完本文，读者基本可以实现基于静态方式接入多ISP（解决以太网接入方式本地终结的问题），及实现多出口的冗余及负载均衡，并可以根据时间进行任意出口的选择。2006-4-6完成第一次增补：补充关于多ISP接入时如何对服务器进行负载均衡的讨论，主要解决的问题的关键是，如何按，国内国外，或按省，或按区域，或按照运营商实现对服务器的访问控制，并且实现对流的一致性。一、昀完美的实现方式。☺使用BGP与各个运营商建立连接，学习全球约25万条BGP路由，并且申请一段自己归属的地址做BGP通告，这样对于选路来说是昀优的，可控性及灵活性也很高。缺点是接入费用，及对设备的要求及对人员的要求很高，故只适合ISP级别的运营商解决方案。ActiveBGPentries(FIB)二、实现方案二，使用静态路由，默认路由及浮动默认路由，实现选路的昀优化及，线路的冗余问题。本文将探讨此方案的可行性。实现此方案必须先解决以下几个问题。1)以太口，及GE口本地终结问题：以太网接口的应用越来越广泛，并且很有价格上的优势，客户升级也很方便，很容易从10M升级到100M，甚至1000M，但经过传输设备或协议转换器，或一台2层交换机，之后，无法检测到以太口对端设备的状态，由于静态路由需要依据本地端口up，down去做判断，是否置放于RIB表内，所以以太口的本地终结特性不利于静态路由的使用。试想一下你的笔记本电脑接着HUB上网，而你的HUB上联端口断了，你的笔记本依然是无法觉察，WINXP的默认网关依然不会改变。2)路由的问题：使用BGP的好处之一在于BGP基于TCP的应用，并且承载了数量巨大的路由及路由属性，对于拥有全路由表的设备来说下一跳的选路是昀佳的。但跑BGP的设备要求很高并且对人员的要求及资金都很高，一般网吧及企业客户是通过默认路由指向上游ISP，由于没有250万条细节路由，无法选择昀优的下一跳，多个出口也只能使用浮动的默认路由，提高了冗余性，但备份链路的利用率基本等于0，浪费了带宽。3)路由表内路由切换的问题：当其中一个出口中断的时候，如何控制路由的下一跳进行变更，当出口恢复时，如何控制路由的下一跳的恢复到原来的链路上。4)NAT的控制：由于客户与ISP不存在BGPPeer的关系，并且也没有BGP代理通告之类的服务，客户只能使用不同ISP提供的源IP地址，之后进行NAT转换，如何按照出口去控制NAT转换不同ISP的源地址呢？三、解决方案：1)对于以太口，及GE口本地终结问题：我们使用Cisco昀新的特性RTR去解决，RTR原本是SAA上的一个应用，作为对SLA测量的应用；之后Cisco扩展了RTR的应用，基本原理是使用ICMP报文去测试网关，如果在一定时间内ICMP报文无回应，基本就可以判断为网关不可达，应用范围很广，甚至可以基于Httpget去测试WEB服务器，服务的有效性等。软件版本在Cisco12.2（25）S已经融入了此特性，感兴趣的可以去Cisco网站查阅此特性的应用。Huawei在底端产品也提供了类似的特性，必须使用昀新的VRP3.4，但是应用相对没那么广。2)路由的问题：截至至今全球25万条路由，但归属电信AS4134及网通AS4837的地址聚合后并不是很大，所以我们完全可以使用静态路由替代。从互联网官方网站得到的数据：附表1电信AS4134的统计数据附表2网通AS4837的统计数据可见聚合后AS4134的路由依然有255条，而AS4837聚合后路由减少到185条，所以我们选择网通做静态路由指向。经过互联网上官方网站上采集的资料，再经过复制粘贴加工后得出一份AS4134的静态路由表（严重考验EXECL及记事本的功力，162条路由20分钟搞定），总共筛选出162条静态路由接着复制粘贴到设备上即可，比方便面还方便。。。。。（技巧是一次复制粘贴100跳）而到电信及国外的路由，我们使用默认路由即可。这样就解决了路由昀优化的问题。打上标签的静态路由通过重分布进入私有AS的BGP，通过BGP携带给核心路由器，而Cisco2620只做路由控制使用。3)路由的下一跳的动态更改：我们使用递归算法+CEF去把此问题解决，由BGP去携带控制流量的路由，而核心路由器上配置递归路由+默认路由，并由CEF实现对IPRIB表递归算法的二，三层匹配，减少设备CPU的负荷。流量基于CEF表查找并对应昀佳的二层MAC地址完成二层重写。4)NAT的控制：我们使用Route-map去实现对NAT进行控制，让对应的出口链路对应相应的源地址进行NAT地址转换。Cisco在12.3（14）T开始提供一种基于NAT虚接口的新特性，此特性使NAT无需再使用natinside;natoutside去实现NAT边界的定位，但由于使用此特性之后无法再使用Route-map,所以在此案例中并不推荐使用。四、测试案例：1)设备列表及作用：3660X12620XMX13550EMIX2一台3550EMI做接入使用，做纯2层接入多个ISP一台3550EMI做为内部接入交换机使用与核心3660建立OSPF邻居关系并且建立DHCP地址池，为接入的客户分配172.17.0.X/24的地址段。一台2620XM做为路由控制使用，与Cisco3660建立IBGP的邻居关系，并控制数据报文的下一跳出口选路。一台3660做为核心路由器存在，通过IBGP信息，建立CEF表，及为客户完成PAT地址转换。2)测试的线路准备了两条线路一条是ISP1的出口线路：10.116.16.88一条是ISP2的出口线路：202.4.39.2313)关键解决技术点评a)作为控制使用的2620XM使用静态路由表，并重分布进入BGP内Cisco2620XM的配置servicecompress-configIPCEFiproute192.168.0.1255.255.255.255Null0iproute192.168.0.2255.255.255.255Null0iproute58.17.128.0255.255.128.0192.168.0.1tag111iproute58.17.160.0255.255.252.0192.168.0.1tag222。。。。。。。。。。。。。。。。。。。。。。。route-maps2bgppermit10description***ToISP1***matchtag111!route-maps2bgppermit20description***ToISP2***matchtag222!route-maps2bgppermit30matchipaddressnexthoprouterbgp65512nosynchronizationbgprouter-id1.0.0.0nobgpdefaultipv4-unicastbgpcluster-id1.1.1.1bgplog-neighbor-changesredistributestaticroute-maps2bgpneighbor2.2.2.2remote-as65512neighbor2.2.2.2update-sourceLoopback0！address-familyipv4neighbor2.2.2.2activatenoauto-summarynosynchronizationexit-address-familyCisco3660的配置routerbgp65512bgprouter-id2.0.0.0nobgpdefaultipv4-unicastbgplog-neighbor-changesneighbor1.1.1.1remote-as65512neighbor1.1.1.1update-sourceLoopback0!address-familyipv4neighbor1.1.1.1activatenoauto-summarynosynchronizationexit-address-familyCisco3660上showS192.168.0.1[1/0]via10.116.16.254,FastEthernet0/0.100S192.168.0.2[1/0]via202.4.39.225,FastEthernet0/0.200S*0.0.0.0/0[1/0]via10.116.16.254,FastEthernet0/0.100B202.4.0.0/16[200/0]via192.168.0.2,00:02:28B202.5.0.0/17[200/0]via192.168.0.2,00:02:28B210.21.0.0/17[200/0]via192.168.0.1,00:02:28Core-R2#shipcef202.4.0.0202.4.0.0/16,version36,epoch0,cachedadjacency202.4.39.2250packets,0bytesvia192.168.0.2,0dependencies,recursivenexthop202.4.39.225,FastEthernet0/0.200via192.168.0.2/32validcachedadjacencyCore-R2#shipcef210.21.0.0210.21.0.0/17,version35,epoch0,cachedadjacency10.116.16.2540packets,0bytesvia192.168.0.1,0dependencies,recursivenexthop10.116.16.254,FastEthernet0/0.100via192.168.0.1/32validcachedadjacencyCore-R2#测试的时候粘贴了电信及网通总共416+2条静态路由，都基本没有问题。实际情况下并不需要粘贴那么多路由，举个简单的例子，如果各租用了电信及网通10M线路，那么只需要写162条静态路由指向网通的出口，之后默认路由指向电信的出口即可，反过来也是一样的，写254条静态路由指向电信出口，之后默认路由指向网通（比较推荐后一种方式，即电信出口使用详细静态路由，而网通指默认路由，因为网通的国际出口比电信的要优秀很多）基本上复制粘贴上去即可，比吃快食面还方便快捷。b)扩展特性：使用时间控制列表控制选路为了实现基于时间对路由进行控制，我们必须有一个精准并且全球同步的时钟。必须启用NTP，否则时间不同步在能够访问公网的ACCESSSW上启用NTP同步功能：NTP服务器为微软的NTP服务器time.windows.com，并且设置自己为NTP的MASTER服务器，为其他设备提供时钟服务，如controlrouter$CorerouterAccessSwitch#clocktimezoneBeiJing8interfaceVlan500ipaddress172.17.0.254255.255.255.0routerospf100router-id0.0.0.3log-adjacency-changesnetwork3.3.3.30.0.0.0area0network172.16.23.00.0.0.255area0network172.17.0.00.0.0.255area0ntpsourcevlan500ntpmaster4ntpserver207.