3DNS或GTM多线路或多数据中心负载均衡解决方案

F53DNS或GTM多链路/多数据中心接入解决方案StevenZhengF5公司广州办事处2006-10-17F53DNS或GTM/GTM多链路/多数据中心接入方案F52目录1.前言...................................................................................................................32.需求描述...........................................................................................................33.系统设计...........................................................................................................43.13DNS或GTM多链路设计结构图：...................................................53.2网络拓扑结构说明..................................................................................73.3系统逻辑结构..........................................................................................73.4同一组服务器对外多地址服务原理......................................................83.53DNS或GTM分配算法及运行机制...................................................93.5.1RTT算法运行机制：...................................................................103.5.2地理分布算法..............................................................................133.5.3全球可用性算法..........................................................................143.6链路健康检查机制................................................................................153.7系统切换时间........................................................................................163.8服务器负载均衡....................................................................................174.3DNS或GTM与现有系统的融合..............................................................194.1改变上级注册授权域DNS服务器地址..............................................204.2不改变上级注册授权域DNS服务器地址..........................................205.系统安全性考虑.............................................................................................216.成功案例.........................................................................................................22F53DNS或GTM/GTM多链路/多数据中心接入方案F531.前言在原Chinanet分为北方ChinaNetcom和南方ChinaTelecom之后。由于南北网络之间的互联问题。出现了从南方用户访问北方网站或北方用户访问南方用户访问速度较慢的问题。其出现的根本原因为南北网络的互通互联接点拥塞，造成用户丢包、延迟较大，从而导致访问缓慢，甚至对于一些应用根本无法访问。2.需求描述对于一个运行关键业务的电子商务网站来说，保持用户的访问速度和访问的成功率非常重要。需要一套系统来解决南方和北方用户的访问问题,以及多数据中心的冗灾问题。多数据中心的作用本身就是为了解决单线路单ISP的单点故障，以及分地域优化访问。F5对一个数据中心的多链路负载均衡解决方案及多数据中心的全局负载均衡在基本原理上大致相同。例如：有两个冗灾中心，一个是网通的接入线路，一个是电信的接入线路。当把这两个冗灾中心合并到一个数据中心时，就成了一个数据中心有两条接入：一条电信，一条网通接入。再如有两个冗灾中心，都是电信的接入线路，当把他们合并到一个数据中心时，就成了一个数据中心有两个接入线路都是电信。大多数情况下，企业都希望有多个ISP接入线路，因此，当有多数据中心时，就是不同的数据中心有不同的ISP接入线路。当是单数据中心时，就是一个数据中心有多个ISP接入。国内经常就采用电信及网通两个ISP.以下以多链路为例，来阐述F5全局负载均衡3DNS或GTM（3DNS的下一代产品，现在主推的V9BIGIPGTM产品）的解决方案,以多链路为例，便于理解，当然，也附带阐述多数据中心的解决方案。以下是一张实测数据表测试项目网通北京ADSL用广东电信用户访网通北京ADSL上海ADSL宽F53DNS或GTM/GTM多链路/多数据中心接入方案F54户访问12月2日凌晨1时问，宽带用户，带宽未知，12月2日16:30用户访问，12月2日16:00带用户访问，12月2日20:00DNSResult202.xxx.xxx.209219.xxx.xxx.11202.xxx.xxx.209219.xxx.xxx.11网通电信网通电信网通电信网通电信Numberofhits:726947652471935RequestsperSecond1.201.150.071.270.870.780.320.58SocketConnects737057753482036TotalBytesSent(inKB)14.1913.470.9614.9613.6112.233.877.03BytesSentRate(inKB/s)0.240.220.020.250.230.200.060.12TotalBytesRecv(inKB)4148.244001.90256.584388.543019.942703.2621.7339.83BytesRecvRate(inKB/s)69.1266.684.2873.1250.3245.050.360.66表中可以看出，对于同一个站点，一个用户分别从两条线路进行访问，得出的访问速度差异是非常大的。最大的差值在广东电信分别访问站点的两条线路，其速度差异接近20倍。3.系统设计通常用户系统原有结构设计图F53DNS或GTM/GTM多链路/多数据中心接入方案F55在系统原有系统结构中，采用单条接入线路，一个或多个DNS服务器，这些服务器对于同一个域名均解析为同一个地址。3.13DNS或GTM多链路设计结构图：非冗余结构：F53DNS或GTM/GTM多链路/多数据中心接入方案F56在非冗余结构下，系统中需要增加一侧接入路由器、两台3DNS或GTM设备和一台BIGIP设备作为多线路接入设备。冗余结构:在冗余结构中，则采用两台3DNS或GTM和两台BIGIP实现了系统的全F53DNS或GTM/GTM多链路/多数据中心接入方案F57冗余，同时，在BIGIP下端，可采用防火墙和核心交换机冗余保证系统的进一步可靠性。前面已经阐述，多数据中心的方案，对F53DNS或GTM来讲，处理的原理是一样的，把各条链路拆分出来，各形成一个数据中心，放到远端，就成了多数据中心的结构了，如图：3.2网络拓扑结构说明在原系统接入中，增加一条线路，并采用相应的接入路由器，将两台3DNS或GTM服务器分别接在两台接入路由器上，负责用户的DNS访问请求。引导用户使用最快的链路进行访问站点。同时，3DNS或GTM负责检查两条线路的健康状态，一旦检测到线路的中断，则停止相应线路的地址解析。在接入路由器之后，采用了F5BIGIP作为多链路接入设备，在BIGIP上配置多个IP对应每条线路分配的IP网段。这些IP同时对应后端的一台或多台服务器。实现服务器组的对外统一服务。根据每个系统的需求，可以采用非冗余结构或者冗余结构。3.3系统逻辑结构3DNS或GTM上采用DataCenter、VS、和WideIP来标识系统中的各元素，系统逻辑结构图如下：BIG-IPUserLocalDNS3DNS或GTMGLOBAL-SITERouterBIG-IPInternetInternet主IDC备份/或其他接入ISP的IDC3DNS或GTMF53DNS或GTM/GTM多链路/多数据中心接入方案F58其中：3DNS或GTM配置：VS:表示各线路真实对外提供服务的IP地址，在本系统中，VS为BIGIP上虚拟的后端服务器地址。WideIP:表示外部用户访问的统一域名，每个WideIP均与相应的两个或多个VS相对应，对于每一个LocalDNS的请求，3DNS或GTM均会选择一个或多个相应的VS地址返回。WideIP主要负责A记录的解析。DataCenter:用于标识线路或数据中心，位于同一条线路侧的所有VS、3DNS或GTM均位于同一个DataCenter。NameSurfer/BIND:在3DNS或GTM内部用于解析非动态域名，提供标准DNS服务器的所有功能。包括SOA、NS、MX和A记录的解析。BIGIP配置：VS:表示对应于各线路的服务地址，该地址为虚拟地址Pool:用于对后端的服务器分组，在同一组内可以是一个或多个服务器组成的负载均衡组。BIGIP将对VS的访问根据预先定义的算法分配到Pool中的每个Node节点上。Node:标识每一台真实的服务器地址和提供服务的端口。3.4同一组服务器对外多地址服务原理由于采用了多条链路接入，则此时必将面临将系统中的一台或多台服务器同时对多条链路提供服务的问题。在系统设计中，我们采用了F5BIGIP来实现F53DNS或GTM/GTM多链路/多数据中心接入方案F59了多出口接入。如图：在BIGIP实现多链路接入的时候，采用了BIGIP上的AutoLastHop技术。对于每条线路，在BIGIP上均配置一个与线路分配网段对应的IP地址，这些IP地址均映射到后端的一台或同一组服务器。当用户访问不同地址的时候，BIGIP上将建立每个请求与来源设备Mac地址的对应关系表。即将每个用户的请求连接和上端的路由器MAC地址进行对应，在服务器数据返回的时候，则根据该对应表将返回的数据包发送到相应的路由器，避免了数据往返通路不同的问题。3.53DNS或GTM分配算法及运行机制F53DNS或GTM/GTM多链路/多数据中心接入方案F5103-DNS控制器采用了完善的负载平衡算法和业界最先进的流量分配方法：循环全球可用性LDNS持续性应用可用性地理分布虚拟服务器容量最少连接Pkt/sec（数据包/每秒）KB/sec（千字节/每秒）往返时间中继段（hop）数据包完整率用户定义服务质量（QoS）