513F5双活数据中心解决方案及自动化运维

F5双活数据中心解决方案及自动化运维刘旭峰,金融行业资深工程师F5Networks2自助管理数据中心动态灵活的IT架构基础资源池共享服务器整合基础架构优化信息孤岛竖井式结构应用资源池共享应用整合应用架构优化内部和外部企业计算云面向服务的云计算平台分布式运营数据大集中双中心运营两地三中心云扩展数据中心发展历程及趋势私有云公共云从传统企业数据中心到云计算、可复用且可扩展的IT服务平台AppSOAppSOAppSOAppSOAppSOAppSOAppSOAppSOAppSOAppSOAppSO第一阶段第二阶段第三阶段第四阶段第五阶段通过数据中心整合和优化来节省能源和场地设施成本通过虚拟技术来提升资源利用率，降低管理和能源成本自动化管理，自动化部署，实时监控,动态伸缩,提高管理效率及服务质量，降低服务成本阶段业务目标阶段业务目标阶段业务目标阶段业务目标通过增加服务流程，实现IT服务标准化、自动化,自助式,IT资源的生命周期管理的云计算平台负载均衡解决方案多链路接入Web应用优化GTM多数据中心主机多中心运行自动化运维精细管理云计算解决方案3业务级灾备业务处理逻辑等非IT系统的冗余应用级灾备应用处理系统的冗余备份从数据灾备到应用灾备到业务灾备数据级灾备数据备份，保证数据完整性4生产数据中心1生产数据中心1生产数据中心2生产数据中心2应用级双活数据中心模型一--分应用主备模型•双生产中心均需要完成生产业务•通过数据复制技术将数据复制到对方•通过业务模块或用户的方式将业务分配到不同的中心•平时主要的处理能力均分配给生产应用系统使用•出现灾难时，根据需要接管的方式，动态调度资源给备份系统使用应用A访问应用B访问Clients5生产数据中心1生产数据中心1生产数据中心2生产数据中心2Clients应用级双活数据中心模型二--主主模型•业务或用户分配到每个生产数据中心•每个生产中心都有自己的应用集群对外服务•跨双生产中心建立共用数据库•通过数据复制技术将数据镜像到对方•出现灾难时，正常的生产数据中心根据需要接管所有基于指定应用的请求•所有的中心、主机和存储设备均处于生产状态和实现负荷分担应用A访问应用B访问应用A访问应用B访问6生产数据中心1生产数据中心1生产数据中心2生产数据中心2Clients应用级双活数据中心模型三--动态主主模型•双生产中心均需要完成生产业务•通过数据复制技术将数据复制到对方•通过业务模块或用户的方式将业务分配到不同的中心•平时主要的处理能力均分配给生产应用系统使用•出现灾难时，根据需要接管的方式，动态调度资源给备份系统使用应用A访问应用B访问应用A访问应用B访问F5双活数据中心解决方案8F5双活数据中心整体架构--业务持续性保证在架构层面，多个数据中心通过内部私有网络互联，统一对外提供服务。在多个数据中心内，应用在每个数据中心都是处于活动状态，在这种运行模式下，必须使用应用交付设备来实现应用的管理。GTM+DNSWebTierAppTierDBTier(Active)GTM+DNSWebTierAppTierDBTier(Standby)ExternalNetworksISP1ISP2ISP2ISP1PrimaryDataCenterSecondaryDataCenter智能流量管理互联网业务移动终端业务突发业务流量处理数据库整合动态数据中心自动化运维服务动态调整灾备管理集成数据中心快速切换应用优化和安全应用加速应用安全Clients9GTM探测本地资源GTM之间共享本地资源状态和LocalDNS网络距离信息客户端运营商LocalDNS互联网业务多中心并行--将客户端请求发送到最佳的数据中心通过一组GTM来对外提供服务GTM监控服务的状态，并通知同组内的其他所有GTM设备，对于每一个DNS请求返回最佳结果好的策略选择和配置方式可以最大幅度提高客户体验GTM+DNSWebTierAppTierGTM+DNSWebTierAppTier互联网ISP1ISP2ISP2ISP1PrimaryDataCenterSecondaryDataCenterClient10服务器状态Cookies--追踪哪台服务器上包含有用户的Session状态应用服务器使用Weblogic或者Webshpere作为基础构件•大多数使用单独的（因为安全原因）无状态的Web服务器层在DMZ区，另外有单独的应用服务器层在内部•支持Cluster的系统会将服务器的信息加密后包含在状态Cookie里面•LTM可以读取状态Cookie的内容，并且在首选节点Down掉的时候，自动将请求分配到第二备份节点上在这种设计中，F5甚至可以替代连接代理层的服务器，比如Web代理层Apache服务器AppTierWebTierActiveStandbyActiveStandbyCookie中包含节点信息Clients将Session状态复制到备份节点，并且在Cookie中包含主备节点信息当主节点Down掉的时候转发到备份节点x11移动终端业务多中心并行--用于追踪当前活动的用户Session数据所归属的数据中心多中心并行运行后，潜在的风险是可能是用户的第一个请求和后续的请求导向到不同的数据中心或者链路上•ISP大量使用WLAN卸载3G网络的压力•移动用户可能在同一个应用使用期间在3G网络和WIFI之间来回切换WebTierAppTierDBTierWebTierAppTierDBTierExternalNetworksISP1ISP2ISP2ISP1PrimaryDataCenterSecondaryDataCenterClientsBIG-IP创建数据中心cookie并且插入到服务器的响应中后续的请求发送到的另外一个数据中心数据中心2的BIG-IP读取到了Cookie并且发现用户的Session存在于数据中心1，则将请求转发到数据中心112突发业务流量处理--在出现故障或者服务能力无法支撑的情况下使用另外一个数据中心资源当本地资源出现故障时使用另外一个数据中心资源•例如，一个服务器存储阵列出现故障的时候，导致多个虚拟服务器同时无法使用避免本地的服务能力无法支撑的场景•设置服务器的并发连接数限制•设置优先级组，当本地资源不足时自动启用另外一个站点资源•如果彻底的由于资源响应问题无法服务（或者同时故障），可以在BIG-IP上直接返回错误页面WebTierAppTierDBTierWebTierAppTierDBTierExternalNetworksISP1ISP2ISP2ISP1PrimaryDataCenterSecondaryDataCenterClients“对不起，系统忙，请您稍后再试”如果一个数据中心的资源不足或者故障，使用另外一个数据中心资源xx13DBTier(Active)DBTier(Standby)通过路由将用户引导到“最近”的数据中心内网基于IP地址发布的业务多中心并行--将连接发送到最佳的数据中心通常情况下这些只能基于IP访问的应用，有以下发布方式：1.在大网上发布一个单一的IP地址，通过IPAnyCast技术将用户请求引导到多个数据中心2.在大网上发布单一IP地址，通过静态路由注入方式将用户引导到单一数据中心，在故障时进行自动切换3.在不同的数据中心发布不同的虚拟IP地址，并且互为备份这种情况下的最佳选择取决于应用和网络拓扑情况直接在数据中心之间进行转发？就近的数据中心作为客户访问接入点？应用自身处理状态信息？AppTierAppTierPrivateNetworkPrimaryDataCenterSecondaryDataCenterKiosksATMsLTM检测本地的资源状况发布VIP的主机路由Branches通过数据中心之间的直接连接实现Active/Active发布同样VIP的主机路由14GTM+DNSWebTierAppTierDBTier(Active)GTM+DNSWebTierAppTierDBTier(Standby)ExternalNetworksISP1ISP2ISP2ISP1PrimaryDataCenterSecondaryDataCenterClients动态数据中心--在基础架构和应用之间搭建桥梁VirtualizedServersandstorageOrchestrationtool自动化部署工具整合自动化部署工具用于部署虚机、自动执行变更操作等，F5在其中的作用作为命令的执行者，引导对应用的访问流量资源的渐入渐出将当前的应用状况汇报给自动化部署工具，以使其获得更加精确的应用资源使用状况，实现资源的动态调整服务器连接数已经达到上限!所有的活动连接已经结束!站点切换整合与一些站点高可用管理工具比如SiteRecoveryManager整合，在多个数据中心之间实现业务的流量引导xx使用另外一个站点!多数据中心自动化运维16数据中心运维的挑战事件响应的及时性和有效性运维的可持续性系统复杂度很高,关联程度深，新员工难以对问题进行快速响应互联网化带来的运维影响•复杂的外部环境带来的影响•应用快速增加,新业务不断涌现多数据中心运维•运维事件响应的及时有效性•联动操作的快速有效性•配置之间的关联性•配置的一致性•两个中心如何协调联动17F5自动化运维部署整体架构BIGIPiRuleLogAnalysisConfigcheckEnterpriseManager/CloudManagerITILSyslogSOAPFTPSSHiCalliControlTMSHAutomaticScript(iCall&Shell)VS部署WideIP部署延迟性分析安全事件分析自定义报表配置一致性配置合规性统一视图性能监控策略库配置自动部署补丁管理性能监控配置下发系统检查自动事件手动事件18F5双中心应急/容灾运维-----手动和自动应急操作19运维部署以及效能BIGIPiRuleLogAnalysisConfigcheckEnterpriseManager/CloudManagerITILSyslogSOAPFTPSSHiCalliControlTMSHAutomaticScript(iCall&Shell)VS部署WideIP部署延迟性分析安全事件分析自定义报表配置一致性配置合规性统一视图性能监控策略库配置自动部署补丁管理性能监控配置下发系统检查自动事件手动事件20iCALL简介根据事件或时间,statistics预设值,动化执行TMSH命令深入控制BIGIPiCALL•Triggered:事件触发时一次性执行•Periodic:类似Crontab•Perpetual:守护进程模式•iStatstriggered•Script产生的事件•CLI(interactive)产生的事件•System事件连接事件和事件处理脚本执行事件处理操作EventHandlerScript21WhenHTTP应用的统计值超阀值GTM查询统计超阀值Member吞吐率操作阀值内存使用超过阀值CPU使用超过阀值达到维护定时操作时间端口吞吐率超阀值Action运行TCPDUMP和QKview变更VS配置发送SYSLOG检测硬盘检测进程内存执行Failover变更Poolmember…………….…………….iCALL实现的自动化应急操作22GTM+DNSWebTierAppTierDBTier(Active)GTM+DNSWebTierAppTierDBTier(Standby)ExternalNetworksISP1ISP2ISP2ISP1PrimaryDataCenterSecondaryDataCenterClientISP链路一键屏蔽•正常情况下两数据中心入向和出向通过所有链路•当出现链路服务质量问题,如运营商侧出现异常需要执行下面的操作•GTM修改数据中心/Topology配置•LTM修改出向链路选择•上述的维护脚本可以通过预定义iCall设定为TMSH新的命令行接口•通过Expect等工具协同操作同一个数据中心的LTM和GTM操作23