典型-数据中心的架构设计

DC-002数据中心的架构设计杭州华三通信技术有限公司版权所有，未经授权不得使用与传播构建H3C数据中心网络ConstructingH3CDataCenterNetwork，CHDCN现代数据中心建设的参考模型是什么？数据中心规划过程中，会用到哪些主流技术？如何在数据中心网络中部署二层、三层协议？如何提高服务器接入的带宽和可靠性？低碳环保，如何构建一个绿色数据中心？业务永续，如何构建数据中心容灾系统？引入了解数据中心基本设计思路了解数据中心二层选路设计了解数据中心三层路由设计了解数据中心服务器接入方式了解如何构建绿色数据中心了解如何实现数据中心容灾课程目标学习完本课程，您应该能够：数据中心总体架构二层选路设计三层路由设计服务器部署拓扑绿色数据中心数据中心容灾设计目录网络核心层安全域的划分与功能分区保持一致安全域之间采用防火墙进行隔离，入方向策略控制安全区域内部采用虚拟防火墙或ACL控制数据中心总体架构二层选路设计三层路由设计服务器部署拓扑绿色数据中心数据中心容灾设计目录交换机多排机架统一接入一组交换机接入500台服务器Box-IRF交换机虚拟化组合服务器接入极大简化Chassis-IRF交换机虚拟化组合服务器接入极大简化型组网、不使能STP二层无环路设计U型组网、不使能STP矩形组网使能STP三角形组网使能STP1234不启用STP，好管理VLAN可以跨汇聚层交换机，服务器部署灵活必须通过链路聚合保证高可靠性汇聚交换机故障时，服务器不可达，无法实现高可靠接入不启用STP，好管理双active链路，接入交换机密度高VLAN不能跨汇聚层，服务器部署不灵活接入交换机间链路故障，VRRP心跳报文无法传递，整机做VRRP主备切换，故障收敛时间长双active链路，接入交换机密度高，VLAN可以跨汇聚层交换机有一半的接入层流量要通过汇聚交换机之间的链路。当接入交换机上行链路故障时，所有流量将从一侧的交换机上行。收敛比变小，网络易拥塞，降低网络高可用性。链路冗余，路径冗余，故障收敛时间最短VLAN可以跨汇聚层交换机，服务器部署灵活矩形+交叉的接入层设计冗余过度的接入设计可选的接入设计L3L2L3L2L3L2边界(MSTP+VRRP)L3VLAN网关•汇聚层与核心全互联•汇聚交换机之间可以只通过二层互联•生成树阻断接入交换机上联相关链路•要求单边链路能够支撑所有业务流L2•汇聚层与核心全互联•汇聚交换机之间可以只通过二层互联•多生成树与MSTP不同实例对应，可实现一定的流量负载分担•要求单边链路能够支撑所有业务流•汇聚层与核心矩形互联•汇聚交换机之间以VLANTrunk二层互联•同时在两汇聚交换机之间创建一个VLAN用于三层连接，如上图VLANRedVLANRed路由路径传统方案二层终结在汇聚层接入汇聚之间VRRP+MSTP导致设计复杂链路交织，路由设计相对复杂节点、链路的故障均引发路由动荡端到端IRF灵活支持二层在汇聚、核心终结多个网络节点虚拟化为一个节点链路交织被单条逻辑链路替代消除复杂VLAN+MSTP/VRRPDC范围内路由&VLAN规划极大简化单个物理节点、链路的故障不影响上层路由数据中心总体架构二层选路设计三层路由设计服务器部署拓扑绿色数据中心数据中心容灾设计目录区域，不学习区域外路由。核心交换机、汇聚层交换机臵于AREA0。接口L2/L3边界，核心交换机与汇聚层交换机为L3区域，汇聚层交换机与接入层交换机为L2区域。区域划分，核心交换机与汇聚层交换机属于AREA0，汇聚层交换机内部属于TotallyStub区域。RouterID，选用loopback地址作为OSPF进程的RouterID。互联VLAN，汇聚层交换机通过专用的互联VLAN建立OSPF邻居。业务VLAN，汇聚层交换机上的业务VLAN设臵为被动接口。网络类型，互联VLAN的OSPF网络类型设臵为P2P。MD5认证，互联VLAN上配臵OSPFMD5验证。服务器网关DC核心路由规划建议核心骨干网、一级骨干网：eBGP。广域网区：OSPF200+iBGP。局域网：OSPF100。路由边界：广域网区交换机。分支机构数据中心灾备中心局域网eBGPeBGPiBGPOSPF200iBGPOSPF200iBGPOSPF200OSPF100OSPF100OSPF100路由再发布OSPF200为iBGP提供loopback路由iBGP与OSPF100之间做路由再发布核心骨干网一级骨干网广域网区广域网区广域网区局域网局域网再发布再发布OSPF、BGP路由协议本身是无环的，路由环路主要由人为因素造成在双向双边界路由再发布的过程中，最容易产生路由环路避免环路的主要措施有：再发布过程中使用route-policy进行过滤，防止出现路由环路在路由进程中使用filter-policy过滤再发布导入的路由，防止出现次优路由路由再发布路由匹配原则：最长匹配，然后比较路由优先级。每个厂商缺省路由优先级各不相同，尽可能统一。路由优先级数值分配原则：静态OSPF内部BGPOSPF外部浮动静态。路由优先级建议值BGP：170、170、170OSPF：110、190静态路由：10、200（浮动静态）合理的路由优先级设臵可以简化路由策略。OSPF的路由控制数据中心iBGPOSPF200OSPF100OSPFASEN局域网路由再发布问题。假设数据中心从分支学到iBGP路由N，在广域区交换机一、二上直接将iBGP路由导入OSPF。假设广域区交换机二首先将N导入OSPF100，广域区交换机一同时从iBGP、OSPF100学到路由N，比较路由优先级后，优选OSPF100的外部路由N，导致广域区交换机一无法将iBGP路由N导入OSPF100，局域网中只能看到交换机二发布的OSPF外部路由N，而且在交换机一上产生了次优路由。解决方法。方法一：在交换机一、二的OSPF100中配臵filter-policyimport过滤，拒绝所有iBGP导入的路由。方法二：调整OSPFASE的优先级为190，两台交换机上都是iBGP路由优先（BGP：170、170、170）。（推荐）iBGP的路由控制数据中心iBGPOSPF200OSPF100局域网路由M局域网路由再发布问题。假设数据中心局域网OSPF100中有一条路由M，需要发布给分支，在广域区交换机一、二使用network的方式导入iBGP。假设交换机二将M导入iBGP，并发布给交换机一，而交换机一上直接将iBGP路由导入OSPF100，存在路由环路隐患，如果M是一条ASE路由，那么在交换机一上iBGP路由便会抑制ASE路由，并导入OSPF100，后果不堪设想。解决方法。方法一：在交换机一、二之间配臵iBGP路由过滤，不交换本地始发路由。-ipas-path-filter1deny^$-ipas-path-filter1permit.*方法二：交换机一、二之间不建立iBGP邻居关系，因为两者之间有OSPF100的专用互联链路，没有必要通过iBGP交换任何路由。（推荐）以内是比较合理的！链路检测路由检测路由计算不支持支持网络故障路由收敛收敛时间目标，数据中心局域网收敛时间3s，广域网收敛时间6s，单点故障情况下，全网收敛时间控制在8s以内。收敛时间构成链路检测，与链路类型相关，SDH50ms，ATM3s，MSTP则需要借助于BFD1s。路由检测，与路由协议相关，OSPF40s，BGP180s。路由计算，与设备性能、协议处理机制相关，一般情况下可以忽略。路由快速收敛实践局域网收敛时间：1s广域网收敛时间：3s单点故障情况下，整网收敛时间：4s一级分行数据中心灾备中心OSPF100OSPF100OSPF100路由再发布POS链路+eBGPATM链路+eBGPOSPF+iBGPSDH物理层检测，收敛时间1sATMOAM检测，收敛时间3sOSPF+iBGPOSPF+iBGP收敛时间1s收敛时间1s背对背链路：自协商、DLDP快速检测故障二层多跳链路：BFD快速检测故障OSPF：调整SPF调度时间，spf-schedule-interval510500局域网局域网局域网数据中心总体架构二层选路设计三层路由设计服务器部署拓扑绿色数据中心数据中心容灾设计目录机架式服务器最少三个网口•两个业务网口•一个管理网口•可能带存储网络接口前端访问HA心跳线服务器间访问存储访问存储访问带外管理带外管理高端服务器根据具体应用场景•前端网口---多个•服务器间访问网口---多个•一个管理网口•一个或多个心跳互联•存储网络接口服务器多网卡绑定（NICTeaming）Eth0：ActiveEth1：Standby主备模式Eth0：ActiveEth1：Active负载分担模式Eth0：ActiveEth1：Active统一的MAC，统一的IP支持静态聚合、802.3ad聚合Etherchannel/端口聚合模式IRF堆叠源MACEth1=源MACEth0(windows)源MACEth1!=源MACEth0(unix)IP地址Eth1=IP地址Eth0源MACEth1!=源MACEth0IP地址Eth1=IP地址Eth0服务器多网卡绑定——主备模式主备模式下，只有一块网卡收发报文：正常情况下，ServiceIP对应的MAC地址为Eth0，Eth0收发所有报文，Eth1备用；当Eth0发生故障，Eth1接管，如果是Windows系统，依然使用Eth0的MAC地址，如果是Unix系统，使用Eth1的MAC地址。Eth0MAC：0.