数据中心建设架构设计

数据中心架构建设计方案建议书1、数据中心网络功能区分区说明1.1功能区说明图1：数据中心网络拓扑图数据中心网络通过防火墙和交换机等网络安全设备分隔为个功能区：互联网区、应用服务器区、核心数据区、存储数据区、管理区和测试区。可通过在防火墙上设置策略来灵活控制各功能区之间的访问。各功能区拓扑结构应保持基本一致，并可根据需要新增功能区。在安全级别的设定上，互联网区最低，应用区次之，测试区等，核心数据区和存储数据区最高。数据中心网络采用冗余设计，实现网络设备、线路的冗余备份以保证较高的可靠性。1.2互联网区网络外联区位于第一道防火墙之外，是数据中心网络的Internet接口，提供与Internet高速、可靠的连接，保证客户通过Internet访问支付中心。根据中国南电信、北联通的网络分割现状，数据中心同时申请中国电信、中国联通各1条Internet线路。实现自动为来访用户选择最优的网络线路，保证优质的网络访问服务。当1条线路出现故障时，所有访问自动切换到另1条线路，即实现线路的冗余备份。但随着移动互联网的迅猛发展，将来一定会有中国移动接入的需求，互联区网络为未来增加中国移动（铁通）链路接入提供了硬件准备，无需增加硬件便可以接入更多互联网接入链路。外联区网络设备主要有：2台高性能链路负载均衡设备F5LC1600，此交换机不断能够支持链路负载,通过DNS智能选择最佳线路给接入用户,同时确保其中一条链路发生故障后,另外一条链路能够迅速接管。互联网区使用交换机可以利用现有二层交换机，也可以通过VLAN方式从核心交换机上借用端口。交换机具有端口镜像功能，并且每台交换机至少保留4个未使用端口，以便未来网络入侵检测器、网络流量分析仪等设备等接入。建议未来在此处部署应用防火墙产品，以防止黑客在应用层上对应用系统的攻击。1.3应用服务器区网络应用服务器区位于防火墙内，主要用于放置WEB服务器、应用服务器等。所有应用服务器和web服务器可以通过F5BigIP1600实现服务器负载均衡。外网防火墙均应采用千兆高性能防火墙。防火墙采用模块式设计，具有端口扩展能力，以满足未来扩展功能区的需要。在此区部署服务器负载均衡交换机，实现服务器的负载均衡。也可以采用F5虚拟化版本，即无需硬件，只需要使用软件就可以象一台虚拟服务器一样，运行在vmwareESXi上。1.4数据库区数据库区在物理上和应用服务器在一个位置,但可以通过防火墙的通过逻辑隔离,将应用服务器和数据库服务器分离。实际上应用服务器和数据库服务器都是通过VMware服务器虚拟化上创建的虚拟服务器，但可以通过交换机策略将两者逻辑分开。1.5测试区测试区主要用于软件和硬件上线前的功能和性能测试，本区主要要求网络能够和运行系统能够有效隔离，保证网络不收到测试系统影响。测试区也是通过防火墙和VMware逻辑隔离。1.6存储数据区存储数据区因为不需要外网直接访问，因此可以通过网络和地址的规划完全与IP网络分离。在本区部署两台IP存储阵列，一台是高性能的SAS硬盘FAS2240-2，配置24块15K600G硬盘，总容量14.4T，经过Raid后还有大约9.6T的实际存储容量。此硬盘可以分为两部分使用，一部分用于虚拟化软件共享存储，用于存放各类虚拟机的数据和用户数据库数据，大约分配3.6T。另外一部分用于存储应用软件的存储的用户数据，此类数据主要存放活跃数据，大约6T。另外一台存储使用高容量SATA存储，配置24块3000G硬盘，总共72T存储容量，经过Raid后，实际存储容量为48T。在此处配置一台F5文件虚拟化管理系统ARX500，用于调度存储阵列内的文件调度。当目前存储容量不足之后，可以随时增加存储容量，这时的存储可以采用更为便宜的基于Windowsstorage的存储系统。1.7办公管理区办公区通过VPN与数据中心互联，保证管理人员能够在办公室对数据中心的有效管理2、服务器虚拟化设计方案2.1、方案拓扑设计2.3系统设计描述在整个架构中，我们搭建了两个网络：一个是作为生产网络（根据实际应用可以划分多个VLAN），另外一个作为虚拟中心管理网络和虚拟机动态迁移VMotion网络。另外根据实际的网络环境，结合实际生产环境中的要求，将网卡分别设置在不同的网段上。使用新购置服务器作为ESX虚拟服务器，另外可以利用旧的1台服务器作为VMwareVirtualCenter管理中心。将数据库服务器和应用服务器部署在三台ESX虚拟服务器上，利用VMWareVMotion功能，使得数据库服务器在ESX虚拟服务器硬件环境出现问题的情况下，能够自动的迁移到另一台ESX虚拟服务器上运行，不会因为硬件环境出现的问题而导致应用服务停止运作，保证了业务连续性。再利用VMWareVCB技术，定时针对应用系统做备份，当应用系统出现损坏的情况下，可以在最短的时间内，恢复到健康的应用系统生产环境。使用VMwareHighAvailability功能在整个虚拟化IT环境中提供高可用性，而没有传统群集解决方案的成本或复杂性。VMwareHA可为在虚拟机中运行的任何应用程序提供经济高效的高可用性解决方案，而不需要考虑其应用操作系统设置或应用系统基础硬件配置。VMwareHA不需要专门的备用硬件和附加软件支持。同时，VMWare系统提供VMWareHA、VMWareVMotion、VMWareDRS的系统资源高可用与自动资源调节能力，可自动平衡应用间对CPU、内存的资源分配，保证应用系统维持在最佳运行状态。VMWare高可用特性，可彻底保证用户关键性应用系统不间断运行。若实施VMWare高可用架构，要求虚拟化应用系统必须接入SAN存储区域以作数据存储共享设置。利用原有两台服务器，一台作为VMwareVirtualCenter服务器，管理整个虚拟化数据中心系统。在存储方面，采用万兆以太网接入的IPSAN存储，具有保障企业级业务持续性的多种特性，包括热插拔冗余硬件、热备份硬盘、多路经故障切换、快照、克隆、本地/远程镜像和非破坏性固件升级等。3、F5链路负载均衡问题的提出通常用户系统结构设计图如下：链路单点故障在系统原有系统结构中，采用单条链路接入，一个或多个DNS服务器，这些服务器对于同一个域名均解析为同一个地址。在该种网络结构之中，无论主机系统、网络系统的规划有多么完美,完全的排除了应用瓶颈和单点故障,都还存在一个非常明显的单点故障,就是国际网络接入部分的方案不够完整,一旦国际网络接入部分出现中断就直接意味着所有应用的中断。Internet用户访问快慢差异随着国内最大的Internet接入提供商Chinanet被拆分为北方ChinaNetcom和南方ChinaTelecom之后，两方资源的互访受到了很大程度的影响。其出现的根本原因为南北网络的互通互联接点拥塞，造成用户丢包、延迟较大，从而导致访问缓慢，甚至对于一些应用根本无法访问。以下是一张在真实环境下的实测数据表：测试项目网通北京ADSL用户访问广东电信用户访问，宽带用户网通北京ADSL用户访问上海ADSL宽带用户访问DNSResult202.xxx.xxx.209219.xxx.xxx.11202.xxx.xxx.209219.xxx.xxx.11网通电信网通电信网通电信网通电信Numberofhits:726947652471935RequestsperSecond1.201.150.071.270.870.780.320.58SocketConnects737057753482036TotalBytesSent(inKB)14.1913.470.9614.9613.6112.233.877.03BytesSentRate(inKB/s)0.240.220.020.250.230.200.060.12TotalBytesRecv(inKB)4148.244001.90256.584388.543019.942703.2621.7339.83BytesRecvRate(inKB/s)69.1266.684.2873.1250.3245.050.360.66表中可以看出，对于同一个站点，一个用户分别从两条线路进行访问，得出的访问速度差异是非常大的。最大的差值在广东电信分别访问站点的两条线路，其速度差异接近20倍。有效解决链路单点故障及为南北不同用户提供相同服务质量的需求与日俱增。对于一个运行关键业务的网站来说，为用户供24*7不间段的业务，并保持用户的访问速度和访问的成功率非常重要。F5提供的最佳解决方案使用F5公司的LinkControl多链路设计结构图：网络出口结构建议我们建议采用一对F5Linkcontroller设备接在两个出口链路处，实现由内向外和由外向内的出入站流量负载均衡。由外向内的inbound访问的智能性，通过Linkcontroller提供的智能DNS解析功能，实现对两条链路的负载均衡。Linkcontroller可以通过实时监控两条链路的负载状况及其健康状况，也可以根据当前链路的负载情况，用户所处的位置ip地址或用户的特殊要求进行相应域名解析，指引用户从最快的、最好的、最近的路径访问到企业的站点。这里我们建议采用静态负载（Topology）和动态负载（RTT）相结合的方式，使得方案更能满足客户是实际需求，当用户是来自国内的用户，在F5设备的Class中能查到它是来自哪家运营商的地址，这时F5的设备将采用静态的算法给用户端一条最快的链路，如果用户不是来自国内，是来自国外的用户，F5设备将采用动态算法（RTT），去探测用户的LDNS，然后算出来一个最佳路径并提供给用户，这样从用户端，不论是来自国内还是来自国外的用户都能得到一条最佳的路径来访问用户企业网站。用户在进行由内向外的outbound访问时，由F5Linkcontroller提供智能的链路选择，实现对两条链路的负载均衡。F5LC可以通过实时监控两条链路的负载状况及其健康状况来保证链路的高可用性，同时可以根据当前链路的负载情况，用户想要访问的IP地址等信息进行链路选择，指引用户从最快的、最好的、最近的路径访问INTERNET，另外考虑到带宽等，我们可以在F5LC上通过添加策略来实现指定用户走指定链路，只有当此链路出问题时会自动切换到其他好的链路上。方案特点：1、从整体结构上来看，对入站链路选择进行了优化，解决了服务器互访慢的问题，使得web服务提高了响应速度，由于链路的优化从而改善了这些服务的的响应速度，国内用户和国外用户通过F5设备的均衡最终能得到一个相对最佳的链路，保证了内部服务从外网访问能通过一条最快的链路，大大提升了网络响应速度2、采用F5的LC，同时也解决了出站时的链路优化和当其中某个链路中断时，自动切换到其他的链路上去的功能，另外在BIGIP上设置不同网段的链路选择，如：可以将一段地址网络只走某一条链路，其他的地址走另外的链路，当此链路中断时，BIGIP把所有流量切换到好的链路上。3、另外F5LC还同时具备服务器负载均衡的能力，可以解决企业原有的服务器性能不足的问题。技术实现原理出站连接为了向企业用户访问互联网资源时提供高可性，LC使用defaultgatewaypool和SNAT（安全网络地址转换）将流量动态导向最佳链路。Defaultgatewaypool包含了多个网关，F5LC将根据负载均衡算法选择一个最优网关，将当前数据发送到该网关，从而发送到对应ISP。SNAT提供了一个安全机制，可将不能路由内部地址转换为可路由的地址，并将流量导向合适的上游网关路由器。利用LC的智能流量管理功能，可替代防火墙的NAT功能，并保证流量可以通过与WAN或互联网的最佳连接往返发送。另外LC可以利用rules功能实现类似策略路由的功能，LC可以根据数据源地址或目的地址来选择路径，从而实现outbound流量的最优链路选择，避免针对某些链路的站点收费问题。入站连接为了保证用户可以在24*7并且提高用户的访问速度，LC可以通过智能DNS解析功能，动态选择最佳链路，将外部用户导向驻留在站点中的资源。LC上可以配置多个VLAN，分