PCF网络设计方案

网络规划1.设计标准PivotalCloudFoundry网络分为System服务网、App应用网、管理网及IPSAN网为实现网络相的互隔离。通过采用虚拟交换技术，将承载不同应用业务的虚拟机划入不同子网，实现各应用系统的安全隔离。通过VLAN将虚拟机划分为不同区域，实现分区分域的要求。用于PCF环境中3台服务器的每台物理主机上均使用2块千兆网卡，并将System服务网、App应用网、管理网及IPSAN网划分为不同的VLAN。其中，System服务网、App应用网、管理网三网连接万兆物理交换机上，IPSAN网采用单独交换机连接至存储，提高虚拟化平台可靠性。PCF环境网络构成有别于传统网络，其自身不仅包含传统物理网络部分，同时也包含虚拟网络结构以及虚拟网络与实体网络所交互的部分。正确的网络设计对组织实现其业务目标有着积极的影响，它可确保经过授权的用户能够及时访问业务数据，同时防止未经授权的用户访问数据。网络设计必须经过合理优化，以满足应用、服务、存储、管理员和用户的各种需求。网络资源规划的目标是设计一种能降低成本、改善性能、提高可用性、提供安全性，以及增强功能的虚拟网络基础架构，该架构能够更顺畅地在应用、存储、用户和管理员之间传递数据。指导原则与最佳实践在规划网络资源时，我们会遵循如下的指导原则与最佳实践。构建模块化网络解决方案，该方案可随时间的推移不断扩展以满足组织的需求，使得用户无需替换现有的网络基础架构，进而降低成本。为了减少争用和增强安全性，应该按照流量类型（管理网络（HA心跳互联网络）、vMotion在线迁移网络、虚拟机对外提供服务的网络、FT、IP存储）对网络流量进行逻辑分离。VLAN可减少所需的网络端口和电缆数量，但需要得到物理网络基础架构的支持。可以在不影响虚拟机或在交换机后端运行的网络服务的前提下，向标准或分布式交换机添加或从中移除网络适配器。如果移除所有正在运行的硬件，虚拟机仍可互相通信。如果保留一个网络适配器原封不动，则所有的虚拟机仍然可以与物理网络相连。连接到同一标准交换机或分布式交换机的每个物理网络适配器还应该连接到同一物理网络。将所有VMkernel网络适配器配置为相同MTU。实施网络组件和路径冗余，以支持可用性和负载分配。使用具有活动/备用端口配置的网卡绑定，以减少所需端口的数量，同时保持冗余。对于多网口的冗余配置应该遵循配置在不同PCI插槽间的物理网卡口之间。对于物理交换网络也应该相应的进行冗余设置，避免单点故障。建议采用千兆以太网交换网络，避免网络瓶颈。对吞吐量和并发网络带宽有较高使用要求的情况，可以考虑采用10GbE，不过采用万兆网络在适配器和交换机上的投入成本也会相应增加。简单的方法是通过在虚拟机网络vSwitch或vPortGroup上通过对多块1GbE端口捆绑负载均衡实现。PCF网络域设计要求考虑网络的连通性、隔离性、性能等方面的要求，如下表所示。网络要求要求描述连通性连通性是指将有需要进行互相通信的组件（服务器、控制节点、客户端等）进行连通。要求应用网中有业务互通需求的虚拟机、物理机、终端等设备可以通信，网络承载的业务系统可以不间断对外提供服务。隔离性隔离性是指将没有必要进行相互通信的组件互相隔开，使其在网络上不可达。如在虚拟化环境中，管理网与应用网需通过分配到不同的VLAN方式实现二层隔离。性能管理网专供资源池管理工具的资源控制服务使用，对物理机、虚拟机进行实时监控，管理网使用万兆以太网；App应用网专供虚拟机的信息应用对外提供网络服务使用，由于多台虚拟机通过同一块物理网卡对外提供网络服务，使用万兆以上高速以太网；System服务网专供PCF服务组件之间的通信，即承载各虚拟机服务器流量，使用万兆以上高速以太网；IPSAN网专供PCF环境中3台物理服务器连接共享存储使用，使用千兆以上高速以太网。2.网络总体结构结合公安网现有的网络结构以及PCF总体架构，从生产环境、地址划分、客户访问、平台维护等方面考虑，网络设计中，将网络划分为PCF服务网、App应用网、管理网及IPSAN网，各个网络通过VLAN划分相互隔离。用户访问PCF应用时需经由防火墙跳转，保证PCF内网与公安网之间的安全性。测试环境硬件配置：浪潮配置-NF5270M32*E5-2650v2(2.6GHz/8c)/8GT/20M16*16GRegisteredDDR3内存1*10000转900GSAS硬盘集成2个千兆网口、配置2块单口万兆网卡-INSPUR单口万兆网卡（光纤接口，含光模块）、配置冗余电源配置1块八通道直通卡2308it卡五年原厂保修服务逻辑架构方案中采用8台物理服务器，其中3台用于PCF环境，4台GP服务器，1台Oracle数据库服务器。3台用于PCF环境的服务器通过IPSAN方式连接共享存储，服务器与存储之间由一台千兆交换机进行连接，由一块网卡专门承载存储流量，另一块网卡上联万兆交换机，保证PCF服务器和虚拟机能与4台GP服务器及Oracle数据库服务器通信，它们之间通信完全由内网完成；万兆交换机上联防护墙，公安网访问内部网络经由防火墙，再以NAT方式完成公安网和内网的互通，既实现网络隔离又保证网络安全。物理架构总体分为3层:第一层为存储层，采用IPSAN存储方式，连接PaaS群集中3台物理服务器，提供PCF环境共享存储；第二层为服务器内部层，８台服务器上联万兆交换机，产生一个万兆局域网，保证虚拟机与物理机之间的通信；第三层为外部层，由防火墙提供内网与外网之间的通信，所有进出流量都需通过防火墙。3.详细规划内容网段规划设计为实现System服务网、App应用网、管理网及IPSAN网的相互隔离，采用虚拟交换技术，将承载不同应用业务的服务器及虚拟机划入不同VLAN，实现各应用系统的安全隔离。资源池网络设计用途管理网集中管理软件监控各物理服务器、vMotion的专门网络System服务网PCF虚拟服务器各组件对外提供服务的网络，。App应用网提供用户访问PCF应用的专门网络IPSAN网提供PCF服务器连接共享存储的专门网络将System服务网、App应用网、管理网及IPSAN网划分在不同的VLAN中，其中叫交换机的网卡接口模式设置为Trunk，承载System服务网、App应用网、管理网，另一块网卡连接存储，即承载IPSAN网。详细IP地址如下：网段用途名称IP个数管理网虚拟化服务器ESXi主机011虚拟化服务器ESXi主机021虚拟化服务器ESXi主机031存储服务器存储服务器1IPSAN网用于连接存储ESXi主机01IPSan网1用于连接存储ESXi主机02IPSan网1用于连接存储ESXi主机03IPSan网1管理网GP服务器GP主机011GP服务器GP主机021GP服务器GP主机031GP服务器GP主机041Oracle数据库服务器Oracle数据库1System应用网集中管理软件vCenter1DNS及NTP服务器DNS/NTP1PCF管理服务器OpsManager1BOSH主机OpsManagerDirector1ElasticRuntime组件NATS1ElasticRuntime组件consul1ElasticRuntime组件etcd1ElasticRuntime组件NFSServer1ElasticRuntime组件CloudControllerDatabase1ElasticRuntime组件UAADatabase1ElasticRuntime组件AppsManagerDatabase1ElasticRuntime组件CloudController1ElasticRuntime组件HAProxy1ElasticRuntime组件Router1ElasticRuntime组件HealthManager1ElasticRuntime组件ClockGlobal1ElasticRuntime组件CloudControllerWorker1ElasticRuntime组件UAA1ElasticRuntime组件MySQLProxy1ElasticRuntime组件MySQLServer1ElasticRuntime组件DEA1ElasticRuntime组件DopplerServer1ElasticRuntime组件LoggregatorTrafficcontroller1MySQL服务组件MySQLServer2MySQL服务组件Proxy2MySQL服务组件Broker2ESXi主机网络设置PCF服务器两块网卡，System服务网、App应用网、管理网使用一块网卡，另一块网卡承载IPSAN流量。以下为详细配置表：虚拟交换机端口组名称端口组类型VLAN配置上联端口vSwitch0ManagementNetwork、vMotionVMkernel端口管理VLANvmnic0vSwitch1SystemNetwork虚拟机端口组System服务VLANvmnic0vSwitch2AppNetwork虚拟机端口组App应用VLANvmnic0vSwitch3IPSANVMkernel端口IPSANVLANvmnic1虚拟交换机规划上述配置的相关说明如下。所选用的网卡必须在虚拟化服务器的网络I/O设备兼容列表里。对于虚拟交换机的双端口冗余，如果网卡自带软件支持可以在ESXi主机操作系统级别实现NICTeaming，本方案建议通过多个vSwitch绑定与单块网卡上，实现多网隔离。对于虚拟机应用的网络，为了确保虚拟机在执行了vMotion迁移到另一物理主机时保持其原有的VLAN状态，建议根据实际需要在虚拟交换机端口启用802.1q的VLAN标记（VST）方式。采用此方式可以确保迁移主机可以保留原有的网络配置如网关等，并且建议在网络设置中启用通知物理交换机功能，该功能可以确保迁移主机通过反向ARP通知物理交换机虚拟机端口的更改，确保新的用户会话可以被正确建立。PCF服务器主机网络连接配置示意图如下所示。图：主机网络连接示意图vSwitch绑定每台服务器只存在2块网卡，而其中一块网卡需连接共享存储（IPSAN网），另一块网卡将承载System服务网、App应用网、管理网流量，且此网卡上联交换机需打Trunk，保证System服务网、App应用网、管理网分配不同VLAN。虚拟机交换机绑定要求满足以下条件：将两个或更多vSwitch分配到同一网卡上同一端口组中的所有网卡都位于相同的第二层广播域中网卡绑定的示意图如下所示。图：网卡绑定示意图域名需求需要提供一个能够在公安网根域名服务器解析的泛域名，来绑定应用，进行访问。域名IP地址*.XXX.XXX.COMIP1网络设备需求共需要一个千兆交换机，一个万兆交换机，一个防火墙设备。千兆交换机用来连接服务器及IP-SAN存储设备。需要5个可用端口。万兆交换机用来组建内部局域网，保证PCF、GP、Oracle之间的通讯。每台服务器有2个万兆光口，建议配置16个光口模块，最少配置8个光口模块。防火墙设备内网接入内网万兆交换机，外网接入公安网。负责将公安网的请求通过NAT转换，分发到对应的内网服务器并返回请求。公安网IP地址需求共需要提供6个公安网IP地址，6个IP地址全部配置在防火墙。访问时，通过防火墙的NAT功能映射到相应的内网IP地址。公安网IP地址用途IP1应用访问的IP地址.IP2、IP3、IP4、IP5跳板机的IP地址，用来做内部管理及维护。IP6Oracle的公安网访问IP。