IaaS私有云数据中心系统设计

IaaS私有云数据中心系统设计IaaS私有云数据中心将逐步替代原有形态的企业数据中心，为企业日常IT等业务运营环境提供更加强有力的支持。当前云计算产业正在如火如荼的发展，大型互联网运营商如阿里、百度等都已经提供了公有云业务，专门服务于中小型企业，为其提供基础IT建设与维护服务。而对部分大型企业和安全性有较高要求的用户来说，私有云则成为其自身IT建设的首选。在云计算的三个层面中，上层架构的PaaS与SaaS要求更加贴合企业自身的业务系统特征，因此系统设计更加注重个性化和独立化部署。而底层的IaaS结构则具有更高的通用性与普适性，可以在大多数云计算数据中心中部署，为企业提供灵活的业务部署环境。本文将重点阐述IaaS私有云数据中心较为常见的基础系统设计结构。1IaaS私有云数据中心整体系统结构从架构上来看，IaaS私有云数据中心主要由7个部分组成：计算虚拟化资源；共享存储资源；融合网络资源；安全防护资源；应用优化资源；统一管理平台；使用交付平台。计算虚拟化资源与共享存储资源提供了云计算中最为基础的计算与存储系统，安全防护资源与应用优化资源提供了安全优化的附加增值服务，统一管理平台和使用交付平台为外部的用户与管理员提供了云计算资源管理使用的入口，融合网络资源通过连接整合将上述6个部分紧密结合在一起，使云计算资源能够作为一个真正的整体对外提供IaaS服务。2计算虚拟化系统设计为了使大量的服务器资源能够集成在一起，统一对外提供计算服务，必需部署软件的虚拟化系统来整合成云。因此在IaaS私有云数据中心内，服务器虚拟化软件平台是该系统最为核心的组成内容。虚拟化软件平台通常分为虚拟化业务平台和管理平台两个部分，业务平台部署在大量的物理服务器计算资源上，实现计算资源一虚多的虚拟化业务需求；而管理平台则通常会部署在统一管理平台组件内部，对业务平台所在物理服务器计算资源进行统一调度部署。服务器虚拟化平台主要提供分区、隔离、封装和迁移4个关键特性。分区：在单一物理服务器上同时运行多个虚拟机。隔离：在同一服务器上的虚拟机之间相互隔离。封装：整个虚拟机都保存在文件中，而且可以通过移动和复制这些文件的方式来移动和复制该虚拟机。迁移：运行中的VM可实现动态迁移到不同物理机的虚拟平台上。目前IaaS数据中心的虚拟化业务平台有ESX/ESXi、Hyper-V、XEN和KVM四大主流软件产品。其中ESX/ESXi是VMware公司的私有技术平台，Hyper-V是Microsoft公司的私有技术平台。而XEN和KVM则是两款主流开源虚拟化平台，有诸多厂商（如Citrix、Redhat、Amazon等）的虚拟化平台产品都是基于这两款开源平台修改实现的。从基本功能支持与性能可靠性上比较，上述四款平台的差别不大。相对来说，XEN和KVM由于属于开源平台项目，更加符合目前软件行业趋于开源的整体发展方向，在IaaS私有云和公有云数据中心建设部署时被选用的也相对更多。其中XEN是2002年发布的早期虚拟化平台，KVM是2007年发布的新一代虚拟化平台，XEN在已有数据中心项目应用较多，KVM则由于其结构精简，且与Linux内核结合的更加紧密，在近些年新建的IaaS数据中心中更受欢迎，大有后来居上的趋势。3存储系统设计3.1共享存储系统设计在IaaS数据中心内部，除了使用虚拟化平台对物理服务器计算资源进行整合以外，还需要对存储资源进行集中处理，以达到数据级别的资源整合。存储系统实现上有很多技术分类，根据服务规模要求，在IaaS私有云数据中心内主要使用IPSAN或FCSAN作为共享存储系统提供数据存储服务。IPSAN通常针对数据规模较小，IOPS（每秒I/O吞吐）要求较低的场景使用，投资成本相对降低。FCSAN则针对大型数据规模或高IOPS要求的场景使用，系统搭建消耗较高。近些年随着FCoE技术的发展，这种兼具了IP网络带宽优势与FC存储高IOPS特点的融合型存储系统开始受到关注，但由于厂商产品还不够成熟，大规模部署实现还需要一定的时间。存储系统整合后，可以通过专业的软件平台为服务器集群提供数据共享服务。共享存储平台产品分为两大类，其中绝大部分是由存储设备厂商根据自身产品特性设计提供，主要在自己的产品上使用，如EMC、IBM、NetApp和Hitachi等。另外一部分是由专业的软件厂商设计，通过增加一层数据管理平台架构，可以在绝大部分存储产品上使用，如Symantec的Veritas等。具体选择取决于决策者更加看重数据中心存储管理的运维简化还是兼容异构。3.2分布式存储系统设计值得一提的是，在近几年，随着服务器计算能力和网络传输带宽的极大提升，整个业务系统的性能瓶颈开始向存储设备上转移，如上介绍的传统集中式存储受到带宽和I/O吞吐等硬件条件限制，发展已现颓势。新兴的分布式存储技术正在逐步走进大众的视野，该技术将原有单一磁盘阵列中的存储资源分散到大量低成本的服务器中，通过软件方式进行数据读写调度，并提供数据冗余。代表技术如Google的GFS和Hadoop的HDFS等，都已经拥有一定的使用规模。一些专业厂商也已经推出了适用于小型应用业务的产品，但由于相对于传统集中式存储技术成熟度较低，还需要时间成长。分布式存储的目标是利用多台服务器的存储资源来满足单台服务器所不能满足的存储需求。分布式存储要求存储资源能够被抽象表示和统一管理，并且能够保证数据读写操作的安全性、可靠性、性能等各方面要求。分布式存储技术可以通过多种方式实现，一种比较典型的实现方式是分布式文件系统。分布式文件系统允许用户像访问本地文件系统一样访问远程服务器的文件系统，用户可以将自己的数据存储在多个远程服务器上，分布式文件系统基本上都有冗余备份机制和容错机制来保证数据读写的正确性。云环境的存储服务基于分布式文件系统并根据云存储的特征做了相应的配置和改进。另一类分布式存储的实现方式是分布式存储软件或服务，例如著名的Ryze存储服务，以及很多P2P文件存储系统。在考虑了分布式文件系统的设计准则的基础上，又发现了以下几个不同于传统分布式文件系统的需求:第一，PC服务器极易发生故障，造成节点失效，故障的原因多种多样，有机器本身的、网络的、管理员引起的及外部环境引起的，因此需要对整个系统中的节点进行监控，检测出现的错误，并开发相应的容错和故障恢复机制;第二，在云计算环境中，海量的结构化数据被保存为非常大的文件，一般为GB量级，因此需要改变原有的基于对中小文件(KB或者MB虽级)进行管理的文件系统设计准则，以适应对超大文件的访问;第三，系统中对文件的写操作绝大多数是追加操作，也就是在文件的未尾写入数据，在文件中间写入数据的情况其实很少发生，而且数据一且被写入，绝大多数情况下都是被顺序地读取，不会被修改，因此在设计系统时把优重点放在追加操作上，就可以大幅度提高系统的性能;第四，设计系统时要考虑开放的、标准的操作接口，并隐藏文件系统下层的负载均衡、冗余复制等细节，这样才可以方便地被上层系统大规模地使用。在不同地域的多个数据中心部署文件系统需考虑企业客户的以下需求：远程备份：将重要数据在不同的地域节点冗余存储，实现跨地域节点的冗余存储，具备抵御自然灾害的容灾能力高可用：各地域节点均可独立向企业提供服务，当某个地域节点发生故障后可由其它地域节点承担负载就近访问：企业在不同的地域设有分支机构，各地的分支机构或出差人员可就近访问或者通过局域网访问本地的地域节点，提升访问数据的速度负载均衡：多个地域节点同时工作并按就近访问的策略分担负载，减轻峰值压力按需备份：分支机构的某些数据只需就近保存在本地节点，某些数据既需要保存在本地节点也需要同步给其它地域节点供全公司访问；集团公司的某些数据需要在所有地域节点传播供各分支机构访问热点数据广播：热点数据能够广播到不同的地域节点，在地域节点内部又能传播到不同的存储节点，可以分散热点数据访问对网络、主机、磁盘的压力智能存储管理：企业管理员可以查看各地域节点的存储空间使用情况和查看指定文档的远程备份情况，可以灵活设定文档资产在多个地域节点的备份数量、传播策略、可以指定在部分地域节点上清除某些数据以优化空间利用云计算的出现给分布式存储带来不新的需求和挑战。在云计算环境中，数据的存储和操作都是以服务的形式提供的;数据的类型多种多样，包括了普通文件、虚拟机镜像文件这样的二进制大文件、类似XML的格式化数据，甚至数据库的关系型数据等;云计算的分布式存储服务设计必须考虑到各种不同数据类型的大规模存储机制，以及数据操作的性能、可靠性、安全性和简单性。4融合网络系统设计如果将IaaS私有云数据中心比作为人体，计算资源就好像心脏，网络系统则是遍布全身的血管。再强健有力的心脏，如果没有繁茂通畅的血管，也无法将能量发挥出来，整个人也谈不上健康精神了。在IaaS数据中心内，网络系统将其他组件联通在一起，使所有系统密切结合为一个整体。在数据中心内部，根据位置和连接资源的不同，网络系统通常可以分为五个部分。接入网络：服务器到接入设备之间。后端网络：服务器到存储设备之间。前端网络：接入设备到核心设备之间。互连网络：数据中心之间互连部分。边缘网络：数据中心与外部网络互连部分。4.1接入网络接入网络主要用于连接物理服务器与接入层设备，在IaaS私有云中，由于大量虚拟化技术的应用，对接入网络的挑战从传统的物理服务器间流量传输变化为如何更好的承载虚拟机之间的流量。从技术思路上来说，目前主要有两个发展方向，一是由虚拟化软件厂商主导的将流量处理工作都交由物理服务器的虚拟交换机vSwitch完成，同一物理服务器内部虚拟机交互流量由vSwitch本地转发，不同物理服务器的虚拟机通信时通过在vSwitch之间建立隧道技术完成，无需关心中间物理网络的连接方式，此类方案代表技术如VXLAN、NVP等；另一个方向由网络厂商主导的将网络流量处理仍然交给网络设备完成，服务器内部不对虚拟机的流量进行细分控制，由接入层网络设备在连接服务器的物理接口下建立对应虚拟机的虚拟接口，从而达到精细化流量控制的目的，代表技术如IEEE的802.1BR和802.1Qbg。进行接入网络系统架构设计时，对技术的选择主要依据服务器资源与网络资源投入情况。vSwitch处理方式明显会加剧服务器的计算资源消耗，如果所有服务器的性能都足够强大，且虚拟化之后都会预留较多计算资源供vSwitch做任务处理，则可以选择使用vSwitch处理流量的方案。如果希望将更多的计算资源用于虚拟化后的业务处理，则可以考虑将虚拟机流量放到接入设备上处理的方案，即仍由网络设备处理网络的任务。4.2后端网络后端网络主要用于连接服务器资源与存储资源，可选方式以FC/IP/FCoE几种为主，设计原则依据存储资源的类型选择，前文共享存储设计中有过说明，此处不再赘述。值得一提的是FCoE网络由于可以与接入网络融合，从整体结构上可以简化网络设计与降低投资，同时能够兼容FC存储资源，所以在最近几年的发展中越来越被看好。4.3前端网络根据数据中心的计算资源规模大小，前端网络可以选择采用二层或三层架构设计。如接入层设备采用1:40的服务器接入比例，所有服务器都使用双上行到两台接入层设备实现冗余，几种常见接入层到核心层网络结构对应规模如下：使用传统二层MSTP设计，网络节点规模在50以下，服务器资源需要小于1000台(50*40/2)；使用三层OSPF设计，网络节点规模可以支持200左右，服务器资源达到4000台；使用大二层如TRILL设计，网络节点规模理论上可以达到500以上，对应服务器资源规模能够支持到10000台。上述计算都是理想情况下的结果，实际部署时考虑到带宽和管理等其他因素，对应支持的服务器资源规模还要更少一些。此外，较新的SDN（软件定义网络）技术如OpenFlow等，原理上将控制层面与转发层面分离，网络节点只处理转发任务，所有的路径计算与管理都由独立的控制器设备完成。此类技术理论上都是支持无限大的网络与计算资源规模，实际部署时只受限于控制器软件所在的硬件（如服务器）处理能力。但由于SDN技术相对不够成熟，真正的