Facebook数据中心RDDC设计

Facebook数据中心RDDC设计(上)摘要：在今年年初OCP2013峰会上，Facebook发布了最新的数据中心建设思路RDDC(rapiddeploymentdatacenter)，其模块化、标准化、预制化水平到达一个新的高度。本文将回顾RDDC的前世今生和FacebookIDC发展之路，并从技术上分析数据...在今年年初OCP2013峰会上，Facebook发布了最新的数据中心建设思路RDDC(rapiddeploymentdatacenter)，其模块化、标准化、预制化水平到达一个新的高度。本文将回顾RDDC的前世今生和FacebookIDC发展之路，并从技术上分析数据中心建筑、电气、暖通、微模块等，最后谈谈RDDC对国内的影响和启示。本文有不少笔者个人观点和猜想，加之资料和个人水平有限，未免有不少错误，希望读者多多指正(本文相关图片材料均来自网络视频等资料)。1Facebook数据中心发展之路在分析RDDC之前，我们不妨回顾一下Facebook数据中心发展之路。Facebook从早期租赁数据中心，到去俄勒冈建自己的数据中心，再到去欧洲瑞典Lulea建新数据中心，虽然中间时间并不长，但其标准化程度和成熟度都很高。这有赖于美国IDC的技术水平发展较高，以及Facebook可以借鉴各种互联网公司经验。总体来说，FacebookIDC演进经历了若干阶段：1)定制服务器、存储等ICT设备;2)改变供配电架构，定制冷冻水末端空调[ZY1]，采用一路480V市电与一路48V电池柜的供电系统架构，发布OCPopenrackV1.0[ZY2]规格。3)使用Penthouse设计。干燥新风通过蒸发散热，等焓加湿降温[ZY3]，可以选配DX盘管(Facebook只有一个数据中心有配DX盘管)。4)和CA合作。CA提供DCIM软件，Facebook在CADCIM基础上通过开放接口二次开发相关应用。5)采用RDDC方法，发布OCPopenrackV2.0。改为480V直接到服务器机柜分布式电源[ZY4]，输出12V，锂电池直挂12V母排架构。Facebook的数据中心技术发展蓝图大致可以用以下关键事件概括：图1Facebook数据中心发展之路Facebook一开始定制服务器和存储等设备时候，就希望能优化供配电架构，当时发布的OCPopenrackV1.0规范其实就是配合定制服务器电源做成的微模块。具体电源系统单线图如图2所示。图2OCPopenrackV1.0规范中的电源系统单线图当然，图2关于UPS的效率86%是非常不合理，实际上现在高频交流UPS的效率可高达96%。关于直流电和交流电在效率上比较，笔者推荐参考施耐德APC第127号白皮书《数据中心交流配电与直流配电的量化比较》()此白皮书比较中立分析了交直流配电的系统效率。但难以否认的是，Facebook通过整合服务器电源和前端直流UPS，使得效率从73%(修正值)提升到87%。即使换到国内380V电压应用环境，减少北美480V/208V降压变压器，Facebook的设计也能提高约7%。但是，笔者认为这种整合虽然能够提升效能减少成本，但至少目前而言，对于大部分企业客户，这种对ICT设备的供电架构改造并不现实。另外，有不少人会认为Facebook这种模式通过牺牲系统可靠性来获取效率提升，而可靠性通过软件、多个数据备份等保证，类似Google的方式。但根据Facebook做过相关电气系统可靠性分析，结论却让人感到惊讶，这种简单而高效的系统反而可靠性更高!图3与图4是Facebook工程师分析配电系统可靠性的比较：图3典型数据中心可靠性分析图4Facebook数据中心可靠性分析笔者认为Facebook的分析相对较为简单，缺乏整体配电系统架构量化分析，比较科学严谨的方法要使用可用性计算软件，通过单线图和相关电源设计故障时间和维护时间等参数具体计算。但从系统简单即可靠的角度来看，Facebook的配电架构确实未必比传统金融行业Tier4级数据中心配电设计的可靠性低，特别是直流系统的电源运维更简单。所以，从某种意义上说，国内240V直流配电技术的流行，并不是为了效率上的一点提升，而更多是基于系统可靠性相对一致，采购成本和运维比传统交流UPS更优。同样的道理，我们不妨看看为什么国外用同轴飞轮UPS的用户较多，其实同样因为系统简单。如思科Allen数据中心、雅虎数据中心都用了飞轮UPS，因为配电系统设计非常简单，使用机械系统降低电子控制难度和故障率，配合其无电池设计、非常紧凑的占地面积，还可以作为外置预制电力模块受到极大欢迎。由于国内用户、设计院等对飞轮UPS认识不足，同时飞轮UPS的初期采购价格较高，厂家选择面相对较少而导致应用案例非常少。笔者认为，若没有整合服务器电源，从系统简单性、效能来说，使用同轴飞轮UPS(飞轮+发电机)确实对于企业客户是一个不错选择，比交流双变换UPS系统要优。但Facebook的做法是采用后备式直流UPS，效能极大提高同时，维护容易很多，个人也更喜欢使用分布式电源方式。Facebook定制的48VDCUPS，输出给6个OCPV1.0机架供电(左右两组3连柜)，内置5组48V铅酸电池，输入为480V/3ph，如下图所示：图5Facebook定制的48VDCUPS，输出给6个OCPV1.0机架供电OCP的机架内部配置48V/12V直流转换器，即机架的服务器电源采用整体设计;服务器集中式电源如下图所示：在OpenRackV1.0中，可以放置3个4.2kW功率模块，支持12kW机架功率密度。如果是8kW的话，放置2个功率模块即可，输出12V母排接到服务器输入侧。除了配电系统，针对俄勒冈的干燥环境，Facebook使用penthouse阁楼设计其制冷系统，其典型的内部构造如下图：图7Facebook俄勒冈数据中心内部制冷建筑结构图整体使用无冷机设计，制冷先后经过过滤、混合舱、加湿蒸发散热、风机墙、排风阀等。总体来说，Facebook第一代数据中心更多集中在微模块的建设和末端电源技术改进，OCPopenrack配合定制服务器整机架交付。更多信息可以参见下列视频链接：可以看出，在电气系统与配电架构上Facebook已经做了较多产品化和标准化，但是penthouse设计需要较多的工程化并且与建筑配合。由于机械系统(HVAC/Mechanicalsystem)采用工程化设计需要配合建筑施工，同时微模块外的电气系统也为工程实施，导致数据中心整体交付速度滞后于服务器和微模块交付速度。因此，Facebook针对这个问题，希望对微模块外的机电、IDC建筑通过产品化、标准化预制、预构件等方式改进，同时并行作业，从而达到业务部署速度、ICT设备部署速度、机电部署速度、建筑部署速度几乎同时匹配，做到快速交付(Rapiddeployment)。这个就是RDDC快速部署数据中心的概念由来。2RDDC的构成2.1建筑布局、分区图8为Facebook的RDDC整体园区布局渲染图，布局设计看上去有点类似HP的FlexibleDC灵活数据中心设计的概念，关于HP可参看下面链接视频：并没有采用多层结构或俄勒冈式的两层结构，相反，其采用了大平面一层的设计方式放置所有设备，通过提高层高来满足布线、热通道回风等要求。图14FacebookLuleaRDDC数据中心PEB设计在这里，笔者认为有必要介绍一下PEB(PreengineeredBuilding英文全称)和PFB(Prefabricatedbuilding)之间的差异，大家就会理解集装箱和这种方法的差异。PEB和PFB之间难以有一个非常明确的界定，两者看上去有点像成品和半成品的关系。PEB定义了部件，损失了现场交付时间，但更改设计灵活性比PFB高，同时运输成本更低。而PFB相比集成度高，提高了交付时间，但设计相对固定，更改设计灵活性差，运输成本通常较高。PEB和PFB优劣性更多基于不同系统用户实际应用情况，难以有定论，如IT集装箱是PFB，而Facebook的微模块是PEB做法，就目前来看，谷歌抛弃了IT集装箱做法，笔者认为PEB+PFB混合做法更优。而Facebook的RDDC做法，在建筑上使用PEB，在机电模块上使用PFB，而在微模块上又使用PEB。对于IDC建筑使用PFB设计，英国Bladeroom数据中心堪称使用类集装箱ContainerizedDC的经典。该数据中心用标准集装箱尺寸，但不是标准集装箱的钢构做成PFB，然后运现场后拼装的模式，达到快速部署。更多详情可以参看下列链接，而如果采用PEB做法，国内其实已经有不少案例，典型如远大建筑和上海城建，商业大楼和住宅楼都可以使用PEB的做法加快整体建造速度。远大建筑的PEB设计可以参考下面链接：国外也有不少PEB建筑，可以适应多层或单层建筑模型，单层结构设计跟Facebook的RDDC也比较类似，可以参考下面链接：://v.youku.com/v_show/id_XNjk5NDMyNTY0.html使用PEB钢构设计，比传统建筑设计提升是显然的，主要体现在物料节省，部署速度更快，网络上有很多相关比较PEB和传统建筑的比较，可以参考下面链接：在RDDC设计上进一步做了一些机电模块和建筑模块的融合设计，例如钢结构上，IDC钢结构配合AHU+回风钢构刚好拼接成一体，从而进一步减少工程化风管的设计。笔者认为这种设计可能是考虑到下雪天室外维护AHU不太方便，因此形成建筑一部分，可以通过建筑内部进入AHU的每个内部模块进行维护。通常使用外置AHU都需要使用工程化风管设计进行相关送风和回风，如图15所示：根据Facebook工程师研究结果，采用RDDC模式，可以节省约一半的建筑材料和提升一倍建造部署时间(如图16所示)。图16RDDC模式带来的好处有人可能会问，Facebook在规划RDDC的时候怎么能够从概念推断出物料的成本和部署时间会节省那么多?还是做出来的时候才得出?当然不是做出来才验证，答案在于Facebook规划RDDC时候使用BIM设计。整个过程利用BIM的5D特性，可以非常精确模拟出整体交付速度和交付计划、整体物料成本BOM，以及相应绿色节能分析等。关于BIM的介绍可以参阅以下百度百科链接：=QEvi66ChoSDy07NBu6YNy7EsVMRqwO23GLFcwSgkG1WFzrhMAcBmKO01Ed_BAQ0yrOAFOMOBVnxXBpuTfzs4QK附上两个Lulea一期的BIM图图17FacebookLulea数据中心一期BIM图A图18FacebookLulea数据中心一期BIM图B据笔者国内调研，暂时未发现有一个国内数据中心使用BIM做整体建筑和机电设计、项目施工管理和设施运维等，所以从这点看，国内外的数据中心设计水平和能力相差甚远。关于Facebook在工具流程上如何规划RDDC，笔者在RDDC可能的研发流程章节中会给出个人猜想观点供读者参考。在电气模块布局上，Face