数据中心大型机房布线标准与方案

数据中心机房布线方案1.概述当前，我们正处在一个信息爆炸的时代，数据的存储量已经不仅仅是用KB、MB、GB甚至TB来计算，在不远的将来，人们所谈论的将是PB(1petabyte=1,000terabytes)甚至EB(1exabyte=1,000petabytes)。在企业的IT基础架构中，数据中心是数据及业务应用的总控中心。数据中心汇聚了最昂贵的服务器和存储及网络设备，担负着数据存储、访问的艰巨任务。数据中心的建设要面向企业业务的发展，并为企业提供全面的业务支撑。这种支撑涵盖了客户、企业业务、企业数据和决策支持等层面。随着数据中心高密度刀片式服务器及存储设备数量的增多，数据中心面临着网络性能、散热、空间、能耗等一系列严峻的挑战。根据全球最大的独立技术研究公司GartnerResearch发布的研究资料显示，由于缺乏灵活、高性能的综合布线规划，在2002年之前建立的数据中心中，半数需要在2008年前升级或者淘汰。因此，建设一个完整的、符合现在及将来要求的高标准的新一代的数据中心需要达到以下几点要求：•高可靠性——基于标准的开放系统，预先经过测试,确保系统7*24小时稳定可靠。•高性能——满足目前的网络传输需求，支持至少1G或10G甚至更高速率传输•高密度——节省空间，方便设备散热设备散热。•可维护性——美观大方,适应频繁的需求变化，方便MAC维护。•可扩展性——充分考虑未来业务增长，支持未来扩容需求。本次设计将从先进性、可靠性、实用性的原则出发，以满足目前用户的应用需求为基础，充分考虑到今后技术的发展趋势及可能出现的需求。为用户提供具有长远效益的全面解决方案。2.设计标准TIA-942数据中心机房通信设施标准建筑与建筑群综合布线系统工程设计规范GB／T50311-2007；建筑与建筑群综合布线系统工程验收规范GB／T50312-2007；国际综合布线标准ISO／IEC11801北美建筑通讯线路间距标准TIA／EIA569；北美商用建筑通讯基础结构管理规范TIA／EIA606；非屏蔽双绞线布线测试标准TIA／EIATSB67；北美商用建筑通讯接地要求TIA／EIA607；欧洲综合布线系统标准BN50173；其它国家和行业标准规范；3.概述当前，我们正处在一个信息爆炸的时代，数据的存储量已经不仅仅是用KB、MB、GB甚至TB来计算，在不远的将来，人们所谈论的将是PB(1petabyte=1,000terabytes)甚至EB(1exabyte=1,000petabytes)。在企业的IT基础架构中，数据中心是数据及业务应用的总控中心。数据中心汇聚了最昂贵的服务器和存储及网络设备，担负着数据存储、访问的艰巨任务。数据中心的建设要面向企业业务的发展，并为企业提供全面的业务支撑。这种支撑涵盖了客户、企业业务、企业数据和决策支持等层面。随着数据中心高密度刀片式服务器及存储设备数量的增多，数据中心面临着网络性能、散热、空间、能耗等一系列严峻的挑战。根据全球最大的独立技术研究公司GartnerResearch发布的研究资料显示，由于缺乏灵活、高性能的综合布线规划，在2002年之前建立的数据中心中，半数需要在2008年前升级或者淘汰。因此，建设一个完整的、符合现在及将来要求的高标准的新一代的数据中心需要达到以下几点要求：•高可靠性——基于标准的开放系统，预先经过测试,确保系统7*24小时稳定可靠。•高性能——满足目前的网络传输需求，支持至少1G或10G甚至更高速率传输•高密度——节省空间，方便设备散热设备散热。•可维护性——美观大方,适应频繁的需求变化，方便MAC维护。•可扩展性——充分考虑未来业务增长，支持未来扩容需求。本次设计将从先进性、可靠性、实用性的原则出发，以满足目前用户的应用需求为基础，充分考虑到今后技术的发展趋势及可能出现的需求。为用户提供具有长远效益的全面解决方案。4.设计标准TIA-942数据中心机房通信设施标准建筑与建筑群综合布线系统工程设计规范GB／T50311-2007；建筑与建筑群综合布线系统工程验收规范GB／T50312-2007；国际综合布线标准ISO／IEC11801北美建筑通讯线路间距标准TIA／EIA569；北美商用建筑通讯基础结构管理规范TIA／EIA606；非屏蔽双绞线布线测试标准TIA／EIATSB67；北美商用建筑通讯接地要求TIA／EIA607；欧洲综合布线系统标准BN50173；其它国家和行业标准规范；5.TIA-942数据中心机房通信设施标准2005年4月美国通信工业委员会TIA发布了数据中心机房通信设施标准，该标准正对数据中心的设计、安装提供了规范和建议，内容包括：建筑结构、空间布局、安全、节能，接地、机械及防火保护。数据中心区域划分根据该标准,典型的数据中心应包括以下基本的区域,1.ER,提供数据中心与外部网络的互联.服务供应商(SP)的连接首先进入到ER.在许多数据中心里,ER被直接放置到计算机机房内(CR).为了安全起见,接入机房(ER)最好跟计算机机房分离开2.MDA,是数据中心的核心管理区域,一般位于CR中心的位置,MDA包含核心路由器,核心交换机,PBX,IMux、机柜/机架等.根据标准的建议,光纤配线架和铜缆配线架应该安装到不同的机柜/架。MDA应尽量设计在计算机机房中心位置,以免超过90米的布线距离要求3.MDA区域配线架可以安装到机柜或机架,机柜的好处是安全及美观.机架的好处是散热及方便管理.4.HDA,是数据中心的水平管理区域,一般位于机房（CR）中心的位置,HDA包含局域网交换机，水平配线架等，一个HDA管理的信息点一般不超过2000个,同MDA,HDA光纤配线架和铜缆配线架应该分开.信息点超过2000个,需要设置多个HDA5.EDA，用来存放设备的区域，包括网络设备,通信设备.为了方便散热EDA区域内的机柜/架根据通风走廊(coolaisle)和不通风走廊(hotaisle)合理放置。6.ZDA,位于EDA和HAD中间位置,ZDA适用于设备经常移动或变化的区域,ZDA可以采用机柜或机架，也可以是集合点箱，（安装于立柱、地板下或可移动地板）。数据中心等级TIA-942根据数据中心重要性分为4个等级（tier)Tier1:最基本的配置，无须冗余设计及空调设施，允许最大28.8小时/每年的宕机时间Tier4:最昂贵的配置，必须有UPS及空调设施，允许最大0.4小时/每年的宕机时间，另外必须采用生物识别技术门禁系统，必须配备气体灭火系统，多个备用布线管槽，主干必须冗余。对于一般企业的数据中心Tier1,Tier2已经足够，Tier3,Tier4适合政府、金融机构，对于IDC由于存在大量的主机托管业务，必须遵循Tier4等级。等级一级(Tier1)二级(Tier2)三级(Tier3)四级(Tier4)主干线路冗余1套主干布线1套主干布线2套主干布线2套主干布线交换机路由器冗余不需要不需要需要需要允许宕机时间28.8小时/年22小时/年1.6小时/年0.4小时/年可靠性99.67%99.749%99.982%99.995%电源UPSUPS+发电机UPS+发电机UPS+发电机备用部件NN+1N+12(N+1)系统冗余没有没有空调+电源全部冗余备注：N:代表必需的；N+1:必需的＋1个冗余；2N:两套完整的系统冗余；2(N+1):2(必需的＋1冗余）。数据中心布线考虑TIA/EIA942标准对数据中心布线给出很多的建议：充分考虑未来的增长需求,预留充分的扩展备用空间采用单模或OM3多模光纤(10GBase-SR300米)采用Cat6（10GBase-T37米）或Cat6A铜缆或Cat6A类屏蔽铜缆(10GBase-T100米)采用高密度,模块化布线系统（如MPO,MRJ21）数据中心属于”强制通风”区域,布线建议采用CMP/OFNP防火等级线缆.基于管理方便考虑,光纤、双绞线、同轴电缆采用不同的机柜/机架应考虑设备散热和空气对流,机柜/机架的放置根据通风区域(coolaisle)和非通风区域(hotaisle)合理布置建议采用交叉连接（CrossConnect)方式。交叉连接只需通过跳线完成MAC，降低管理维护时间；可靠性及可用性高。传统直连方式（Directconnect)不可靠，MAC（移动、增加、改变）需重新布线，TIA/EIA942不推荐。交换机机柜服务器机柜传统直连示意图跳线跳线跳线交换机配线架HDA配线机柜配线架服务器机柜跳线跳线永久链路交叉连接示意图跳线永久链路交换机机柜服务器配线架数据中心设备散热及空气对流对于网络稳定性十分重要.根据地板能否通风,数据中心分为不通风走廊(HotAisle)及通风走廊(coldaisle).通风走廊(coldaisle)内,,机柜/架面对面摆放,冷空气从地板下吹出,从机柜/架前方进入,然后从后部排出.不通风走廊(HotAisle),机柜/架背对背摆放,冷空气从前面吹进,从后面吹出.此外,为了增加空气对流,防静电地板应该尽量高一些.6.方案设计本数据中心机房综合布线系统按照4级中心机房进行规划，端到端选用美国泰科电子有限公司AMP布线布线产品。主配线区泰科电子有限公司2008.2数据中心机房机柜连接示意图第一排（1#-15#）第七排（1#-15#）第十三排（1#-15#）8芯OM3万兆多模光缆8芯OM3万兆多模光缆六类双绞线六类双绞线六类双绞线水平配线区设备区设备区设备区水平配线区水平配线区通信线缆槽电力线缆槽电力线缆槽通信线缆槽通风地板通风地板前后后前前后高架地板空调风道非空调风道空调风道非空调风道非通风地板具体设计如下：（1）综合布线系统采用星型拓扑结构，分为主配线区(MDA)、水平配线区(HAD)、和设备区（EDA）,水平配线区(HAD)位于每一列机柜的第一个机柜内。（2）机房主配线区(MDA)和水平配线区（HDA）之间采用8芯室内OM3多模光纤，支持10G万兆以太网达300米及1000Base-SX达550米距离，同时向下兼容目前的1G，100Mbps，10Mbps以太网应用。主配线区(MDA)机柜内安装48芯LC光纤配线架，室内光缆采用LC尾纤熔接的方式进行现场熔接，LC-LC光纤跳线光纤跳线数量按照光纤芯数4:1比例配备。（3）水平配线区(HDA)和设备区（EDA）之间采用六类非屏蔽双绞线相互连接，Cat6非屏蔽双绞线支持诸如万兆以太网10GBase-T、千兆以太网1000Base-T、100BASE-Tx等网络应用的性能要求。每个水平配线区(HDA)机柜内安装一个12芯LC光纤配线架，室内光缆采用LC尾纤熔接的方式进行现场熔接，LC-LC光纤跳线光纤跳线数量按照光纤芯数4:1比例配备。水平配线区(HDA)机柜内铜缆配线架采用两个六类配线架交叉连接的方式，其中一个配线架用来与设备区（EDA）的配线架互连，另外一个用来与交换机互连。（4）设备区（EDA）每个机柜按照15个服务器进行预留，安装一个24口六类配线架，采用RJ45跳线连接至服务器。主配线区(MDA)设计说明主配线区(MDA)到各个水平配线区(HAD)的互连选用8芯OM3万兆多模室内光缆。AMPOM3万兆多模光缆采用独特的增强型50µm纤芯，以解决高速数据传输时不会导致数码重叠和误码，支持激光或发光二极管（LED）光源，支持850nm或1300nm两种波长，在工作波长为850nm时可以支持10G万兆以太网10GBase-SR达300米及支持1000Base-SX达900米距离，同时向下兼容目前的100Mbps，10Mbps以太网应用。由于850nm窗口下光网络设备（如1000Base-SX）可使用垂直腔面发射激光（VCSEL）作为光源而非激光光源，垂直腔面发射激光的是一种高性能、低成本的光收发器，光学性能接近于激光光源，而成本只有激光光源的十分之一。因此采用OM3光纤是具有高性价比的万兆网络布线解决方案，能够使万兆网络设备的投资大大下降，使得整个网络系统的整体投资更为经济。标准工作波长光纤类型设备成本传输距离传输方案应用10GBase-E