数据中心运行的几个坑

数据中心建设的几个坑单位：中国移动北京公司日期：2014年7月2目录2我什么也不管，只要安全？1我什么都不懂，可什么都敢答应？5方法介绍4DCIM的几个建议3IDC机房界面IDC机房标准3前言90年代，有位老师做了实验，当水温60度的时候，青蛙就从水中跳出来了。所以大家都这么说，但实际上可能不是这么回事。IDC又何尝不是一个温水煮青蛙的故事。成本（万元/年）民营电信北京移动带宽购买费468-409网络（按5年折旧）11025142271电费36021771355房租240-224人工成本300301288运维成本1080663总成本147860725210成本收入率74%84%84%总机架数200900560每机架网络投资2.892.794.06每机架电费（万元.年）1.82.422.42每机架房租1.2-0.40每机架人工运维1.51.531.70每机架收入10811.09每机架平均成本7.396.759.30每机架毛利2.611.251.78净利率20%12%12%2009年数据，当时只有560个销售机架，目前已经有了6000多，5年成长了10倍以上4我什么都不懂，可什么都敢答应-小坑IDC到底挣钱不挣钱？是每个领导都要问的问题，所以需要大量的成本核算工作。5我什么都不懂，可什么都敢答应-小坑IDC机房是作为产品销售的，在一个充分竞争的市场，销售人员为了完成销售指标，以满足客户需求为宗旨，答应了客户各种合理或者不合理的要求。比如：1、机房温度24度。冷热通道的机房怎么解决？2、72小时柴油后备。上哪放那么大的油库？安全合规吗？3、全双路供电，双总线，还能提供直流供电。配电结构一下复杂了？4、高密机柜要求水冷空调具有不间断制冷能力。水泵配UPS，配得起吗？再说就这么几个高密，值吗？5、外电不中断。柴油发电机应急演练怎么办？6、3路外电，一路都不能少。当初谁告诉他的呀？。。。。接待室、会议室、库房、停车位、电力施工。。。最核心的问题：还没当过乙方，还不会当乙方。态度生硬客户跑了，一味从了的话，后台支撑不了。6我什么都不懂，可什么都敢答应7我什么都不懂，可什么都敢答应8我什么都不懂，可什么都敢答应9我什么都不懂，可什么都敢答应-小坑10我什么都不懂，可什么都敢答应-小坑能耗密度[kw/架]11我什么都不懂，可什么都敢答应-大坑CAPEX：CAPITIONEXPENSE一般只资金、固定资产的投入。对数据中心来说，可以简单理解为拿地、建楼、购买机房内一切基础设施及IT设备的一次性投资OPEX：OPREATINGEXPENSE既运营成本，可以理解为每年为了维持数据中心运营的费用性支出，如电费、柴油、人力、维保等等，当然还有折旧。IDC机房的建设基本上是拿地、地勘、报建、咨询、建设设计、机房设计、IT设计等等。但是这事正好干反了，因为IDC我们还不知道用户是谁，他的主要功率密度，什么IT设备，所以，方案的灵活性要求很高，但是。。。。。。12我什么也不管，只要安全？运维部门的KPI•全年无重大故障，不影响业务•能耗降低•计划部门考核要求：投资完成比•建设部门考核要求：是否按时交资“考核什么，就得到什么”•考核的是安全，收支两条线，挣多少钱和维护的无关，有关的只有安全•建设成本和维护无关13我什么也不管，只要安全？每台机柜占纯机房面积约为2.5M2，TIERIII标准纯机房面积和总建筑面积比例约为1:3，比如3000台IT机柜的机房面积约为7500M2，总建筑面积约为22500M2，如IT机房灭火方式为气体灭火（根据气体灭火设计规格要求每个防护区最大容积不宜大于3600M3）IT机房模块约为15个，每个IT模块约为为500+120M2（精密空调面积）；总建筑面积约为22500M2包括7500M2的IT模块机房，高压配电室、电力控制室、柴油发电机房、雨淋阀组间、冷冻站、消防控制室、电信介入间、气体钢瓶间、变电所及UPS室、电池间、网络核心间等。目前移动公司的水平，10个平米出一个机柜。民营的可以做到5平米一个机柜。14我什么也不管，只要安全？计算PUE，需要在如图2所示的数据中心的供配电系统示意图中，测量数据中心总耗电及IT设备耗电，具体测量点如下：1)数据中心总耗电在正常情况下，数据中心的电能由市电提供，测量点应取市电输入变压器之前，即图2中的M1点。当市电故障情况下，柴油发电机产生的电力（图2中的M2点）作为数据中心总耗电的测量点。如果是多用途机房楼，数据中心总耗电计算中，需减去在M4点测量的办公等其它耗电。2)IT设备耗电严格来说，IT设备耗电应该在各IT设备输入电源处测量耗电量并进行加总，但由于IT设备数量较多，这一方法将大大增加测量工作量和成本。因此，在实际操作中，可在各路UPS输出或者列头柜配电输入处进行测量后，将测量值加总作为IT设备耗电。每一路供电的IT设备测量点即图2中的M3点。计量的颗粒度较粗。15我什么也不管，只要安全？能耗指标的数值受各种因素的影响，会随季节、节假日和每天忙闲时段的改变发生变化，因此为全面、准确了解数据中心的能效，应采用固定测量仪表，对数据中心能耗进行持续、长期的测量和记录。若数据中心未安装固定测量设备，可采用钳形功率计等设备测量数据中心及IT设备等的短时用电量。测量的周期和频率如下：(A)每次测量不小于一小时；(B)每天测量不少于2次，在业务忙时和闲时进行测量；(C)每月不少于3天，可在5日、15日、25日进行测量。数据中心应根据连续或多次短时累计的数据中心总耗电、IT设备耗电等测量值（单位为KWH）来计算PUE等能效指标。如无特殊说明，数据中心的PUE、PPUE、CLF、PLF和RER等能效指标，是指采用固定测量仪表，在指定测量点测量并记录至少一年的数据。数据中心如果选择公布季度、月份、周、天或小时发布能效数据，应对其能效周期加以说明。其中季度可按照春季（3月～5月）、夏季（6月～8月）、秋季（9月～11月）、冬季（12月～2月）划分。能耗计量的周期没有固化。16我什么也不管，只要安全？机柜密度：3KW/RACK，功率密度：1.26KW/M2–1.65KW/M2，PUE＝1.6-1.8平面布局：面对面，背靠背；冷通道1200MM，热通道为1200MM封闭冷通道，通过热通道自然回风；气流组织:风冷DX型空调与主设备机柜放置在同一房间内，若单独隔开，则需要额外15％－25％的空间（冷冻水或水冷却型需要单独隔开）；采用下送风，上回风设计；送风距离小于15－20M时可以采用单排送风，送风距离大于15－20M时，要采用双排送风设计地板高度:500-600MM，机柜上方高度1000MM左右，走线方式：强电、弱电线槽均采用机柜上走线方式；机柜内气流：前进后出，服务器、交换机等设备间做盲板隔离，防止热风回流；冷通道送风温度：18度-24度（在允许情况下尽可能提高送风温度），送风湿度：24摄氏度时,相对湿度为35%-60%；18摄氏度时，相对湿度为45%-80%之间；机房专用空调类型：冷冻水型、乙二醇干冷器水冷型、DX直接蒸发风冷型；均可以使用自然冷却技术，节能效果比较好的是冷冻水系统配板换自然冷却技术，和乙二醇干冷器水冷型双盘管自然冷却技术；供电设计：双总线供电设计或矩阵式多总线供电设计（3路或4路交错供电）17•按照UPTIMEINSTITUTE（正常运行时间研究所）的标准分为4类•TIER1:简单的非冗余建筑构件IT的简单非冗余分配网络•TIER2:冗余建筑构件IT的简单非冗余分配网络•TIER3:冗余建筑构件多分配网络(任何时候每台服务器都只有一个分配网络)•TIER4:冗余建筑构件多分配网络(每台服务器同时有多个分配网络)IDC机房标准18IDC机房标准19DCIM真的管用吗？××UMG现场采集结构图各级智能配电柜UPSCRAH水浸烟感门磁红外采集器PDU电池组油机开关电源电池监测仪各级非智能配电柜智能电量仪非智能设备变送器环境传感器服务器网络、存储设备KVMIQ串口转接头SP端口IT基础设施智能动力基础设施非智能动力基础设施ModbusIPSNMPBACnetVelocityBACnetRs485Rs485IOIPMISSHTelnetModbusIPSNMPUMG通用管理网关数字温湿度数字漏水检测仪20•电源分配单元PDU•测定连接设备的能耗•部分也可以测量温度和湿度•通过分析-找出节能点潜力-更高的服务器负荷•开/关不用的设备(通过IP或者SNMP)DCIM的几个建议21购买：1、贵；2、水土不服；3、怎么升级；4、如何完善。DCIM的几个建议自建：1、构架；2、人员；3、操作VDI3922中规定的能源审计方法学能源审计//定义测量1.能源审计的方案建立联系报价和签约了解现状展示和评价现状数据材料充分吗？合理利用能源的措施开发总体方案实施和成果监控汇报和咨询报告评估和措施筛选•确定审计的范围2.组织和规划能源审计//能源审计的流程范围窄宽精度粗细目的阐述建议•能源审计的划分2.组织和规划能源审计//能源审计的流程Überprüfungs-ModellAnalyse-ModellDurchgangs-Audit(Walkthrough)VorbereitendesEnergieauditPunktuellesEnergieauditGezieltesEnergieauditUmfassendesEnergieauditSystemspezifischesEnergieauditGenauigkeitUmfang范围检查模型分析模型针对系统的能源审计初步审计逐点审计预备性能源审计针对性能源审计综合性能源审计精确度•初步能源审计•能源消费结构不复杂的情况下•大部分实际情况和措施事先都已经明了•准备性能源审计（初步审计）•对于大型企业或者建筑物•经常以项目组的形式进行•逐条能源审计（选择性审计）•未明确定义的审计领域或者工艺•审计师可以自由选择考查范围•针对性能源审计（目标性审计）•由用户规定考察的范围•某些范围可以排除在外•综合性能源审计（全面审计）•最精确的一种审计（涉及到所有相关领域）•开发所有可能的措施•针对特定系统的能源审计•选出任务领域（比如压缩空气、电力驱动等）2.组织和规划能源审计//能源审计的流程•能源审计的节点能源审计//能源审计的流程EnergieauditManagement-SystemImplementierungvonMaßnahmenTrainingSonstigeEinrichtungen·Energieverbrauchsaufzeichnungen·Energiemanagement·Umweltmanagement·BewusstseinsbildungManagement·BewusstseinsbildungbetroffenerArbeitskräfte·MaßnahmenohneKosten·MaßnahmenmitgeringenKosten·MaßnahmenmithohenKosten·Rahmenbedingungen·Umweltaktivitäten·Qualitäts-undSicherheitsstandards2.组织和规划管理系统能源审计措施实施其他设施培训能源消耗记录能源管理环境管理自觉意识形成的管理有关员工自觉意识的形成无成本措施低成本措施高成本措施框架条件环境活动质量和安全标准典型的能源审计流程第一步：启动活动–收集相关的一般性信息第二步：现场考察–获得相关领域的概况第三步：收集和分析现有文件–分析和移交现有的相关资料第四步：数据收集和测量–收集并测量相关设备的数据第五步：对相关领域进行约谈–收集和澄清相关领域的必要的信息第六步：对能源供应进行分析–分析现有的测量系统/能源结算单评估2.组织和规划能源审计//能源审计的流程典型的能源审计流程第七步：措施开发–节能措施的提出、规划、可行性研究以及评估第八步：经济性分析–对措施的经济行进行分析第九步：编写审计报告–编写一份审计报告，包括措