数据中心运维操作标准及流程

数据中心运维操作标准及流程郑州向心力通信技术股份有限公司二零一八年1机房运维管理前期准备1.1管理目标机房基础设施运维团队应与业主管理层、IT部门、相关业务部门共同讨论确定运维管理目标。制定目标时，应综合考虑机房所支持的应用的可用性要求、机房基础设施设施的等级、容量等因素。目标宜包括可用性目标、能效目标、可以用服务等级协议（SLA）的形式呈现。不同应用的可用性目标的机房，可设定不同等级的机房基础设施的运维管理目标。1.2参与数据中心建设过程机房运维团队应充分了解自己将要管理的场地基础设施。对于新建机房，应尽早参与机房基础设施的建设过程，以便将运维阶段的需求在规划、设计、建造、安装和调试等过程中得到充分的考虑；同时为后期做好运维工作打下基础。1.2.1应参与规划设计机房的规划设计是一个谨慎和严谨的过程，需要所有参与机房建设的相关方共同完成，才能确保规划和设计的有效性、实用性等要求。其中，基础设施运维团队应提出运维要求，从运维经验、实际运维难度、提高运维可易性等方面对规划和设计过程进行配合。1.2.2应参与相关供应商遴选机房基础设施运维团队应参与机房基础设施设备供应商选择的全过程，及时地了解各种产品及服务的品牌、型号、规格等关键参数，使之更能满足运维的要求。并就在安装、调试过程中的注意事项等提出建议，还需要对后续的设备保修等服务提出要求。1.2.3应参与建造管理机房的基础设施运维团队应积极参与机房基础设施的建造工作，并协助做好建设项目的项目管理工作，着重关注工程建造中如材料的使用、工序、建造过程等工作，重点关注隐蔽工程的安装工艺和质量。机房基础设施运维团队应充分了解施工过程中的工艺。对于新建数据中心，从施工质量和日后运维方便性出发，尽早发现施工过程的问题，及时纠正，方便日后运维和节省日后整改成本。1.3测试验证机房基础设施投产前的测试验证是确保机房基础设施满足设计要求和运行要求的关键环节。1.3.1时间和预算机房的业主应设立测试验证专项预算，预算应包括外部测试验证服务提供商的相关费用，以及在测试验证阶段产生的电费、水费、油费等相关费用。应制定测试验证的工期规划，以更准确地预测机房基础设施交付投产的日期。1.3.2测试验证参与方项目建设管理部门可作为测试验证工作的主体责任单位；运维管理部门可作为测试验证工作的主体审核单位；第三方测试服务商可作为测试验证的实施单位及整体组织工作的协调单位。但运维管理部门应要求测试服务商预先提供测试方案，在运维管理部门审核后方可进行。机房基础设施运维团队可参与测试验证工作，在此过程中熟悉设施和设备，可建立相关运维技术文档库，为后期的运维工作做好准备。机房关键设备提供商及工程总包商，应积极配合测试验证工作，应在供应商合同中对此项有明确要求。1.3.3测试验证内容验证应覆盖所有关键子系统和设备应具备的功能和关键的操作程序，确保满足设计要求，必要时可做故障情景模拟来检验。测试验证中发现设计或者建设阶段的问题，应该在报告中充分体现；可以改造的部分，应要求建设单位进行改造；不能改造或暂时不需改造部分，应作为风险点在运维过程中予以特别的重视，并制定相关预案。1.3.4设施健康评估当接手已在运行的机房基础设施的运维工作前，运维团队应对设施的情况进行健康评估，了解潜在风险点，其中能够改造的部分，应该申请予以优化改造。不能改造的部分，应该作为风险点在运维中予以特别的重视，并制定相关预案。1.4技术文档完整并准确的技术文档是后期运行、维护、维修、故障诊断、优化改造的基础。运维团队在开展运维工作前，应从施工单位得到场地基础设施的全套相关文档，包括但不限于：机房的规划设计资料及竣工图纸、全套设备的清单及相关操作文档和保修保养资料、机房自动操作系统的逻辑图及说明文档、监控系统的点表、验收测试文档、机房所在建筑的建筑设计资料、竣工图纸。整体文档应在限定时限内进入运维管理知识库,并按照质量管理的原理和要求设定文档的起草、变更、审核、批准、保存、分发等职责权限。1.5管理边界为了明确管理责任，机房基础设施运维团队应将可能影响机房基础设施运维目标达成的外界因素整合成管理边界报告，提交业主管理层并组织研讨，形成明确的决策，制定完整的协调沟通机制及权责界限。这些因素包括但不限于：不归本部门负责，但可能对于本部门有重大影响的供电、供水、供暖、制冷、消防、安防、监控、运营商线路接入等系统。2安全管理和质量管理建议2.1人员安全机房基础设施运维团队要编制正式的机房生产环境（工作场所）的安全方针，设定严格的安全生产规范；并根据安全方针制定有效的、明确的安全计划，来教授和培训安全原则、危险识别、纠正缺陷和控制风险。并加强对于该部分规范的合规度的培训、考试和审核检查，以确保机房运维人员的人身安全。相关安全生产规范主要包括：●机房生产环境安全管理规范；●机房基础设施各系统安全管理手册；●机房基础设施涉及安全的应急预案；●机房基础设施管理过程涉及的技术方案中的安全管理策略。机房基础设施中与电气相关的工作存在着固有危险。设施运维团队应当创建一份正式电气安全计划，以最小化所有工作人员受到电气伤害的风险，确保现场电气系统达到相关法规标准。电气安全计划中的条款应规定电气工作人员在有资质和具备合理安全工作流程的前提下才能进行操作，并应利用防护设备和其他控制手段，如上锁挂牌设备。此计划的创建旨在防止员工受到电击、烧伤、电弧和其他潜在电气安全隐患，同时要求其遵守法规标准。相关国家、行业规程包括但不限于：●GB26860电力安全工作规程发电厂和变电站电气部分；●DL408电业安全工作规程。2.2物理环境安全应了解周边社会环境信息，评估潜在的安全风险并制定预案。这些信息宜包含但不限于：周边交通路况、医院、供油站、消防站、变电站、供水、供电、供气、网络通信线路等。可建立周边社会环境管理资料库。应了解机房所在地的历史自然灾害情况。包含但不限于GB50174及TIA-942中提到的所有评估机房选址的外部因素，并制定相应的管理预案。应建立并执行严格的机房设备、人员、车辆进出管理制度。应设立不同安全区等级(参考ISO27001信息安全管理中的物理安全控制)并制定访客管理制度,用以有效管理访客。2.3质量管理在机房基础设施运维过程中建立完善的质量管理体系，是保障以上机房基础设施运维趋于卓越的重要因素和手段。机房基础设施运维团队的所有关键工作应包括以下的质量管理要素：2.3.1质量保证●过程制定；●程序制定；●过程审核和批准；●过程和程序培训。2.3.2质量控制●事件回顾；●质量检查和检验；●定期质量审核。2.3.3质量改进●故障分析；●经验教训；●优化及创新计划。3人员管理建议3.1组织及人员3.1.1组织架构机房运维团队应有清晰的组织架构，同时对各岗位有明确的岗位职责说明并在计算机化维护管理系统（CMMS）中实现权责匹配，同步更新。中大型数据中心场地基础设施运维团队中除现场负责人外，可按照工作内容分设以下几个主要职能岗位：●运维巡检团队主要职责：对基础设备设施进行巡检，担任值班工作，第一时间发现故障或问题，并作为管理程序的执行者。●技术管理团队主要职责：对机房基础设施提供运维技术支持，解决技术问题，承担机房基础设施一般性的优化改造工程的项目管理工作，宜包括电气、空调、弱电等系统的技术人员。●物理环境安全管理团队主要职责：对物理环境安全进行管理，进行安全巡检等工作。3.1.2人员配制机房基础设施运维人员的配备应根据运维管理目标或SLA来确定。中高等级的机房，可按照7X24的运行要求配置运维人员。上岗人员应具备国家要求的相应资格证书。应在运维管理程序中明确规定资质等级与操作权限的一致性。高等级以及具有一定规模的机房，每个班组应配备具有电力、暖通、弱电专业能力的运维人员，以达到“即时应急响应”的工作状态。等级相对低的机房，每个班需要至少配备一人，达到“即时报警”的工作状态。运维团队的关键岗位应有人员备份和储备。机房基础设施运维管理团队的关键管理人员或关键岗位人员在正常运维工作开展中应采用A、B角色配置，日常工作中应注意角色的分配和工作的配合。其它岗位人员宜建立良好的循环机制，人员可进行岗位轮换和交叉培训，使所有人员掌握全面的基础知识。3.1.3绩效管理为了提高机房运维人员的技术技能、职业素养和提倡团队合作精神，专业地、高效率地运行和维护机房基础设施，有必要建立人员的关键绩效指标，定期对所有人员的短期和长期绩效进行评估，奖优罚劣，推动整个运维团队技术和素质的发展和改进。3.1.4人员管理制度为了保障机房基础设施运维团队的创新性、稳定性、持续性，应通过建立合理的人员管理制度，约束人员的工作态度、行为规范，提高人员的工作热情、工作效率和执行力，激发人员正面影响，使团队一直保有活力来共同努力达成服务等级协议的要求，运维团队应该建立运维人员的各项管理制度。这些管理制度应该主要包含（但不限于）：●《日常活动管理制度》；●《人员安全操作制度》；●《运维人员基本素质养成管理制度》；●《安全运行奖惩制度》；●《节能运行奖惩制度》；●《技术创新奖励制度》；●《人员晋升制度》；●《人才储备制度》；3.2培训及认证3.2.1员工培训及资格认证计划对于机房基础设施运维团队新员工应进行完整及严格的培训，以确保其尽快具备岗位需要之知识及能力。培训内容应包括机房基础设施的所有系统的工作原理、操作流程、应急预案、以及管理制度等。对于所有运维人员宜设定以知识更新、技能提高为目标的年度培训及认证计划。宜要求运维人员不断提升理论知识，以便于在缺乏操作程序的应急状态下进行正确的处置。可借助行业第三方专业培训及职业技能鉴定平台，积极开展运维人员任职资格的评定工作。3.2.2历史事件分析学习运维团队应将机房基础设施历史事件的总结分析作为培训的重要素材，进行全员培训；对于新员工应在上岗前予以培训，以避免相同的事件再次发生。3.2.3组织学习运维团队管理者应积极参与行业交流，了解行业最佳的运维管理实践，并从行业故障案例中总结经验，做好自身整改。3.3运维外包服务商3.3.1基础设施运维外包服务商的选择机房基础设施属于关键性设施，选择外包运维团队时应考察其机房基础设施的运维服务的资质、能力和经验。如机房作为商业物业的一部分整体外包运维，应要求外包运维机构针对机房基础设施设施部分设立专门的有机房基础设施运维经验的团队，并严格按机房基础设施的运维规程规范执行。3.3.2运维外包服务商的管理对于外包服务商的员工的管理原则应该参照运维团队内部员工同等要求，相关人员只有在进行培训并得到相关的认证后才能从事相关的工作。外包服务商需要严格遵循数机房基础设施既定的操作流程和安全守则。机房基础设施运维管理的最终责任承担者是机房管理者，责任无法外包。因此，机房应保留运维核心管理人员，对于外包团队的工作进行审核、监督和绩效评估管理。4设施管理建议4.1资产数据库数据中心应建立完整及实时更新的资产数据库。数据库应包括所有关键基础设施设备的清单，还应记录设备设施的运行情况、事件情况、变更情况、维护保养频次等信息。资产数据库应最少包括以下信息：资产ID：每个资产的唯一标识号种类：一级分类（如电气、制冷、消防系统）子类：二级分类（如UPS、电池、PDU等）描述：资产的文字说明制造：资产的制造厂家型号：制造厂家的产品型号规格：资产的规格或者标称值位置：位置ID（房间或区域）购买人：资产维护的负责人序列号：制造厂家的序列号安装日期：资产的投产日期保修期限：保修到期的日期更换：预计的资产更换日期维护频次：年检、季检、月检等4.2预防性维护4.2.1预防性维护计划预防性维护是为了延长设备的使用寿命和减少设备故障的概率而进行的有计划的维护。其目的是通过定期检查和保养，使设备的某些缺陷或隐患在变得更严重之前被发现。运维团队应根据系统设备情况与供应商进行沟通，按照供应商的建议提前制定年度、季度、月度预防性维护计划。各专业运维人员需按照各设备系统特性、维护流程及规范，及时、完整地落实维护工作，并形成客观实际的记录和报告予以存档。运维团队还应定期对设备的运行状态数据进行