云平台服务器存储应急预案

1云平台服务器存储应急预案2目录1目的............................................................................................................32适用范围.....................................................................................................33规范内容.....................................................................................................33.1故障分类.........................................................................................33.2应急准备.........................................................................................33.3具体措施.........................................................................................34故障处理规范...............................................................................................44.1机房停电.........................................................................................44.2主机故障.........................................................................................44.3存储系统故障..................................................................................44.4云平台软件系统故障.........................................................................44.5云平台管理服务器故障预防...............................................................54.6云平台日常告警故障排除..................................................................55硬件故障预防与排除.....................................................................................55.1故障预防.........................................................................................55.2故障排除.........................................................................................55.3故障处理.........................................................................................631目的为提高云平台服务器、存储故障处理能力，形成科学、有效、反应迅速的日常管理流程和应急处理机制，确保平台的安全和稳定运行，最大限度地减小故障对生产的影响，降低业务中断风险，特制定本规范。2适用范围本规范适用于提供云计算虚拟化平台服务的服务器、存储管理，应对发生和可能发生的故障。3规范内容服务器运维和应急处理应包括风险评估，检测体系和应急处理三个环节，合理有效的执行控制将防止故障影响扩大。3.1故障分类平台故障包括服务器硬件和存储系统故障；自然灾害（水、火、电等）造成的物理破坏；人为误操作造成的损害等。3.2应急准备部门责任人员明确职责和管理范围，根据实际情况，安排应急值班，确保到岗到人，联络畅通，处理及时准确。3.3具体措施（1）建立安全、可靠、稳定运行的机房环境，防火、防雷电、防水、防静电、防尘；建立备份电源系统。（2）虚拟化平台服务器应采用可靠、稳定、兼容性硬件，落实责任管理机制，遵守安全操作规范；对虚拟机和管理服务器进行定时备份；采用有效的虚拟化监控工具，及时发现问题和日报告。44故障处理规范4.1机房停电接到停电通知后，相关人员应及时部署应对具体措施，启动备用电源,保证服务器正常运行。4.2主机故障（1）平台服务器出现硬件告警需要停机维护，服务器责任人应立即通知相关人员，将业务虚机迁移到集群中其他服务器主机上，再将故障服务器切换至维护模式并从HA集群中移除，负责陪同硬件厂家现场更换至成功恢复。（2）若服务器硬件24小时内无法恢复，服务器责任人需书面报告原因并立即通知业务管理人员进行数据应急备份,防止灾难扩大。（3）若虚拟化存储硬件出现告警，第一目击人应立即通知存储管理员，并上报主管领导，存储管理员应在报告1小时内联系厂家到场处理，处理完成后因报告原因，找到解决方法；并立即对数据做完整性检查，消除重复发生隐患。4.3存储系统故障（1）做好存储系统的定时备份，一旦出现数据损坏、丢失，能够及时恢复系统。（2）发生存储系统故障后，相关人员应检查出现故障的原因并尽快排除。（3）如遇系统崩溃，数据丢失，应启用备份文件进行数据恢复。4.4云平台软件系统故障（1）日常做好虚拟机的定时备份和快照，系统崩溃后，能够及时恢复虚拟机。（2）发生虚拟机系统故障后，相关人员应及时通知业务人员检查出现故障的原因并尽快排除。5（3）如遇虚拟机系统需要启用备份系统进行恢复时，应在恢复后和业务管理员仔细检查业务是否恢复并做好恢复记录。4.5云平台管理服务器故障预防虚拟化服务器采用群集配置。配套管理软件对虚拟数据中心管理单元进行集中管理，系统平台常年24小时运行，每天将产生大量的任务日志和记录信息。同时管理服务器担任了整个平台主机管理和集中配置的角色，使用率极高。为了安全，应定期备份配置数据库，定期检查告警日志。4.6云平台日常告警故障排除当虚拟化平台出现告警信息，通过以下步骤排除：1.确定故障原因。查看已触发的警报内容，确定故障前操作是否是引发该故障的原因，对合规操作引起的告警，进行消除。2.对提示硬件产生的告警，应查看硬件状态信息，对确认是硬件的问题按硬件维护预案处理。3.对提示因资源不足或性能引发的告警，因查看近期性能图表，找出原因，消除故障提示。4.对于无法判断的故障，可导出系统日志发给厂家分析处理。5硬件故障预防与排除5.1故障预防保持双机运行状态正常，单机出现故障后，及时对故障单机进行修复。5.2故障排除当服务器出现硬件故障，通过以下步骤排除：（1）确定故障原因。依次查看电源、硬盘、内存、主板、处理器等，如条件许可，可使用替换法检测各硬件。6（2）恢复固件缺省配置。比如去除第三方厂商备件和非标配备件。5.3故障处理（1）硬盘故障处理：当硬盘出现黄灯提示预警时，应先查看硬盘数据是否丢失，如数据存在应先做好数据备份，将此服务器各应用迅速转移，然后排查报警具体原因，如由于错误操作或硬盘连接不好引起的报警，可尝试重启服务器，重新插拔硬盘等操作即可解决问题。如硬盘损坏，应及时将备用硬盘替换下故障硬盘，使服务器恢复正常工作。排查过程中，如不能正确判断问题原因，不能随便操作，可向售后服务咨询处理。（2）内存故障：由于我们的服务器有多组内存，单条内存故障时，会对服务器性能稍有影响，当不会影响整体使用，所以如发现内存条损坏时，安排时间将损坏的内存条替换掉即可。（3）RAID卡故障：服务器的RAID卡出现故障时，系统会无法识别出硬盘，服务器不能正常使用，所以应第一时间启动备用服务器。将故障服务器移出生产网络后更换RAID卡，RAID卡通过硬盘重新读取RAID配置信息后即可恢复使用。（4）电源故障：现阶段我们的服务器都是双电，如果单路电源故障不影响运行，如果长期单路停电运行需准备备用电源。（5）CPU故障：我们的服务器多为8路CPU，所以在CPU故障时同内存一样，只会对服务器性能有所影响，不会影响整体使用，所以及时安排时间将有问题的CPU换掉即可。（6）网卡故障：启用本机备用网卡，顶替故障网卡。