oracle一体机应急预案

Exadata1.1Exadata应急预案1.1.1Exadata系统概述“新一代”系统部署1套Exadata，为ODS系统提供数据支撑服务，通过Exadata数据库云平台一体机实现了数据的存储、加工、查询/展现、向其他系统供数等功能。1.1.2Exadata应急处理人员姓名职责联系方式邮箱1.1.3故障场景一1.1.3.1场景描述Exadata一体机数据服务器（DBserver）某一硬盘出现故障。1.1.3.2处理步骤由于Exadata一体机本身有Raid保护功能，所以，在不停机的状态下，可以对硬盘直接进行更换。不需要停机操作。1)通过raid命令检查磁盘状态信息/opt/MegaRAID/MegaCli/MegaCli64-AdpAllInfo-aALL|grepDevicePresent-A82)通过机器的iLom端口对数据服务器故障进行进一步的诊断，确定故障驱动器的位置。3)将信息收集完毕后，登陆support.oracle.com提交Exadata一体机的服务申请，请求对Exadata一体机提供维修服务。4)Oracle支持人员将根据相关信息，对故障硬盘进行更换。1.1.3.3结果检查1)更换完毕后，下面的命令检查更换后的硬盘状态是否正常。/opt/MegaRAID/MegaCli/MegaCli64-AdpAllInfo-aALL|grepDevicePresent-A82)通过下面的命令，检查数据设备同步情况/opt/MegaRAID/MegaCli/MegaCli64-pdrbld-showprog-physdrv\[disk_enclosure:slot_number]-a01.1.4故障场景二1.1.4.1场景描述Exadata一体机，PUD或InfiniBand交换机某一个故障1.1.4.2处理步骤由于设备采用双冗余结构，单个的PDU或者InfiniBand交换机出现故障时，不会影响到Exadata一体机运行。1)对通过使用EM13C软件对Exadata进行监控，如果，出现PDU或InfiniBand交换机告警时，进行故障信息收集。2)将信息收集完毕后，登陆support.oracle.com提交Exadata一体机的服务申请，请求对Exadata一体机提供维修服务。3)Oracle支持人员会根据故障情况，对故障PDU或者InfiniBand交换机进行设备配置或者更换。1.1.4.3结果检查1)对通过使用EM13C软件对Exadata进行检查，故障处理完毕后，PDU或InfiniBand交换机告警将自动消除。1.1.5故障场景三1.1.5.1场景描述Exadata一体机存储服务器（CellServer）某一硬盘出现故障。1.1.5.2处理步骤1)通过使用EM13C软件对Exadata进行监控，发现Exadata存储服务器（CellServer）故障告警后，通过下面的命令检查硬盘故障情况CellCLILISTPHYSICALDISKWHEREdiskType=HardDiskANDstatus=failedDETAILname:28:5deviceId:21diskType:HardDiskenclosureDeviceId:28errMediaCount:0errOtherCount:0foreignState:falseluns:0_5makeModel:SEAGATEST360057SSUN600GphysicalFirmware:0705physicalInterface:sasphysicalSerial:A01BC2physicalSize:558.9109999993816GslotNumber:5status:failed2)到故障服务器前，找到出现故障的硬盘的位置。从库房中取出硬盘备用件，准备对故障硬盘进行更换。3)将故障硬盘拔出，等待几分钟后，将新硬盘插入对应的槽位中。4)通过下面的命令进行检查，确认硬盘状态处于Normal状态。CellCLILISTPHYSICALDISKWHEREname=[enclosureDeviceId:slotNumber]ATTRIBUTESstatus1.1.5.3结果检查1)服务器硬盘告警消除，EM13C监控软件故障消除2)通过相关命令检查，确认硬盘状态处于Normal状态。1.1.6故障场景四1.1.6.1场景描述Exadata一体机存储服务器（CellServer）某一闪存卡出现故障。1.1.6.2处理步骤1)通过使用EM13C软件对Exadata进行监控，发现Exadata存储服务器（CellServer）故障告警后，通过下面的命令检查硬盘故障情况CellCLILISTPHYSICALDISKWHEREdiskType=flashdiskANDstatus=failedDETAIL2)使所有grid磁盘在非活跃状态CELLCLIAlterGRIDDISKALLINACTIVE3)验证所有grid磁盘在非活跃状态CELLCLILISTGRIDDISKWHERESTATUS!=’inactive’4)停止Cell服务CellCLIALTERCELLSHUTDOWNSERVICESALL5)关闭故障的存储服务器6)从库房中取出闪存卡备用件，准备对故障闪存卡进行更换。7)更换完毕后，重新启动Exadata存储服务器（CellServer）8)使所有grid磁盘在活跃状态CELLCLIALTERGRIDDISKALLACTIVE9)验证所有grid磁盘在活跃状态CELLCLILISTGRIDDISKATTRIBUTESname,asmmodestatus10)重新启动后，新的Flash卡会被系统自动识别并使用。1.1.6.3结果检查1)服务器硬盘告警消除，EM13C监控软件故障消除1.1.7故障场景四1.1.7.1场景描述Exadata一体机数据库查询/更新异常，出现查询/更新速度慢，卡顿等情况。1.1.7.2处理步骤1)通过EM13C软件监控ExadataExadata运行情况，发现数据运行瓶颈2)收集AWR报告，交给OracleACS组进行分析，并快速排除故障。1.1.7.3结果检查1)Exadata一体机查询/更新恢复正常。