故障响应机制1.2

故障响应机制北京傻+逼信息技术有限公司2014年12月目录1引言.........................................................................................................................11.1编写目的......................................................................................................11.2适用范围......................................................................................................12故障.........................................................................................................................22.1故障分类......................................................................................................22.2故障响应时间表..........................................................................................43故障定级.................................................................................................................53.1故障累积升级..............................................................................................53.2处理能力不足..............................................................................................53.3客户关注程度..............................................................................................53.4客户反馈故障升级......................................................................................63.5客户监控出现的问题..................................................................................63.6故障定级矩阵..............................................................................................74现场人员注意事项.................................................................................................85故障响应人员.........................................................................................................96处理流程...............................................................................................................106.1一级故障....................................................................................................106.2二级故障....................................................................................................116.3三级故障....................................................................................................136.4四级故障....................................................................................................147事后总结...............................................................................................................161引言1.1编写目的由于生产环境中经常会出现各种故障，一般通过两种途径：公司方人员发现、银行方人员告知。现场人员会发现问题不知道如何解决，也不知道该通知谁解决，经常会出现处理延误、沟通不畅等问题，导致客户满意度下降，客户信任度下降。另外现场人员要加强自身的沟通能力，第一要安抚客户、告知客户公司已经进行处理，第二要能简明扼要的说明现场情况、客户关注程度、问题导致结果等。本文档旨在提供一个规范化的流程，让现场人员做到有章可循，针对不同的故障级别找到响应的处理人员。从故障处理上，不仅可以体现公司的专业性，也能提高客户满意度。1.2适用范围项目组的所有人员需要了解，在故障出现的时候能第一时间进行处理。领导组需要进行了解，知道各种级别的领导需要沟通。2故障2.1故障分类故障按照产生的后果进行分类，共分为四类。故障等级故障说明响应时间处理时间一级一级故障：客户端无法使用，影响用户正常使用。当系统出现下列相当严重的现象时，属一级故障：•系统后台服务器整体瘫痪，全部操作失去响应；•客户端（安卓、iPhone、iPad等仅一种出现）崩溃、无法进入用户界面；•发生间歇性、随机性、重复性的启动或应用退出，无法保障客户业务的正常处理。•两个二级故障及以上，升级为一级故障≤2小时≤1天二级二级故障：客户端整体可以使用，部分出现问题，影响用户的部分业务处理。当系统出现下列比较严重的现象时，属二级故障：•系统后台出现了部分问题，导致用户使用出现问题；≤3小时≤2天•客户端（安卓、iPhone、iPad等仅一种出现）部分功能失效，影响用户使用；•系统整体性能严重下降，无法自动恢复正常运行状态；•重要数据、参数和配置信息损坏，无法恢复，导致客户数据及业务记录严重损失；•三个三级故障及以上，升级为二级故障三级三级故障：客户端可以使用，出现的问题对用户的业务处理影响不大。当系统出现下列现象时，属三级故障：•服务器端软件或者硬件出现异常，局部功能受限，系统整体仍可正常工作，对客户业务影响不大或存在隐患；•关键备用设施因故障离线，主用设施仍能正常工作；•后台日志发现有系统出现问题的趋势，或者已经出现了交易成功率下降•客户端性能小幅下降，但不影响使用；•系统运行指标（例如：I/O效率、CPU效率）受到直接或间接影响，客户业务处理受小量影响；•五个四级及以上，升级为三级故障≤6小时≤3天四级四级故障：客户端可以使用，不影响业务处理当系统出现下列情况而不影响客户业务时，属四级故障：•客户端界面出现显示问题，如ui不符合设计；•后台系统中有大量的冗余信息，导致空间不足；•系统硬件或者软件没有及时升级，不符合安全策略等等≤12小时≤5天2.2故障响应时间表故障等级通知公司响应人员作出解决方案赶到现场解决时间一级15分钟2小时8小时24小时二级30分钟3小时12小时48小时三级60分钟6小时24小时或无需到现场72小时四级90分钟12小时无需到现场120小时3故障定级3.1故障累积升级按照不同的故障分类需要进行相应的处理，但是有时问题会重复出现或者同类问题出现了多个，进行故障升级。例如：开发人员发现了一个ui问题，这是一个四级故障，他应该通知他的组长进行统筹处理，在该组长进行处理时发现了十个类似的问题，这个问题直接升级到三级故障，由该组长负责向项目经理通知，并进行全面查找问题，进行统一解决，做到故障的全部解决。•四级故障数=5，升级为三级故障•三级故障数=3，升级为四级故障•二级故障数=2，升级为二级故障3.2处理能力不足现场人员如果在接到处理命令后，在两个小时内确认自己无能力处理该故障，那么要求责任人将故障升级，联系更高级别人员，进行统筹工作。如：发现一个后台日志异常，有明显变坏的趋势，且银行方已经发现了交易量有少量下降，这应该是一个三级故障，在内部响应后项目经理和高级开发人员进行了处理，但是找不到问题所在，那么直接上升故障等级，通知领导协调更高级的技术人员进行处理。3.3客户关注程度客户的关注程度较高时，故障等级应做升级，如果现场人员不能确定客户是否关注程度比较高，可以通过以下几点进行判断：客户语气焦急，明显有些不耐烦，明令快速解决客户话语中透露出某某领导派他过来问，或者某某领导等着看，等等客户表明因为这个系统的问题，导致其他系统无法正常运作客户已经直接联系领导反映情况（这是非常糟糕的情况，3.4中会有说明）如果还不能判断出客户的关注程度，那么直接打电话给项目经理，如果项目经理也不能判断出客户关注程度，则按照客户关注程度一般处理。客户关注程度高时，故障+1级（如原故障二级，+1后变一级），已经是一级的无法再升级。关注程度一般时，不做故障升级。3.4客户反馈故障升级如客户遇到了故障，没有通知现场人员或者项目负责人员。而是直接联系了部门领导或者公司领导，那么故障响应要做相应升级。如果故障是用户发现的，故障一般都在三级以上，那么按照用户的响应级别进行故障定级。例如：如果反馈用户是银行总经理级别的，即使是三级故障，也要按照一级故障进行响应。原则上是找到公司与用户级别对等的领导，该领导在响应机制的哪个级别，故障就升级到哪个级别。银行总经理对应公司总经理，定为一级故障银行科技（信息）部经理对应公司交付中心总经理，定为一级故障银行科长级别对应公司交付中心总监，定为二级故障如果客户反馈的故障，按照故障标准认定的等级大于用户反馈认定的故障大于，那么以故障标准认定为准。3.5客户监控出现的问题银行都有一些监控体系，可以从中查看到各种异常情况，这些异常情况可能是已经出现了问题的，也可能是即将出现问题，这些一般都是由技术人员解决。此类问题一般按照二级故障处理，如果客户关注程度较高，则需要公司相应人员进行沟通，如果客户关注度不高，直接协调技术人员解决。解决后，须告知银行相关负责人。3.6故障定级矩阵颜色说明一级二级三级四级故障现象按照标准客户关注度一般客户关注度高行方科长反馈问题行方信息部经理反馈问题行方总经理反馈问题故障积累（按照3.1所述）处理能力不足公司内部重视程度高无法使用一级一级一级一级一级一级一级一级一级部分无法使用二级二级一级二级一级一级一级一级一级小部分无法使用三级三级二级二级一级一级二级二级二级不影响使用四级四级三级二级一级一级三级三级三级4现场人员注意事项遵守银行现场的各项制度管理规范，维护公司声誉和形象，不允许有损公司声誉形象的事情发生。重视自身的沟通，日常工作中不要抱