集中化故障管理流程培训

网络监控处谭步律2014年4月集中化故障管理流程培训2试点成效二总体目标及流程概览一关键环节的实施步骤和模式要求三当前存在的突出问题及下阶段重点工作四3通过告警监控集中化、工单流程标准化、故障处理规范化，实现以省公司为单位的集中告警监控、工单派发和故障预处理，取消地市监控，故障工单直派至一线班组（区县/代维）总体工作目标省公司•全专业集中告警监控•工单直派一线并督办•工单审核归档•故障预处理•故障、割接配合市公司•取消监控•取消工单转派•取消故障预处理及故障处理配合区县/代维•取消代维调度•一线班组直接受理工单•工单报结•故障现场处理告警监控工单流程故障处理4集中化故障处理目标模式集中化故障管理改革对故障处理流程调整的核心内容就是取消地市监控，实现故障工单直派一线班组，各省公司应当杜绝任何形式的二次转派工单，代维调度员仅限于板件调度和资源协调工作。省监控一线班组1~NT3省公司市公司区县代维T3技术支援代维调度员（代维公司）物资调度（车辆、备件等）派单回单故障配合故障督办地市专业人员或县区业主协调人员改革目标模式如下图所示，省监控直派故障工单至一线班组，并承担故障配合和督办职责。一线班组直接回复工单至省公司，必要情况下可寻求代维调度员进行物资、车辆调配或寻求T3专业人员及业主协调人员进行故障支援。目标模式能够使省监控真正实现对故障全流程端到端的精细化管理，同时实现对自维、代维的统一管理，是高效率、扁平化的故障管理模式。工单派发工单报结故障配合板件调度T3故障支援故障督办目标模式5•告警标准化流程•省级维护设备工程预约•资源信息核查•集中监控•故障预处理工作•工单直派一线并人工督办•IVR自动督办•故障指挥调度•工单延期审批•故障处理配合•工单审核归档•工单回退•工单定期质检•负责地市维护设备工程信息预约•地市维护资源录入•取消工单预处理环节•取消工单转派和调度•不参与故障处理过程•代维平台资源信息录入•末端班组直接受理工单•管辖区域内设备、线路现场处理•工单延期申请•申请归档告警接入故障预处理派单及督办故障处理工单归档故障处理流程由告警接入、故障预处理、派单及督办、故障处理、工单归档5个阶段12个环节组成，实现从告警发现到故障解决的全流程闭环管理故障处理流程及各环节关键点省市县6试点成效二总体目标及流程概览一关键环节的实施步骤和模式要求三当前存在的突出问题及下阶段重点工作四7总体成效2012年底2013年8月2014年4月试点地市故障历时对比（小时）39%试点地市工单响应时长对比（小时）42%–改革试点实践证明，集中化故障管理是可行的，也是卓有成效的，达到了“五个有利于”的标准–截至2014年2月，故障管理效率提升明显，43个试点地市故障工单平均响应时长较试点前缩短42%，平均故障历时缩短39%•历经3年，改革从试点到全网启动，已取得一定成效8试点成效二总体目标及流程概览一当前存在的突出问题及下阶段重点工作四关键环节的实施步骤和模式要求三1.告警接入2.故障预处理3.派单及督办4.故障处理5.工单归档91.告警接入（1）-概览目标：全专业网元、设备告警100%接入省网管，实现符合告警标准化要求的统一呈现，对工程告警可标识原始告警消息采集工程告警标识告警标准化过滤告警解析重定义告警采集规则过滤综合监控告警入库告警全量采集告警标准化工程标识综合资源信息匹配•按集团统一要求将省内网元纳入监控•完成故障管理系统建设，接入所有告警•对于集团统一标准化的告警按照集团梳理表统一部署•对集团尚未统一标准化的告警，各省自行梳理标准化后接入故障管理系统•收到工程信息和工程预约后，通过系统或者手工方式进行工程告警标识•对工程引起告警进行考核•确保所有集团要求接入的地市维护设备告警送至省公司综合监控平台•收到非标准化告警工单及包含错误信息工单后，向省公司进行反馈•完成工程信息发布及区县工程申请审批•确保所有集团要求接入的区县维护设备告警送至省公司综合监控平台•收到非标准化告警工单及包含错误信息工单后，向省公司进行反馈•完成工程信息发布省市县告警接入不完整将导致省监控对本省网元完全失去掌控，各省务必确保网元告警100%接入10目标：各省公司确保下列8大类专业，32种网元、设备类型告警99%接入省监控告警可监控率=100%，家客设备各省根据客户要求接入指标要求1.告警接入（2）-接入范围无线BSCBTSRNCNodeBeNodeB直放站　　　交换MSCServer/MSCMGWHLRSTPIMSSCPVCNGN传输WDMSDHPTNOTN　　　　　动环核心机房传输节点机房基站动环　　　　　　数据GPRS短信彩信网关WAP网关LTE核心设备　　　　　WLANACAP　　　　　　　IP承载网ARBRCE　　　　　　CMNet省网核心城域网（路由器、交换机、DNS、BRAS）　　　　集客/家客OLTONUPBX　　　　　　111.告警接入（3）-告警标准化目标：各省统一按集团梳理规则实现告警标准化，确保各专业标准化匹配率达到95%以上标准化匹配率=99%(交换、无线、传输（不含PTN/PON）)标准化匹配率=95%(动环、LTE、IMS、PTN/PON、WLAN)指标要求各省需按专业分批实现标准化原始告警系统发现非标准化告警派单后抄送专业维护人员告警呈现模块标准化告警非标准化告警故障处理工作流程派单派单流程特点：告警全接入，按标准化流程实现告警呈现及故障处理。由资源信息缺失或错误导致的工单派发错误，启动资源信息纠错流程。基于“告警标准化”的综合监控平台省内EOMS系统标准化匹配分批实现告警标准化要求121.告警接入（4）-告警工程标识工程告警标识率=75%(工程告警量/(工程告警量+EOMS工单归为工程原因的告警量)工程工单占比5%(报结原因选择为“工程引起”的工单占比)指标要求目标：自动与人工方式相结合标工实现对各专业本端、对端网元自动工程告警标识根据各省实际情况，在工程信息审核环节统一由省公司人员实现，既可由省监控人员审核也可由省专业维护人员审核；在工程预约设置环节可选择省监控人员手工预约或系统自动预约两种模式成功发布工程信息工程信息审核工程预约设置系统自动进行工程标识呈现工程告警失败人工标识工程工程告警规则完善发布工程信息工程信息审核工程预约设置省公司区县公司地市公司人工标工与标识规则完善环节职责分工工程告警分析系统标工132.故障预处理-流程概览目标：通过人工处理或系统自动化处理，尝试通过远程操作解决故障，对于无法远程解决的故障，补充相关信息供下一环节参考，提高整体故障处理效率1.流程关键点（1）明确预处理范围•通过系统或人工的方式，对全专业前三级告警进行预处理（2）获取故障信息•明确故障网元名称、所属专业、责任班组，使省监控能够准确落单至一线维护班组•获知故障网元物理及性能参数，明确故障逻辑、物理位置，完成告警汉化及关键信息提取•能够判断故障原因，明确故障对端网元板件或端口信息（3）尝试远程解决•能够通过指令等远程手段在T1环节修复告警尝试远程解决尝试判定故障原因补充工单信息派单末端班组告警呈现是否尝试判定故障位置告警预处理流程（自动+人工）否故障是否恢复是否需预处理故障解决142.故障预处理–整体要求初级•能够对无线、传输、动环等专业前三级工单100%预处理•能够明确故障网元名称、所属专业以及故障处理责任班组预处理能力级别定义中级•能够获知故障网元物理及性能参数•能够明确故障逻辑、物理位置（传输线路物理断点不包括），能够明确故障对端网元板件或端口信息•能够完成告警关键信息（如设备IP、信令点编码、错误代码等）提取•能够基本准确判断故障原因高级•能够明确传输故障物理路由•能够通过远程指令修复告警预处理整体要求•当前，集中化运维试点省份浙江、江西、江苏已接近预处理高级水平，其余各省应当至少达到中级以上预处理水平：能够较准确判断故障原因及责任班组，故障平均历时低于10小时•各省应通过预处理，确保工单准确直派一线维护班组。完善预处理手段建设，编写各专业预处理手册，组织加强监控人员培训，增加预处理的深度与广度，提高故障处理效率15省监控省公司地市区县市专业维护班组县区维护末端班组省专业室3.派单和督办（1）-工单派发目标：省监控直派故障工单至一线班组，并承担故障配合和督办职责。完全取消地市监控，代维调度员不承担工单转派等监控职责，一线班组直接回复工单至省公司。l一线维护班组（执行具体工单任务的一个或几个人组成的小组）一般不超过5人（传输、集客等班组可适当上调），同时一线班组需配备掌上运维工具，便于远程查询告警故障信息、远程回复故障工单l代维调度员仅可承担板件、车辆等代维资源调度，不承担工单转派工作。163.派单和督办（2）-工单督办工单督办流程基于工单时限的语音督办超时后督办（短信+语音）工单派发工单短信提醒基于工单时限的短信督办严重故障基于工单时限的升级督办严重故障语音督办督办工作职责分工省公司：自动督办功能维护、需督办严重故障梳理、督办及升级时限设定、督办频次设定市公司：督办人员信息维护、特殊督办需求提出区/县公司：督办工单的及时处理严重故障语音升级督办流程关键点：各省公司均需支持短信+IVR语音两种形式的自动督办174.故障处理（1）-概览省公司地市公司维护部门区县公司维护部门人工配合自动化运维手段收到工单自维/代维确认故障，获取必要信息到达现场，定位故障需要其他资料请求技术支援处理故障业主协调确认故障恢复情况模式一模式二模式一模式二故障处理阶段恢复确认阶段注：自动化运维手段：如飞信机器人、掌上PDA等故障处理配合职责要求：区县公司负责业主协调配合，地市公司负责部分技术支援请求，其余故障处理配合工作完全由省公司完成故障处理配合手段要求：根据自动化运维手段支持情况分为人工配合和IT智能手段配合两种模式，IT智能手段配合为故障处理的目标模式，要求IT智能手段配合率大于50%（即50%以上故障工单无需省监控人工配合）目标：各省按集团公司统一要求，明确故障处理中各级单位的配合职责，根据本省能力选择配合模式，提高自动化配合程度18分阶段工作内容　维护配合内容对配合部门的要求配合部门省公司配合手段故障处理阶段1、查询设备状态、告警、指标等信息1、人员具备初级技能水平2、配合部门有完备预处理IT手段省网管监控模式一：自动化运维手段模式二：人工配合2、需要基础运维数据或资源信息辅助故障处理；1、数据完备，资源管理到位省网管监控人工配合3、协助定位故障（包括传输环回测试、打死激活网元；）1、配置足够人力2、配合人员具有中等技能水平省网管监控人工配合4、对于疑难故障，需要专家提供技术支持；（技术）1、配合人员是维护专家或专职人员地市公司专业中心/省公司专业人员5、修改配置数据；（权限）1、配合人员有相关修改权限2、具备较高技能地市公司专业中心6、协调相关部门/业主；（资源）1、配合人员熟悉当地情况，有较高的属地化服务能力和协调能力区县公司相应部门恢复确认阶段1、确认告警产生与恢复情况1、配合人员具有初级技能省网管监控模式一：自动化运维手段模式二：人工配合2、跟踪性能指标4.故障处理（2）19工单质检要求：l检查工单受理是否在2小时以内及时受理；l检查“故障级别”、“故障类型”选择是否规范，各字段是否严格按照集团下发的《故障工单规范》填写；l检查故障原因分类、故障原因描述、处理措施、说明等与T1环节的预处理内容是否符合逻辑，是否有条理，以便日后对故障情况进行具体分析。l故障恢复后，工单是否1小时内申请报结。5.工单归档省公司区县公司地市公司指标要求工单回复合格率＞98%、人工归档比例＞50%、归档后人工质检比例＞5%目标：一线维护人员可通过远程手段按要求进行工单回复，省监控完成对故障恢复的确认、归档及质检，并根据工单对网络质量进行有效评估20试点成效二总体目标及流程概览一关键环节的实施步骤和模式要求三当前存在的突出问题及下阶段重点工作四21EOMS&代维管理平台&资管系统信息不匹配存在二次调度一线班组人员过多省监控未做到故障全流程管控监控预处理不足