河北唐山CDMA网络质量事故回溯报告

文档名称文档密级：2020-6-1华为机密，未经许可不得扩散第1页,共7页HuaweiTechnologiesCo.Ltd.ReportNo.StrictlyConfidentialRev2.0河北唐山CDMA网络质量事故回溯报告Preparedby:刘利锋Date：2009-7-16Checkedby:Date：Approvedby:Date：HuaweiTechnologiesCo.,Ltd.Allrightsreserved文档名称文档密级：2020-6-1华为机密，未经许可不得扩散第2页,共7页1、事件过程描述：...............................................................................................................................................32、事件反思...........................................................................................................................................................54、问题背后的问题...............................................................................................................................................65、总结...................................................................................................................................................................7文档名称文档密级：2020-6-1华为机密，未经许可不得扩散第3页,共7页1、事件过程描述：河北CDMA项目唐山本地网为河北省重点区域，自6月10日割接完成，割接完成后立即进行大量新建站及1x、DO扩容；至今已有在网设备1x基站556、载频数2063，DO基站353个基站、载频数2012。7月12日唐山项目组进行参数核查时发现存在7个基站驻留策略与既定策略不一致，通过对割接脚本核查，原脚本正确，唐山网规组TL苏文庆、TS孙军计划对7个站驻留策略参数进行调整，安排合作方进行准备。7月14日唐山电信网优部门在晚上20点收到用户投诉“唐海党校”基站无法主被叫，唐山网规组检查该站话务量、掉话、呼建KPI指标正常。7月15日11点再次收到“唐海党校”投诉，网优到达现场测试，现场测试“唐海党校”主被叫正常；但测试发现“唐海供电一所”无法起呼，但可以从其他基站切入该站；BSC侧进行该站告警、接入、登记数据检查，并对基站进行复位操作，问题依旧。跟踪信令发现，主叫没有任何信令发到BSC，被叫的时候手机也没有任何响应消息，联系交换核查数据正常。分析全网话务指标进行对比，发现26个基站话务量为0，且在同一Abis接口板。现场派出多人测试，,经用户同意对发现不能通话基站进行紧急闭塞。询问现场没有近期无操作，怀疑Abis接口板故障。7月15日14点左右现场B侧工程师知会省项目组，并再次询问现场没有近期无操作。打800建单，启动紧急事件处理流程。7月15日14点30左右分省项目组在石家庄召开电话会议，要请研发等相关人员接入处理。7月15日16点左右研发检查日志，初步判断为驻留策略问题，让现场人员检查驻留策略。检查这三个站主流策略，发现283、201频点的CCLM、ECCLM发送参数均为不发送，导致在283、201频点无法寻呼建立寻呼信道，导致1X语音无法接入，用户主被叫均不能拨打，造成大量用户投诉。根据日志检查发现7月14日下午点唐海曹妃甸、唐海供电一所、乐亭远大酒店等七个基站的多载波参数驻留配置错误。后通过维护台用LSTCDMACH检查问题基站配置参数，发现三问题基站下的283、201频点的CCLM、ECCLM发送参数值为不发送，即基站不下发任何文档名称文档密级：2020-6-1华为机密，未经许可不得扩散第4页,共7页寻呼信道列表。合作方郑柯柯承认7月14日16时未告知任何人下发7个站驻留参数调整脚本回顾整个事件，有以下几个关键点：时间事件操作人结果7月12日参数核查苏文庆（TL）、孙军（TS）参数检查发现7个站201频点仅在201频点CCLM、ECCLM发送，与驻留策略不符。7月13日参数修改决策苏文庆、孙军与割接脚本进行核查，割接脚本正确；决策需要进行修改。7月14日驻留策略脚本制作郑柯柯（合作方）脚本制作错误，问题隐患脚本审核未审核TL苏文庆、TS孙军未收到脚本；但未及时关注策略整改进度。7月14日16点独自下发加本、未经允许郑柯柯（合作方）问题：未在规定时间、下载未审核脚本、未经TL/TS允许、下载脚本后未跟踪涉及基站状态7月14日20点用户投诉“唐海党校”基站无法主被叫孙军、魏国星（合作方）检查该站话务量、掉话、呼建KPI指标正常7月15日11点再次收到“唐海党校”投诉，现场测试正常；测试发现“唐海供电一所”无法起呼苏文庆、魏国星（合作方）发现故障基站，并进行全网话务KPI指标，发现26个基站接入次数为0次，部分未开通基站7月15日14点检查基站无告警、分析存在无法进行呼叫基站均在同一Abis接口板，现场测试对不能呼叫基站进行闭塞，对测试站进行复位，询问现场近期无人进行参数修改操作杨硕（B侧）800建单，启动紧急处理流程7月15日14点30分省项目组召集电话会议，跟踪督促问题进展河北省项目组7月15日16点研发分析发现硬指配存在问题800现场对7个基站进行检查发现201和283频点CCLM、ECCLM参文档名称文档密级：2020-6-1华为机密，未经许可不得扩散第5页,共7页数均设置为“不下发”，现场修改后正常7月16日省项目组7月15日晚连夜赶赴唐山，7月16日上午向用户出具报告，进行安抚。靳庆刚、刘利锋2、事件反思本次事件由一名网优工程师进行参数修改没有按照流程执行引起，但是从整个过程中发现了很多本应能够杜绝事件发生的关键点没有把握好，导致问题不断扩大。1.每周项目会议均对网络安全、参数修改流程（提交申请、审批、执行、观察、闭环）进行重点强调，且上周刚完成规范学习考试，为什么现场仍然会存在私自修改参数的情况？2.现场根据核查发现参数问题，已经制定了调整决策，却没有跟踪进展和过程，没有给出操作时间和流程提醒，是缺少责任心还是已经麻痹、还是自认为小事情、不会出问题。问题往往都会存在认为不可能出现问题的地方。3.参数修改后，没有对参数进行检查，且对修改基站指标为什么没有进行跟踪观察？4.收到用户投诉后，仅对投诉基站进行检查；现场用户只能通过位置进行大概描述，第一次收到投诉分析时，仅分析用户提及的基站，为什么不能扩展到周边基站？5.现场进行测试时，发现不能呼叫，从后来原因结果看，在广播消息中完全安可以判断出问题，为什么现场处理人员就不能进行判断？6.出现问题时想到询问现场是否进行参数修改，但是为什么就没能查出来参数被修改问题，而且LSTCDMACH是常用命令，很快就能查到，为什么就没能查到？7.出现问题时已经询问现场人员是否进行参数调整，现场均没有人承认自己进行操作；且没有该项操作记录；如果能够多从自我分析，多想想自己，可能就会大大降低事态的扩大？文档名称文档密级：2020-6-1华为机密，未经许可不得扩散第6页,共7页4、问题的警惕及改进措施此次事件中，贯穿着流程意识薄弱、项目管理、操作监控、现网安全意识差、问题跟踪、操作记录、故障判断等众多问题；通过对本次事故的分析，本次事故产生存在严重的隐患：1.搬迁顺利完成后，网络指标、用户评价等均优于原来预期；成功喜悦掩盖了潜在的更大危机；虽然在项目组在周例会多次强调网络安全、操作流程，但仍然存在没有真正落实到每个成员实际工作当中、没有真正贯彻到每个成员思想当中。今后项目组不但要定期进行规范学习、考试，还要组织进行答辩，切实让每个人都能吸取教训，网络安全天天抓、时时抓。2.责任心、认真重视程度需要加强：真个事件过程中从决策制定后的跟踪执行、脚本制作、投诉处理、测试即故障排查，无数个只要再认真细心一点、责任心再增强一点、对事情再深入一点就能够将事件影响最小化及时解决；可是每次的擦肩而过、点到为止让事情不断扩大；可见提高每个人的职业素养、责任心、事事小心的意识仍是一项重要工作。3.敲响警钟，网络安全不容忽视：本事件涉及7个基站，从中反映的问题，想起来都后怕；如果修改的是BSC及或其它参数，后果不堪设想；每一个人都必须严格要求自己，网络操作，责任重大，特别是优化工作，所有操作都在现网进行，只有按照规章制度办事、按照流程操作，才能保证不犯错误，顺利交付。4.事故处理完毕以后，组织唐山项目组全员召开事件进行回溯会，通过对时间开始到最后处理过程进行分析，现场每人根据对本次事件认识和教训，结合自己工作进行分析并发言；刨析到项目管理工作监控不到位、审核工作不到位、流程意识薄弱、现网安全意识差、对问题跟踪不彻底、没有操作记录危害、故障判断不仔细等问题；通过本次会议让每个人都认识到规章、流程重要性；自由按照规章制度、流程规范操作才能保证项目顺利进行，任何一次偶尔、侥幸的违规都将造成严重后果。本要在整个河北项目组进行学习，让每个人都从中吸取经验，不要在自己的工作中再次出现此类问题。文档名称文档密级：2020-6-1华为机密，未经许可不得扩散第7页,共7页5、总结本次事故反映了现场管理、合作方监控不到为；规章制度不落实；现网意识差、网络安全操作没有落实到实际工作中；问题跟踪不彻底；故障判断不到位等问题。为现场工作敲响警钟。在今后工作中一定要加强现场操作监控，网络安全、流程规范、规章制度执行，让流程、制度、网络安全成为每个人的工作习惯，才能保障网络安全交付。