互联网QC-降低互联网DSLAM丢包率

降低互联网DSLAM丢包率铁通江西分公司网络支撑中心QC小组课题名称：降低互联网DSLAM丢包率成果类型：现场型注册时间：2010-07活动日期：2010年07月-2010年12月注册号：QC-14-2010-00X一、小组概况小组成员小站成员性别文化程度职务（或职称）主要分工组长成员成员成员成员成员成员成员二、选题理由1、江西分公司下达网运考核指标：互联网DSLAM丢包合格率≥96%（每月进行考核一次）2、2010年7月-2010年10月互联网DSLAM丢包合格率统计表二、选题理由日期监测DSLAM总数监测DSLAM丢包率合格数监测DSLAM丢包率不合格数丢包合格率（%）2010年7月77264512783.55%2010年8月77257819474.84%2010年9月7726918189.53%2010年10月7717145792.62%7月-10月平均值77265711585.13%丢包合格率（%）83.55%74.84%89.53%92.62%0.00%10.00%20.00%30.00%40.00%50.00%60.00%70.00%80.00%90.00%100.00%2010年7月2010年8月2010年9月2010年10月综合上述两点，我们选定课题为“降低互联网DSLAM丢包率”。二、选题理由三、确定目标根据铁通江西分公司下达的网运考核指标，我们小组确定本次QC活动的目标值为：互联网DSLAM丢包合格率≥96%。85.13%96%75.00%80.00%85.00%90.00%95.00%100.00%现状目标四、可行性分析1、7月份通过互联网综合网管（已监控的772套DSLAM设备），导出DSLAM设备丢包率不达标的设备有127套，是在部分规定时间内统计到的核心路由器（NC-SGR1/NC-SGR2）至这些DSLAM设备ping包存在全部或部分丢弃现象，为了查清症结，对此其形成的原因进行了分类统计。四、可行性分析序号丢包原因频数（套）累计频数（套）累计频率1DSLAM上行链路拥塞373729.13%2停机要点施工作业215845.67%3DSLAM主控板故障106853.54%4城域网链路拥塞107861.42%5DSLAM级联98768.50%6DSLAM上行端口协商模式错误59272.44%7机房停电59776.38%8城域网光缆中断故障510280.31%9汇聚层交换机故障310582.68%10DSLAM主控板软件版本低310885.04%11光猫故障311187.40%12DSLAM管理地址丢失111288.19%13城域网光纤衰耗大111388.98%14其它14127100.00%合计127127100.00%四、可行性分析211010955514113333729.13%45.67%53.54%61.42%68.50%72.44%76.38%80.31%82.68%85.04%87.40%88.19%88.98%100.00%050100150DSLAM上行链路拥塞停机施工主控板故障城域网链路拥塞DSLAM级联市电停电城域网光缆中断上行端口协商模式错误汇聚层交换机故障DSLAM主控板软件版本低光猫故障DSLAM管理地址丢失光缆衰耗大其它0.00%20.00%40.00%60.00%80.00%100.00%120.00%四、可行性分析结论：DSLAM上行链路拥塞、停机要点施工作业、DSLAM主控板故障、城域网链路拥塞、DSLAM级联、DSLAM上行端口协商模式错误、机房停电和城域网光缆中断故障占了总数的80.31%,是症结。2、造成互联网DSLAM丢包率不达标的症结(DSLAM上行链路带宽不足、停机要点施工作业、DSLAM主控板故障、城域网链路拥塞、DSLAM级联、DSLAM上行端口协商模式错误、机房停电和城域网光缆中断故障)占DSLAM丢包率不达标设备总数的80.31%，我们四、可行性分析QC小组须重点解决这些问题，再同步处理汇聚层交换机、光猫故障、DSLAM主控板软件版本低等其他方面问题，达到目标是完全可能的。3、根据表一的统计，我们在2010年10月，DSLAM丢包合格率为92.62%，这比较接近我们的目标值，增强了信心，再加上小组成员的共同努力，达到目标是完全可能的。五、原因分析小组成员集思广议，大家齐心合力，找出DSLAM设备丢包率不达标的各类原因，列出以下系统图：人故障处理不及时告警发现不及时值班人员专业技能差责任心不强考核制度不完善无奖罚细则机无维护考核指标设备参数配置不合理上行端口协商模式错误设备、线路性能下降设备、线路老化未按规定进行设备、线路保养设备、光缆近寿命终结期主控板软件版本低设备软件不合理机专业技能培训未达标管理地址丢失DSLAM设备丢包率不达标机光猫可靠性低光猫故障料设备机架接地不良雷雨天电路板坏上行链路带宽拥塞环市电停电设备受雷击防雷设施不健全机房应急供电不及时测法上行电路传送方式不理想传输设备传送能力不足DSLAM级联设备上行电路无保护DSLAM组网不合理停机施工综合网管功能不健全施工时间与PING包测试冲突监控手段不完善丢包监测手段、处理方法不完善监测手段和处理方法不全面DSLAM设备丢包率不达标接上图五、原因分析从系统图上可看出，造成电路不稳定的末端因素由15个，（1）无奖罚细则、（2）专业技能培训未达标、（3）无维护考核指标、（4）设备、光缆近寿命终结、（5）设备参数配置不合理、（6）设备软件不合理、（7）上行链路带宽拥塞、（8）光猫可靠性低、（9）设备机架接地不良、（10）防雷设施不健全、（11）、应急供电不及时、（12）、设备上行电路无保护路（13）、DSLAM组网不合理、（14）、综合网管功能不健全（15）、丢包监测手段和处理方法不全。六、要因再确认为了确定要因，我们对15项末端因素进行验证分析，见《要因验证表》。序号末端原因确认方法确认内容确认标准确认情况完成时间责任人是否要因1无奖罚细则现场核对检查考核制度是否规定了奖罚细则《网支中心考核细则》列明具体的奖罚条款网支中心已经制定出考核细则，列明具体的奖罚条款，在2010年1月开始执行8月6日刘建华否2专业技能培训未达标查看记录网管值班人员的技术水平是否能胜任培训合格1、网管值班人员是全省竞聘考试，选拔上来的专业能手，进入网管后专业知识和网管操作技能培训、考核，考试成绩85分以上。8月12日刘建华否持证上岗2、持有《全国通信机务员》证书和助理工程师以上技术职称3无维护考核指标现场核对维护制度是否规定了考核指标《网支中心考核细则》列明具体的奖罚条款网支中心已经制定出考核细则，列明具体的奖罚条款，在2010年1月开始执行8月6日刘建华否4设备、光缆近寿命终结调查分析设备、光缆是否超过使用寿命1、设备运行年限≤10查看设备履历簿及设备、线路固资卡片，发现设备运行性能值正常，使用时间最长的设备7年、光缆使用年最长的线路12年9月12日黄勤否2、光缆运行年限≤20序号末端原因确认方法确认内容确认标准确认情况完成时间责任人是否要因5设备参数配置不合理远程检查设备参数配置是否最佳1、协商模式原则上要求配置强制百兆/千兆全双工。1、网支中心已经对不合格DSLAM进行了配置上的检查，发现了少部分设备配置模式不对，经过修改后，丢包现象消失。8月20日万涛是2、管理地址配置修改后应及时用save保存。2、对于管理地址丢失的问题，网支中心已经要求各市公司配置修改后要及时保存。6设备软件不合理远程检查软件版本是否运行稳定1、华为MA5100版本统一VersionB10D051。1、通过逐步的摸索，网支中心发现DSLAM设备的版本也会影响到丢包，因此网支中心联系华为和中兴公司对管内的DSLAM设备统一进行了升级。9月20日万涛否2、中兴9210版本统一V5.0.0F7上行链路带宽拥塞现场验证链路带宽是否超过90%链路带宽不能超过90%1、通过对DSLAM上行链路的定期监测，发现当上行链路峰值带宽利用率超过90%时，就会发生不规则的丢包现象，因此我们建立了日常巡视制度，当利用率达到80%时就要开始申请链路扩容。9月30日万伟是8光猫可靠性低调查分析检查各厂家光猫的技术指标各项技术指标是否符合行业入网标准核查各厂家光猫的技术指标，均符合行业标准8月15日黄勤否序号末端原因确认方法确认内容确认标准确认情况完成时间责任人是否要因9设备机架接地不良现场检查检查设备机架的接地情况设备机架的保护地和防雷接地按公司工程要求进行安装设备机架接地均已安装，接线牢固9月10日杨良科、万伟、朱晨辉否10防雷设施不健全现场检查检查防雷设施所有机房都要按照防雷设施检查了所有机房，均有防雷设施。9月10日杨良科、万伟、朱晨辉否11应急供电不及时现场验证始于市电停用至现场应急油机供电的时长验证交流停电应急预案的有效性每年组织郊县、市内无人机房交流停电方面的应急演练，并现场验证预案的有效性，演练结果在全省通报，所有演练项目均是在规定时间完成停电机房的应急供电，未出现机房中断情况。9月30日万涛否12设备上行电路无保护调查分析调查DSLAM设备所在局点的设备组网情况DSLAM设备属于接入层，汇聚层设备上行链路要求有保护路由1、查看7月份DSLAM中断故障记录，发现因上行电路中断引起的故障有8件，占当月故障DSLAM设备比率仅为6.3%。8月25日黄勤否2、调查发现全省汇聚层的交换机或BAS设备上行链路均有双链路。序号末端原因确认方法确认内容确认标准确认情况完成时间责任人是否要因13DSLAM组网不合理现场检查对DSLAM组网情况进行检查按照公司管理要求，不应该存在DSLAM级联现象网支中心通过地市巡检交流的方式，对各地市的DSLAM组网情况进行了检查，发现了4个地市存在少量DSLAM级联情况，网支已经立即通知市公司整治解决了。9月30日杨良科是14综合网管功能不健全网管核对当DSLAM丢包率为100%是否立即发出声光告警DSLAM丢包率达到100%时应该立即发出声光告警在进行综合网管功能核对时，发现当DSLAM丢包率达到100%时不会出现告警，因此网支中心改为使用华为专业网管对此故障进行监控9月25日万涛是15丢包监测手段和处理方法不全现场调查地市维护人员是否掌握DSLAM丢包监测手段和降低设备丢包率处理方法按照省公司下发的《三率报表不达标数据排查整治指导意见》进行处理网支中心通过地市巡检的方式，按照《三率报表不达标数据排查整治指导意见》，对地市进行培训。8月6日万涛是六、要因再确认造成互联网DSLAM丢包率高的5个主要原因：1、设备参数配置不合理2、上行链路带宽拥塞3、DSLAM组网不合理4、综合网管功能不健全5、丢包监测手段和处理方法不全七、制定对策我们针对确认的主要原因，制定对策表：序号要因对策目标值措施地点完成时间责任人1设备参数配置不合理对不合格的DSLAM设备配置进行检查按照规范应该设置为百兆/千兆全双工检查DSLAM设备上行链路的接口协商参数的配置，如果配置为半双工，则进行修改。南昌8月30日万涛序号要因对策目标值措施地点完成时间责任人2上行链路带宽拥塞对每日公布的不合格DSLAM设备检查其上行链路利用率上行链路带宽利用率不超过80%检查BAS接入端口流量情况，判断是否存在接入链路带宽利用率过高的问题，一旦出现立即进行扩容。南昌9月30日万伟3DSLAM组网不合理检查是否存在级联情况禁止DSLAM级联一旦发现DSLAM级联，则立即通知市公司进行网络改造，增加汇聚交换机南昌9月30日杨良科4综合网管功能不健全联系综合网管厂家解决要求网管能够监控到DSLAM中断并立即告警网支中心已经联系了综合网管厂家，对于丢包100%的DSLAM设备，必须立即发出声光告警。南昌9月25日万涛5丢包监测手段和处理方法不全网支中心撰写《三率报表不达标数据排查整治指导意见》按照《三率报表不达标数据排查整治指导意见》的要求进行处理为了便于地市规范的整治不合格DSLAM设备，网支中心撰写了《三率报表不达标数据排查整治指导意见》，并对地市