QC小组活动成果材料发布规范

附件5第X届（20XX年）中国电信西安分公司“QC小组活动成果”报告书成果名称：申报企业（全称）：报送时间：______年_____月_____日题目：降低西安电信DCN网安全故障率一、小组概况小组成立时间、本课题活动时间、注册时间、注册编号——人员结构及文化技术素质结构、组内分工——本课题类型——本课题小组集体活动总时数、出勤率——小组成员简介二、选题理由DCN是英文DataCommunicationNetwork的缩写，中文意思为数据通信网络。中国电信股份有限公司的DCN网是一张运营商级的用于承载企业经营生产的全国性骨干网络。作为电信业务、营业、计费、网管数据、多媒体通信等系统的传输通道和通信平台，其范围覆盖全国所有省、直辖市和自治区，共计32个主干节点。它具有分布式网络计算环境和多级分布式数据仓库，可实现网络监控、管理、维护以及决策的信息化与自动化。西安市电信分公司的DCN网络是省级DCN网的重要组成部分。其前身是始建于1997年九七网络，自2001年至2010十年间，为契合公司转型机遇，西安电信分公司DCN网先后经历了两期大规模的改扩建工程和一次优化工程，逐步被打造成为一张精品DCN网络。如今已达到承载可路由网络设备60余台，监控机群、服务器机群、业务机群共计3000余台的网络规模，是西安市电信分公司生产运营、业务受理、计费、信息化管理的综合网络平台，覆盖连接全市及各城郊区县所有生产用机。DCN网络的重要性不言而喻，可以毫不夸张的将之形容为企业的“中枢神经系统”。它不但保证了企业生产活动的完整性、统一性而且在协调、平衡对外经营的过程中起着主导作用。然而十年间，在西安电信DCN网随着成本投资不断追加，网络规模、设备层级不断提升的同时，DCN信息系统的安全问题却一直如影随形，更有愈演愈烈的趋势，比如，据西安电信企化部网络班的《值班日志》和《维护月报》的统计，局域网病毒造成的网络瘫缓故障平均占比达到全年故障接报的51%。这不仅频繁妨碍正常的生产经营活动、严重减低劳动生产效率，还极大地挫伤了广大基层员工的生产积极性，尤其是网络病毒造成的营业厅网络瘫痪故障更是对公司形象产生了负面的社会影响。如何提升DCN网络信息系统的安全水平，已成为我们日常工作生产（服务）中的薄弱环节和需要迫切解决的问题。作为长期负责西安市电信分公司DCN网络建设和维护的专业人员，我们有责任有义务在此问题上献计献策，并采取切实有效地行动。本次QC活动，正值北信源安全系统正式上线之际，所以我们决定选取《降低西安电信DCN网安全故障率》为题，沉下心来，从DCN网的基础生产和基础管理入手，力求从难点，重点和关键问题上寻求突破DCN信息系统安全困境的方法。三、现状调查为彻底搞清我公司DCN网络安全问题频发的真正原因，掌握第一手材料，我们QC小组于2010年9至11月间，采用各种调查手段，针对DCN信息系统安全现状进行了大量的调查取证工作，并多次召开小组会议讨论分析主要问题。这期间，具体进行的调查活动有：第一次调查：历史统计资料调查：调查方法：资料查阅：调查时间：9月上旬，调查的内容和目的：活动小组查阅历年《DCN维护日志》和《IT维护故障日登记表》（电子版），对涉及DCN网瘫网慢等网络安全故障的产生原因仔细进行了归类总结；调查结果：一、47%的故障现象和局域网环路、病毒有关；二、20%的故障是由设备自然老化（如光收发器，网桥）三、17%的故障是由设备异常掉电引起；四、10%的故障是人为误操作造成的，比如用户的错误使用（如：误占用网关）；五、4%是线路问题(网线、光纤质量下降或施工损毁造成的障碍)六、其他原因：3%（如网络割接，升级改造）结果分析：合并第一、四项，发现有57%的网络故障与各汇聚局域网恶劣的网络安全环境有关；第二次调查：安全产品使用情况调查：调查方法：服务器控制台信息读取；调查时间：9月上旬；调查的内容和目的：对DCN网现有网络终端安全产品：“北信源桌面安全管理平台及补丁分发系统”(试用版，以下简称VRVEDP)和“Symantec防病毒系统”的部署使用情况进行调查；调查结果：图：（厂家提供，协商中）图：（厂家提供）结果分析：注册使用安全产品的单位、用户呈逐月下降趋势；综合部署情况已经不足20%；这说明80%以上的生产计算机存在网络安全产品（主要是打补丁软件和查杀病毒软件）的严重缺失和错误使用问题。第三次调查：现场调查调查方法：暗访、抽查调查时间：9月中旬至9月底；使用工具：抓包工具；调查的内容和目的：暗访钟楼局，小寨局，电子城局调查DCN网络违规外联情况，并对小寨和周至局进行局域网抓包分析网络异常数据流量；调查结果：1）DCN违规外联现象普遍，手段多样：DCN网俗名叫内网，是因其作为生产网，原则上必须和其他网络，尤其是互联网实现完整的物理隔离，故而至今全省DCN网络只在省公司建设了一个公网出口，并有专人维护；然而通过暗访发现，各大汇接局DCN网络违规外联现象十分普遍，而且是八仙过海各显神通：（1）小寨营维中心利用营业厅公免ADSL资源，私自在DCN网络上搭建公网出口，造成极大安全隐患。（已处理）（2）电子城接入维护中心使用外省DCN网络的公网代理出口上互联网；代理地址为：133.83.9.100，端口8080；（3）钟楼局工单调度岗97生产用机普遍安装双网卡，有员工甚至认为双网卡是内网计算机的标配产品。2）抓包信息暴露局域网病毒隐患：图：工具：vrvsiniffer抓包现象：445端口攻击；地点：小寨局图：工具：华为3640路由器aspf抓包现象：UDP半连接；地点：周至局结果分析：通过暗访和捕获生产局域网中的报文信息我们可以发现，生产用机的违规外联的现象相当普遍，而且手段不断翻新。如果结合第二项的“安全产品使用情况”的调查结果，不难看出，DCN网中有为数不少的生产用机时常裸奔于病毒泛滥的互联网，并在网络切换的过程中，将各种病毒带回内网生产环境，以至局域网病毒日益猖獗泛滥。加之汇接局域网网络安全监管维护人员缺失，我公司局域网信息系统安全形式十分严峻！下图是用360安全卫士软件对小寨营业厅某核心生产用机扫描后的得分评价：图：第四次调查：对各部门单位组织架构、网络安全责任人员的现状调查：调查方法：访问方式、问卷调查；调查时间：10月上旬至中旬；调查的内容和目的：本次调查，召集了DCN网络所承载的各个兄弟部门单位的网络安全员，着重调研如何在现行公司架构下组织人员开展网络安全工作的相关问题，摸清各兄弟部门的组织架构和网络结构。并采用调查问卷的方式，倾听诸位一线安全员对网络安全相关工作的见解和心声。结果分析：在安全管理上，各个部门单位松紧程度不一，人员组织松散，水平参差不齐，而且存在人员配比失衡的问题。具体来说：1、管理最为严格，并且执行最好的部门是营业部，其次是各系统监控部门，而营维中心就相对忽视网络安全，违规也最为严重；2、各个部门单位的维护人员常常是随意指派，技术部门尚可，经营部门的安全员水平往往太过业余，也没有一个专门的组织作为交流成长的平台；3、各汇接局存在严重的安全人员配比失衡问题。一个典型的汇接局，是由三个部门组成，分别是：隶属于营业部的营业厅，区营维中心和接入维护站（有的地方还有客户支撑中心）。然而由于历史原因，在一个汇接局内，往往只有一名（多为接入维护站选举）网络安全员负责整个汇接局的局域网相关工作，并与企化部终端班的对口维护人员进行工作联系。而事实上，市企化部的对口人往往需要负责两个以上的汇接局相关工作，如果加上各下属模块局，平均一个汇接局的局域网维护人员还不足1.5人，并需要维护三至四个单位的相关网络安全工作，这显然不现实。第五次调查：调整网络结构，部署安全产品，加强网络安全管理的可行性调查，以及征求服务对象的意见与建议调查方法：访问方式；调查时间：10月下旬；调查的内容和目的：本次调研主要是为解决现有问题而采取的一系列对策进行可行性调查。具体包括：1、在终端班调研汇接局网络改造，即从97业务网内分离出营业厅的物理线路可行性，2、以电子城营维中心、小寨营业厅、长安区分公司为代表，调研VRVEDP在营维中心、营业厅、郊县分公司按组织架构进行部署的可行性，并了解服务对象的需求和使用习惯；3、调研网络监控中心及各生产机群的网络安全需求；调查结果：基本符合预期，为对策应用提供了客观可信的可行性分析。结论：市DCN网络现存的主要矛盾，是十年间应用服务系统、数据库服务系统快速增长，与业务保障系统一直发展建设缓慢之间的矛盾。建设发展缓慢主要表现在两个方面：一是安全保障系统不完备，且现有系统适用性差，利用率低下；二是安全保障队伍建设不力，制度、管理缺失；造成发展缓慢的根本原因是我们从思想上对网络安全工作的重视程度不足。四、目标确定针对目前的网络现状，经QC小组开会讨论，决定从系统工具使用，人员队伍建设两方面入手，改善DCN信息系统安全中存在的主要问题。并根据系统工具历史使用的最好水平和借鉴数据等兄弟部门的管理经验，设定活动目标如下：目标：1、将网管软件VRVEDP的注册率提升并保持在70%以上；2、组建一支由20多人组成的DCN网络安全“虚拟团队”；五、原因分析因果图关联图：树图：主要阐明：1、技防系统相关：为什么网管系统注册率低；2、人防体系相关：为什么安全员对网络安全管理工作的积极性不高；六、确定主因结合原因分析图，确定要因如下：1、技防手段注册率低是因为技防拓扑不适应现行组织架构；2、人防队伍建设难的核心问题是人员面对维护压力时无管理手段，无组织归属，无绩效奖励的“三无”囧境。七、制定对策根据上述确定的两点主要原因，我们认为不仅要选择功能强大，适用性高的网管系统，更关键的是还要有人用好，用巧这些系统。也只有走人防、技防相辅相成的路子，才能真正解决当前网络安全中的困境，才能真正从思想上扭转我们对网络安全工作的认识。于是我们针对这两方面，分别制定了如下对策，并注意各个对策之间的互动。首先，应对VRVEDP系统的区域划分方式和终端注册逻辑作了全局性调整。之前VRVEDP项目部署目的是用于测试，于是采用了基于业务系统的快速注册部署方式，而在实践应用的三年间，积累了大量的应用难题，极大的削减了软件使用效率和员工使用热情。针对这一问题，QC小组开会决定：将过去基于业务的划分方式调整为基于实际生产组织架构的新方法。为保证新划分方式的适用性，结合QC小组事先做了充分的调研和试点工作，摸索出一套高效、灵活的组织管理方法。其次，人员及使用管理方面：在新的区域组织模式下，结合网络安全虚拟团队的管理思路，拟采用全面开放平台的管理方式，具体说来，各网管人员作为下级管理员，可结合各个生产组织部门的固有特点，自主制定策略和统计相关区域数据，企业信息化部则主要负责策略审计和服务器维护工作，从而让企业信息化部真正回归IT工具提供者的服务角色。具体措施：1、技防系统方面：因VRVEDP项目已经正式采购，为有效保护公司投资，切实用好系统网管软件，QC小组决定发扬“不畏艰苦，连续作战”的精神，全面废止现有数据，在深入分析，充分调研的基础上，重新设计搭建新的部署注册逻辑，我们连续奋战一周，定义二级目录21个，三级目录340余个，重新整理划分DCN网段880余段，手工录入网络信息1200余条。新的区域树形结构，不但从跟本上解决了旧系统遗留的客户端用户注册难，管理员职责不清，注册数据混乱，软件升级障碍等一系列长期困扰软件使用效率的老大难问题，而且为实现按生产部门实行差异化管理，差异化策略下发，差异化功能开发，以及DCN网络IP地址资源统计，终端硬件资料统计做出了基础性的贡献。除此之外，我们还应仔细考虑了如下两个问题，并研究做出了应对方案：1）注册部署方针：根据测试期经验，注册点位时应注意如下问题，见部署分析图：部署分析图：区域缓急程度参与人员预期效果特点网监中心急厂家、网监优，短期专业人员维护，部署快速营维中心急厂家、硬件班、网络班、区局维护人员优，中期可以试点电子城局为示范，辐射带动郊县分公司急维护人员良，中期前期以长安为试点，可以辐射带动监控集群急维护人员差，长期对无人职守的