IVVR湖北联通应急方案

第1页共26页中国联通IVVR平台应急方案手册当前版本：v1.0修改日期：2020-01-10文档状态：初稿作者：李莉文档信息文档名称中国联通IVVR错误!未找到引用源。应急方案手册第2页共26页作者类别编号文件名称中国联通IVVR错误!未找到引用源。应急方案手册_V1.0_CN.doc文件说明修订历史版本日期章节类型作者摘要1.02010-3-16李莉Firstversion第3页共26页目录文档信息...........................................................................................................................................1一、前言.......................................................................................................................................4二、应急方案启动条件...............................................................................................................4三、应急方案...............................................................................................................................6（一）IVVR系统应急原则............................................................................................6（二）系统内部应急方案...............................................................................................6四、IVVR网络现状..................................................................................................................18（一）网络的拓扑结构.................................................................................................18（二）湖北现场机架信息.............................................................................................20五、破坏原因及破坏结果分析.................................................................................................20六、预防保障措施.....................................................................................................................22七、应急措施.............................................................................................................................23八、应急资源配备.....................................................................................................................24九、相关人员联系表.................................................................................................................25十、附件：设备故障处理方法.................................................................................................25（一）服务器故障处理方法：.....................................................................................25第4页共26页一、前言随着移动通信网络规模的扩大，用户日趋增多，网络安全已提高到一个极为重要的地位。网络出现任何问题都将会直接影响到用户的使用，进而影响到中国联通的信誉。为向一流移动通信企业迈进，更好地做好联通通信应急保障工作，提高网络应急处理能力，增强企业核心竞争力，保证网络稳定高效的运行及在出现重大故障时能有一套行之有效的应急措施，把损失最小化，特制定本方案。本册将以本地网为单位，从IVVR系统结构的安全冗余保证、应急情况处理等几个方面分别不展开阐述，目的是要可操作性强、能对网络应急情况和故障处理起直接指导作用。二、应急方案启动条件IVVR应急通讯保障方案，是针对IVVR设备在运行过程中或者操作过程中可能出现的紧急问题，如业务中断或系统性能严重下降等而制定的操作指导，其目的是缩短系统中断时间，降低业务损失。为了将紧急情况下的设备故障与日常维护中出现的设备故障相区分，将IVVR业务的紧急情况界定如下：（1）按照对业务的影响界定：大面积用户不能使用IVVR业务。（2）按照设备原因界定：关键模块故障导致IVVR无法正常提供服务，主要包括：IPS800；视频点播；视频直播；视频下载；视频信箱；在出现紧急情况后，采用相应的应急措施。从发生业务故障起在30分钟内无法修复时，则应该启动应急方案。具体流程如下：第5页共26页开始检查业务是否正常检查数据库服务器是否正常结束检查业务节点是否正常是否成功恢复检查网络设备是否正常检查四层交换机是否正常是否成功恢复检查防火墙是否正常检查外部连接是否正常是否成功恢复是否成功恢复是否成功恢复是否成功恢复是申请进行割接是是是是是是是是是否否否否否否业务是否恢复正常是是是是否否否否否否否否第6页共26页三、应急方案（一）IVVR系统应急原则目前IVVR采用全冗余设计，防火墙、交换机、核心数据库主机均采用双机热备设计，单台设备故障基本不会造成系统业务中断，必要时可以进行冗余设备应急倒换；（二）系统内部应急方案1.检查业务是否正常当维护人员接到故障信息后，首先应进行业务是否正常的检查，以判断故障影响范围，可以通过以下方法检查：进行业务测试,拨打116920是否可以正常显示主菜单；任意选择菜单是否可以进入下一级子菜单；2．做好系统的备份与恢复通过ufsdump命令进行文件系统的导出对于IVVR系统中的双机smp1/smp2,am1/am2来说，做系统根目录备份需逐一停机进入单用户模式下进行，其他机器各文件系统均可在线进行备份。下面以备份/目录至/smp/tmp下的FS_var文件为例说明ufsdump的用法：root#nohupufsdump0uf/osp/tmp/FS_var/&注意，系统全文件备份需ASB现场工程师及teamsun工程师共同在场时进行。将备份服务器上的备份文件转移到磁带机上备份数据到测试服务器的磁带上a)将磁带插入驱动器中，左边槽位为/dev/rmt/1n，右边槽位为/dev/rmt/0n。b)检查磁带状态root#mt–f/dev/rmt/1nstatusc）将磁带倒回至起始点root#mt–f/dev/rmt/1nrewindd)将磁带倒至起始点并弹出root#mt–f/dev/rmt/1nofflinee）将mcp上的备份文件压入磁带中root#nohuptarcEvf/dev/rmt/0n/smp1/tmp&f)察看磁带机上的内容tartvf/dev/rmt/1n第7页共26页恢复侧带（将磁带插入驱动器）bmcp1#mtrewindbmcp1#ufsrestoretvf/dev/rmt/0n看到第一个文件后，重复此命令可按顺序恢复。恢复文件到目录bpsmf1#cd/osp/ralf1bpsmf1#mtrewindbpsmf1#ufsrestorerf/dev/rmt/0n(恢复第一个文件)bpsmf1#ufsrestorerf/dev/rmt/0n(恢复第二个文件)……3．数据库服务器故障应急维护（1）首先尝试是否可以正常登陆数据库服务，如果无法正常登陆，尝试网络设备是否可以PING通，如果可以PING通网络设备则判断为数据库故障，若无法PING通网络设备则怀疑为设备掉电造成，应立即派专人去现场处理。（2）检查数据库双机进程是否正常，方法如下：[root@smp1~]#ndb_mgm-eshowConnectedtoManagementServerat:192.168.102.19:1186ClusterConfiguration---------------------[ndbd(NDB)]2node(s)id=3@192.168.102.19(mysql-5.1.30ndb-6.3.20,Nodegroup:0)id=4@192.168.102.29(mysql-5.1.30ndb-6.3.20,Nodegroup:0,Master)[ndb_mgmd(MGM)]2node(s)id=1@192.168.102.19(mysql-5.1.30ndb-6.3.20)id=2@192.168.102.29(mysql-5.1.30ndb-6.3.20)[mysqld(API)]4node(s)id=5@192.168.102.29(mysql-5.1.30ndb-6.3.20)id=6@192.168.102.19(mysql-5.1.30ndb-6.3.20)id=7(notconnected,acceptingconnectfromanyhost)id=8(notconnected,acceptingconnectfromanyhost)第8页共26页能看到两个mysqld的API，其他节点也连接正常表示双机运行正常。如果双机状态异常，应及时联系厂家工程师。（3）mysql安装后启动异常故障分析：mysql安装后观察ndb各节点状态异常解决：请严格安装数据配置的流程在相关配置配置好以后再启动mysql数据库，另外启动的时候请保证ndbd和ndb_mgmd没有启动，也就是说先启动的是mysql在保证mysql数据库正常启动的情况才能去启动其他节点。（4）mysql节点连接超时异常故障分析：Fileaccess模块报错mysqlconnectiontimeout，这个异常的主要原因是mysql的timeout设置过短，默认是28800秒，如果长时间没有访问数据库，超过该时间范围再去连接就会报mysql的连接超时的异常。解决：修改my.cnf文件配置,interactive_timeout=28800000可以通过命令来观察mysql的时长的配置。（5）FileAccess连接数据库报错首先先检查数据库root用户的密码是否是mysql，检查方法如下：root用户登陆linux输入命令：mysql–uroot–pmysql回车后如果能看到下面画面说明密码为mysql如果