中国联通浙江网络公司运维部业务平台-内容管理系统应急处理方案

中国联通浙江网络公司运维部业务平台-内容管理系统应急处理预案中国联通浙江网络公司运维部二○一二年五月业务平台内容管理系统应急处理预案浙江网络公司运维部2颁布通告《中国联通浙江网络公司运维部业务平台－内容管理平台的应急处理预案》（试行版）经浙江网络公司运维部审议通过，现予以颁布，自2012年5月1日起生效。运维部所辖业务平台维护中心应按本预案要求，认真做好中心所辖内容管理设备的应急处理工作。签名：2012年5月1日业务平台内容管理系统应急处理预案浙江网络公司运维部3目录一设备信息..................................................................................41.1设备基本信息..............................................................................41.1.1设备位置：.........................................................................41.1.2硬件配置:...........................................................................41.1.3各设备对应IP地址:.........................................................51.2网络拓扑图.................................................................................61.3承载业务信息...............................................................................61.4备品备件信息..............................................................................61.5维护条件......................................................................................71.6业务流程......................................................................................71.6.1内容入库..........................................................................71.6.2内容同步..........................................................................71.6.2流媒体播放......................................................................7二系统设备故障处理原则.............................................................72.1不同紧急程度下的设备故障处理原则......................................72.2系统/设备宕机的处理原则：....................................................8三设备故障排除的具体步骤及操作指令........................................83.1系统和网络的超负荷情况的处理指令：..................................83.1.1应急处理流程:..................................................................83.1.2故障处理方案...................................................................103.2系统宕机的处理指令：.............................................................21业务平台内容管理系统应急处理预案浙江网络公司运维部4一设备信息1.1设备基本信息1.1.1设备位置：滨江2号楼7楼1.1.2硬件配置:设备数量硬件配置数据库服务器2SUNT51403.16GB4G/146G内容管理服务器2ATAE单板双核2.13GHz*28g内存/146G硬盘*2(RAID1)审计服务器5ATAE单板双核2.13GHz*28g内存/146G硬盘*2(RAID1)网管服务器1ATAE单板双核2.13GHz*28g内存/146G硬盘*2(RAID1)报表服务器1ATAE单板双核2.13GHz*28g内存/146G硬盘*2(RAID1)测试服务器1ATAE单板双核2.13GHz*28g内存/146G硬盘*2(RAID1)收录服务器1研华工控PIVP42.8G/1G/80G显示器2交换机4S6502防火墙2Eudemon300NAS存储1SUNT7410(双机头)磁盘阵列柜1SUNSE6140业务平台内容管理系统应急处理预案浙江网络公司运维部51.1.3各设备对应IP地址:IP地址设备10.103.137.218数据库服务器（主）10.103.137.215数据库服务器（备）10.103.137.23内容管理服务器（主）10.103.137.24内容管理服务器（备）10.103.137.26审计服务器10.103.137.27审计服务器(控制台)10.103.137.28审计服务器10.103.137.29审计服务器10.103.137.30审计服务器10.103.137.31网管、报表客户端10.103.137.33I2000网管服务器10.103.137.35报表服务器10.103.137.37测试服务器其中数据库服务器、CMS系统为主备用，5套审计为负荷分担。1.1.4设备厂家：华为技术有限公司业务平台内容管理系统应急处理预案浙江网络公司运维部61.2网络拓扑图1.3承载业务信息业务承载设备名称承载业务：全省内容管理用户及CP用户业务重要程度：重要业务/用户容量配置112万/300万业务分担/分布见表1.4备品备件信息本系统没有备品备件业务平台内容管理系统应急处理预案浙江网络公司运维部71.5维护条件内容管理系统平台可通过网络交换机本地接入以及通过网络交换机远程接入实现对设备的日常维护工作。1.6业务流程1.6.1内容入库CP通过公网映射的21端口登陆CMS系统的FTP服务，将内容上传到相应的CP目录下。CMS系统每隔5分钟执行一次扫描任务，将内容录入CMS。CP目录对应NAS存储上对应目录。1.6.2内容同步内容录入CMS后，CMS会触发IF1A接口，将内容通过SOAP接口同步给流媒体及手机电视门户。上述系统接到同步消息后会以IF1B回应答消息。之后入库成功后回IF11A/B/E通知。1.6.2流媒体播放流媒体通过nfs服务挂载NAS设备，访问内容实体文件。二系统设备故障处理原则2.1不同紧急程度下的设备故障处理原则通信故障管理的关键在于事前控制。遵循日常预防维护为主，应急故障处理为辅的管理原则，通过建立故障预警机制，对各种可能引起故障的因素做到“早业务平台内容管理系统应急处理预案浙江网络公司运维部8发现、早处理、早上报”。通信故障的预警管理是指针对维护工作中发现的网络故障征兆和网络隐患，采取措施避免引发网络故障。相关故障征兆和网络隐患的具体分类、管理要求，参照省公司运行维护部编制的《中国联通浙江分公司网络运行维护安全管理办法及实施细则》。2.2系统/设备宕机的处理原则：通信故障遵循“先疏通，后排障；先抢通、后处理”的基本原则。首先判明故障区段、部位，尽快按设备、电路重要程度，“先省际、再省内、后本地”，在优先级较高的重要系统、电路阻断而又无备用、迂回路由可倒换的情况下，可以中断优先级较低的系统、电路，优先抢通优先级较高的重要系统、电路。处理故障遵循“先局内，后局外；先本端，后对端”的原则，当故障情况涉及多个分公司时，按“故障所在局负责”的原则操作。1.系统出现停电后恢复，设备需要重启时，需首先开启数据库服务器,再开启其他设备。2.其他服务器出现宕机1)启动该服务器,开启相应程序2)设备出现硬件问题启动不了,开启备机。三设备故障排除的具体步骤及操作指令3.1系统和网络的超负荷情况的处理指令：3.1.1应急处理流程:故障来源：1、网管发现2、故障申告首席维护员通知中心领导和协助维护员，协作维护员通知网监中心发布故障信息，中心领导向上级领导汇报情况业务平台内容管理系统应急处理预案浙江网络公司运维部9NOYESYESNOYES本系统故障其它反馈所有柜内设备电力工作正常常？首席维护员到设备现场查看设备状态，并将设备下电，同时通知动力中心和厂家人员到场通知动力抢修人员现场抢修厂家和首席维护员进行现场处理确认设备恢复正常，同时通知中心领导和网监中心、客服部业务恢复外部电源接入正常？系统部分功能无法实现判断故障提交CP、流媒体、手机电视等部门处理业务平台内容管理系统应急处理预案浙江网络公司运维部103.1.2故障处理方案1.CP录入问题1）上传到CMSFTP上的文件不自动录入CMS系统，xml文件也不自动删除首先确认xml的上传目录为当前日期的前一天，例如上传日期为20091202，则上传到20091201目录下，CMS系统每5分钟启动一次内容导入进程。目前发现CMS导入内容出错多次后，内容导入进程会吊死。请按照以下步骤检查进程是否正常。使用sysadmin用户登录CMS系统，点击左侧导航栏中的“定时任务管理”进入如下图的查询界面，点击“节点号”右侧的“选择”按钮将会弹出一个新窗口，点击下方的确定即可回到之前的查询页面，点击“查询”按钮业务平台内容管理系统应急处理预案浙江网络公司运维部11检查contentImportTask任务的状态是否为“就绪”或“执行”，如果显示“失败”，则需要手动点击右侧操作栏中的“执行”按钮启动任务。注意启动后，需要检查“开始时间”，“开始时间”即下一次执行导入任务的时间，如果“开始时间”为第二天，则请联系华为工程师处理。2）上传到CMSFTP上的文件不录入CMS系统，xml文件也不被删除，已按照上述步骤检查contentImportTask状态也正常。请按照联通最新规范检查xml格式是否正确，最近发现一个常见问题，xml中的ContentCode项填写有问题，ContentCode的编写规律为CPID+日期(YYYYMMDD)+6位序列编码，注意这个日期应该为上传当天的日期CMS在录入内容时，首先检查库中是否已经有相同的contentcode，如果已经有，则认为是更新内容。但是更新内容的条件是内容处于初始状态，对于已经处于运营状态的内容无效。之后CMS就会不断尝试更新内容并失败，最终导致contentImportTask任务挂死。有2种解决方法，第一种，按照规范将ContentCode填写为上传当天的日期，这样可以避免contentcode重复。第二种，将ContentCode填写为一个固定的虚拟编码。例如“2895888820090101000001”，CMS在导入的时候会自动根据规范给内容重新分配ContentCode，从而避免重复。3）内容录入到CMS系统后，选择子内容并点击“预览”，出现如下图错误业务平台内容管理系统应急处理预案浙江网络公司运维部12找不到要预览的文件。文件丢失的原因有很多：SUN的NAS设备有个BUG，同时连接