宁夏联通核心网分布式采集平台V1.0

联通核心网分布式采集平台（DAP）北京拓明科技有限公司软件研发中心索引•拓明科技•北京拓明科技是一家致力于移动通信网络服务的高科技公司，提供多厂商多技术的网络规划、设计、优化、软件平台开发、培训、咨询、系统集成等全方位服务；•拓明拥有网络规划设计优化、软件开发工程师400多人，技术能力涵盖移动通信2G和3G的所有技术；以领先的服务意识和技术优势及强大的创新能力为企业的核心竞争力，并在优化理念和技术深度上在行业中处于领先地位；•长期专注于用户体验的研究，提供端到端的用户体验质量评估模型与先进工具，与业界领先的用户体验管理厂商如CASABYTE（主动拨测）、POLYSTAR（信令分析）、Telcordia（KQI到KPI映射）结成战略合作伙伴；•紧跟移动运营商网络性能提升和改善客户体验的需求，对客户需求的快速反应，准确理解和实施定制化开发的个性化解决方案，面向全球的运营商、设备厂商、咨询公司、服务公司全方面的交流与合作，如：设计院、研究院、中研博峰等；•从传统的面向网络设备、覆盖小区的优化，转向以手机终端用户为研究对象，关注用户感知的深度优化，智能网优和面向用户感知的优化为公司网络优化的特色优势。•拓明产品线•公司的核心竞争力•移动通信网络优化语音/数据、2G/3G、核心网/无线网、终端/网络/业务平台全线的解决方案。系统平台与专业服务相结合的一站式解决方案•成熟的海量数据处理、多接口信令实时关联、全协议解码、数据发掘、网优智能决策技术，研发实力突出。多年资深的多厂商、多制式、多模式、创新的专业网络优化技术积累，远超业界•强大的系统集成，资源整合，工程建设，项目管理能力和丰富经验，快速响应客户需求，定制开发能力突出。•公司在管理体系、企业文化、市场营销、客户关系、售后服务方面高质高效运行多年，且不断完善。高端网络优化专业服务、咨询、系统集成专家众多、战略合作伙伴业内领先完善的管理体，以人为本的企业文化领先的咨询服务和研发积累网络透视信息安全端到端优化端到端的解决方案结合专业服务优质快速的系统集成，工程实施能力索引•平台简介•DAP（DistributeAcquisitionPlatform），分布式采集平台，是公司重点开发的专业平台之一。它被设计用来为各种信令相关业务的系统产品和应用提供统一的数据共享平台。•通过对ITU标准的深入研究，满足3GPP的Release4、Release5、Release6版本；满足固网信令监测标准。实现电信资源的持续积累和最大复用，以运营商网络保障力度的整体提升为目标。信令采集平台信令监测及优化系统上层应用软件系统（增值业务、第三方接口）Gn\Gi口GTP-UGTP-CIPUDP软交换RANAPBSSAPH.248BICCSIPSS7信令ISUPMapMTP3SCCPIups口GTP-UGTP-CIPUDPGb接口LLCRLCBSSGPNS行业网关Iub口NBAPRRCAbis口RSLDTAP梦网网关彩信网关短信网关系统能够实时采集、处理网络各接口的海量信令数据：•项目背景•2010年中国联通运维工作稳步提升，一方面高速发展3G-WCDMA网络、另一方面致力于提升2G网络的用户感知，更进一步加强了固网用户的保障力度。•竞争对手为了应对联通WCDMA的迅猛发展带来的冲击，在网络的监控-分析-优化的闭环管理上，加强了运维工作的结构化调整和流程的优化；在网络运维保障上，将指导思想提升到了“网络质量是通信企业生命线”的高度。•在此背景下，各电信运营商回归到解决网络质量的根源问题上：通信网络的故障如何准确定位和及时排查？怎样了解各项业务的资源分布和网络负荷？网络的维护和保障工作应该采用什么手段？2G、3G业务分析互联互通业务WAP业务分析彩信业务监控Gb网络透视Gn数据业务分析Mc信令监测七号信令监测•问题分析•系统众多，接口私有，业务无法统一管理和维护：各个厂家信令采集、共享接口私有，业务系统要获取多种信令信息需要连接多个系统，不利于信令信息的统一采集和共享。每套系统都有自己的采集点、采集设备，服务器、数据库设备，对系统管理和维护造成了过多的负担。每套系统都需要提供传输资源用于传输采集数据，增加了传输网络负荷，浪费传输资源。•传统固网问题逐渐突出，用户需求发生巨大变化：设备老化、网络分离，运营商只能利用现有系统提供的功能，不能利用现有系统的资源来进行扩展应用和开展新业务；消费主体由通信转向内容，用户业务需求向多元化发展；传统固网的运营面临巨大竞争压力，如果不及时进行网络转型和业务转型，联通在固网价值链条中很可能沦为管道运营商。小结：面对上述问题，迫切需要在网络运营的根本问题，即网络支撑手段改变，使得移动网和固网的数据充分共享，同时为引导固网和移动网络的融合，促进新业务的开展打下基础。•平台解决方案•面向独立系统和分散的数据，现有支撑手段无法实现信息共享，充分发挥数据的价值。•解决这些问题，需要整合全网信令的数据源，集中管理、按应用需求提取”。•系统软件架构基础数据源采集模块（Mc,C/D,E,L,MSC-SCP,Gb,Gn,Gi,Gr、局间、各网关等多接口信令数据）解码器设计器进程调度PS域数据数据库表说明：底层数据的预处理，包括原始信令的解析，各进程模块的适配。算法器CS域数据控件组海量数据采集（采集层）原始消息解析（采集层）多维数据调度（采集层）共享组件订阅服务自维护鉴权第三方接口（共享层）说明：将解析后的原始消息分拣、按不同类别入库，IP封包、打时间戳，上传接口模块等待第三方提取说明：调度各协议栈信令的基础模块，发起采集进程，以及与系统上层时钟同步。说明：平台应用软件，包括——对接口的配置和维护，第三方系统的鉴权、告警、日志、报表等控件。索引•系统组网方案概述•分布式采集平台通过各个网络接口的采集服务器，将接入的各种类型的数据进行解析、分拣、存储、封装，以备各个上层应用系统提取和应用。•采集后的数据封装成特定格式的IP包，通过联通DCN网发送给集中的共享平台模块，转发给后续应用。•共享平台根据各应用系统的订阅策略，按指定时间、接口、协议栈、网元、端口、IP地址等发给指定应用系统，传输方式为：实时SOCKET、Webservice,FTP等•系统同时可以支持解码合成后的CDR/TDR数据入库，并进行基于特定字段的订阅与分发。•系统可按应用需求支持集中和分布式的存储策略。•用户可以通过终端查询系统日志、定制报表，以及监控告警信息。同时可以对于系统的运行情况进行全面的监控和管理。•对于第三方系统而言，从采集平台上提取的全量信令不仅可以为信令监测系统提供稳定和实时的数据分析源，更可以根据联通需求，开展各种上层应用。系统组网详见下面的示意图：•信令采集方式•对于传统的64K、高速2M链路（E1），采用高阻跨接的采集方式：高阻跨接具备安全性、准确性、易施工特点，任何外界干扰信号都被高阻隔离适配器隔离在外，不影响七号信令链路的正常工作。•对于IP数据可以采用TAP和交换机镜像两种方式进行采集：TAP对于网络是无源设备，不会因为掉电而影响网元设备之间链路的连通性；镜像由核心网交换机完成，从镜像端口复制出一路IP数据给采集服务器，无需增加新的跨接设备。•对于光链路可以采用分光器分光方式进行采集：通常施工中采用的是2:8分光，即20%的光功率进入采集服务器，80%的光功率回到端局网元，不影响网元连通。•服务器说明服务器分为采集服务器和平台后台服务器：•采集服务器主要负责多接口信令的采集、解析、封装，根据采集链路的不同内置不同类型的采集板卡。平台后台服务器包括：•应用服务器将封装成IP包的原始数据，按照网元链路类型，根据不同的应用需求进行数据预处理，同时也承担了告警、WEB、报表、日志、系统管理等功能。•数据库服务器主要用于支撑数据存取功能，对存储设备中的海量信令进行检索和出库、入库的操作。•接口服务器•用于对第三方系统接口进行配置和管理、对于外围程序的接入请求进行鉴权、然后连接。•第三方接口功能本接口供第三方应用调用，用来进行信令数据的订阅和推送，主要提供两种类型的接口：•控制类接口：此类接口通过WebService进行交互。由第三方应用发起连接，实现对第三方应用的鉴权、信令数据的订阅等控制类的命令。接口数据传输采用XML数据交换格式，utf-8编码。可支持对多个第三方应用同时共享信令数据，对各个第三方应用所提供的接口API及其参数信息、格式均是统一的。•数据传输类接口：此类接口通过Socket实现，用于原始信令数据的提取或推送。信令共享平台WebService签名认证、数据加密Socket第三方应用WebServiceSocketFTPWebServiceAPI接口数据推送接口FTP•第三方接口安全•业务用户认证：由于接口涉及联通的各个不同的业务，所以，建立一套业务的用户认证机制是必须的。不同的用户，所具备的授权不一样，所能执行的业务也不一样。同时，业务用户认证中的用户信息也是记录接口日志中的重要组成部分。本方案采用的是在接口信息中包含业务认证用户信息的方式来进行认证。平台在收到请求的时候，应先验证业务的授权用户，如果该业务用户没有执行当前业务的权限，应终止业务的执行，并给出非法用户的警告信息反馈回外部系统。一般情况下，业务认证的用户是系统中的用户。业务认证其实就是应用系统认证的组成部分。业务认证的用户信息经过加密之后包含在要发送的信息（XML）中，即在发送的信息中包含业务用户的信息。•第三方系统接入要求•网络安全要求：本系统必须处于一个安全的网络环境中，有病毒自查能力；如果发现短期内（一小时），大于三次以上对系统的攻击行为，将自动限制其系统接入功能。•技术接口要求：第三方系统通过webservice、SOCKET等方式进行数据访问；能够进行数据对称加密解密（DES）；能够对大数据量数据进行Gzip压缩/解压缩；能够进行容错处理，在调用失败情况下，自动机制进行定期重试。索引•系统安全性•由于此系统含有大量的用户隐私的信息而且规模庞大，面对复杂的网络环境，如DDos攻击、网页木马、网络欺诈等手段层出不穷，病毒和蠕虫也在不断威胁着系统的健康，另一方面系统的误用和滥用（如配置错误、误操作、越权访问）等也在挑战我们系统的安全。因此，如何保障系统安全，建立较全面的安全管理体系，就成为我们系统的一个重中之重。•基于以上安全方面的考虑，我们在DCN网通过以下几个层次方式进行系统安全防护。通过防火墙、入侵检测设备等措施对进入内部网络的数据包进行扫描过滤，能够根据用户、IP地址、访问类型等方式进行访问规则限制，能够对常见的入侵行为进行检测并阻止。采取授权方式限定用户访问；对安全事件应该进行详细的记录；定期进行安全漏洞扫描，消除隐患；维护人员远程登录集中维护服务器；可通过“关键字串”等进行智能会话检索，回放操作过程；所在网段的防火墙作访问控制。定时对数据进行差异备份，进行数据安全防护；对数据访问进行账户策略设置，实现不同业务数据隔离；定期对数据库进行健康状况检查，保证数据服务的安全。数据安全管理信令信息采集、解码安全网络安全管理系统安全管理支持灵活的存储策略；系统能对指定信息进行限制采集、限制存储或加密处理；系统保证不含任何恶意代码等后门程序，定期病毒库更新提醒和升级，操作系统定期检查和升级。•系统可靠性在系统可靠性方面，信令采集系统主要通过以下机制来实现：•自动注册、断线重连各数据前端机一旦发生断连，将自动重新请求连接。这样可以恢复大多数偶尔的断连。重试次数达到一定阈值则生成告警提交。•缓存断连数据、自动续传各数据前端机具有一定缓存能力，缓存发生断连时收到的信令数据，并在连接重建后自动续传，以最大限度降低断连带来的数据丢失概率。•丰富的告警统计功能信令采集系统支持物理层、链路层告警包的上传，采集控制模块据此获得各采集链路和自身链路告警信息，并在管理界面呈现，以便管理员及时处理，特别是一些系统自身无法自动恢复的故障。除此之外：在数据前端机上都会部署一个守护进程，以监测各模块进程的运行状态，万一某模块进程出