电信行业的大数据解决方案

行业背景电信运营商近几年面对移动互联网的高速发展，客户的移动数据流量需求迅猛增长，数据流量收入已超过点对点短信，成为拉动数据业务收入增长的主要驱动力的现实。在3G的全业务市场竞争环境下，急需根据竞争情况和客户需求，加快实现流量的实时计费和提醒，优化数据流量资费体系，降低套餐内外的资费水平差距，提高精细化营销能力，不断提高客户的满意度和大幅度降低流量投诉。这就催生了对流量大数据分析的需要,大数据依赖于成熟的技术方案,应用的关键在于业务层面,因此大数据在运营商中应用中催生了很多商业机会,同时运营商现有的系统架构在面对大数据的挑战和机会面前遇到了问题。商业机会改善用户体验•分析用户行为，改进产品设计；•通过用户爱好分析，进行及时、精准的业务推荐和客户关怀；优化网络质量•分析流量、流量变化，调整资源配置；•分析网络日志，进行网络优化和故障定位；•合理给各类业务分配带宽及优先级等；助力市场决策•通过业务、资源、财务等各类数据的综合分析，快速准确确定公司管理和市场竞争策略；•基于用户的职业、年龄、LBS等信息提供精准营销手段；业务创新•在确保用户隐私不被侵犯的前提下，对数据进行深度加工，对外提供信息服务，帮助企业盈利；•精确了解与预测用户的需求的变化趋势，为未来研发提供方向和指导；面临问题系统分散建设，难以实现资源和应用共享•经营分析、信令监测、综合网络分析、不良信息监测、上网日志留存等大数据系统垂直建设较多，另外很多省分公司的系统建设存在重复建设、应用重复开发、各类专家资源无法共享等情况；数据分散存储，标准化程度低•各大数据系统数据模型不统一，跨系统综合分析困难；•统一管理难度较高；以OLTP为核心的传统架构，难以满足新业务发展要求•多采用高端架构建设（类IOE），成本极高；•仅具备结构化数据处理能力，无法支持飞速增长的非结构化、半结构化数据处理；•对高速增长的数据，传统架构很难满足存储需求；大部分业务只对内提供服务，未能有效地进行成规模商业利用•如何建立商业模式？•如何解决用户隐私保护问题？方案架构针对电信运营商大数据管理总体系统框架分为四层,分别是物理层,数据成,模型层应用层,数据层是整个运营商大数据管理的核心部分,为上层应用提供数据支撑。大容量存储服务器网络系统机房基础设施建设文件系统，NOSQL数据库客户基本数据A口数据Gb口数据WLAN数据其他数据组织挖掘工具ETL工具类SQL语言计算调度框架安全管理数据仓库用户位置信息业务使用统计其他用户位置信息用户位置信息用户位置信息用户位置信息用户位置信息分析结果用户关系网用户位置信息用户位置信息用户流量特征终端使用重入网特征增值业务使用营销目标客户定位针对营销方案设计营销效果评估趋势预期测应用层模型层数据层物理层业务应用话费详单查询系统解决方案针对话费详单公众查询查询业务，系统设计上要满足海量历史数据的获取和存储，同时也要满足大并发量的查询和检索。针对海量详单查询系统的架构设计如下：查询用户数据中转服务器运行生产区数据库服务器查询用户话费详单数据存储组织区数据中转服务器大规模并发查询区话费详单公众查询系统特点:查询数据和生产去耦合，生产数据中转之后进行处理借助曙光XData大数据处理平台，实现数据高效导入和查询及处理大数据处理平台线性扩展架构，能够面对数据量增加和查询量增加而轻松扩展电信流量业务DPI系统解决方案目前流量业务管理存在诸如：用户感知差，P2P滥用基站资源的有限带宽资源，高峰时段用户感知差，基站维护和增建，网络优化缺少依据。安全威胁多，黄色、暴力、反动等不良内容充斥网络，被黑客控制的僵尸网络主机。快速蔓延，安全隐患严重，DDoS攻击手段日新月异，攻击行为泛滥且难于防范。运维管理困难，疲于应付各种事件和问题，各个系统无规则迭加部署，众多的离散系统，无法统管理，网络的可用性和可维护性面临挑战。需要统一的系统对网络应用监管，实现业务的保值到增值，而现如今面对业务多样化，数据泛滥的系统，大数据理念给我提供优良的解决方案。电信流量业务DPI系统解决方案架构如下：汇聚分流设备大数据处理区数据采集清洗应用区用户分析网站分析热点基站分布网元p2p监控病毒，攻击溯源不良信息过滤用户访问日志审计共享接入数据分析Web营销推送电信流量业务DPI系统解决方案特点：采用高速设备直接从骨干网络抓取数据曙光XData大数据平台能过应对大规模流量做近实时的分析，感知整个网络状态,优化网络运行开发的大数据平台能够支撑多种应用的开发在应对海量数据处理、并发，大数据平台由于传统的关系数据平台，更加适合DPI业务处理基于开放架构，高性价比的解决方案方案价值电信行业当前面临的数据挑战和新业务运营的压力，电信行业大数据能够充分发挥出数据的价值，在流量深度感知，新业务开发，传统业务增强方面，具有高性价比，易于管理和扩展等特性，效果显著，为运营商在移动互联网时代快速发展增加引擎动力。