电信运营商大数据平台和应用实践

电信运营商大数据平台和应用实践2提纲•电信运营商大数据面临的挑战•“大云”大数据平台研发和实践3移动互联网用户流量激增，手机数据化、宽带化趋势明显时间分布移动互联网：通信功能=80：20数据来源：GSMA2013流量分布用户分布数据来源：Infoma2013数据来源：Cisco2013全球移动互联网用户数量激增，已3倍于固定互联网用户数量移动互联网流量激增，2012年底，移动数据流量占比超过13%移动互联网应用使用时间激增，是使用通信服务时间的4倍中国移动互联网发展有相类似的趋势，截至2013年6月，中国手机网民已达4.6亿，上半年移动互联网接入流量同比增长62.6%（CNNIC、工信部）44G、M2M将大大加快移动网络数据业务和流量增长2013年4G网络将占到全球流量的20%，2016年将超过3G网络流量，2018年将占据超过2/3的移动网络流量。2013-2018年，4G流量的年复合增长率达到82.2%。2018年数据业务收入占运营商的份额的47.3%ABIResearch2013.09数据来源：Ericsson2013.112012年9月VerizonLTE网络建成不到2年，用户达到11M，占Verizon用户总数约12%，流量消耗占全网流量的35%以上。2013年1月，4G流量占比50%，2013年11月，4G流量超过64%，视频是主要业务2017年，全球4G终端产生的数据流量是非4G终端的8倍，每月数据流量超过10EB[1EB=1000PB]–（CISCOVNI2013）M2M终端数量大幅度增长4G驱动流量增长2014年，M2M设备数量接近智能终端数据来源：ABIResearch20125数据业务成为运营商收入的新增长点•Verizon2013Q3的ARPU同比增长7.1%，比2010年发布4G时增长21%。•SKT2013年Q34G的ARPU增长比综合ARPU增长超32%，竞争对手KT则达到40%。•荷兰所有的电信运营商的数据业务收入占比同比增加14%，全部来自语音业务的下降。2013年全球移动互联网业务收入增加23.4%，达到3千亿美元。其中，2013年Q4美国运营商的数据收入超过语音收入。ABIResearchFeb.20146面对巨大流量，移动运营商面临强大的挑战移动互联网服务商电信运营商SNS博客电商视频图片音乐签到问答点评优惠券专业SNS微博消息论坛2G、3G、4G、WIFI…新闻地图管道数据类型多样、数据巨大、处理速度要求高，同时也存在质量问题，是电信运营商大数据的主要来源超过7.1亿用户超过100万基站每分钟超过800万通话每天信令数据超过1PB每秒上网流量超过40GB经分系统数据规模接近10PB7需要融合巨大的管道数据和业务数据网络优化决策支持精准营销业务创新A+Abis信令Mc信令Gn+Gb信令Gn-IuPS信令Wifi、Radius信令4GX2等信令语音等业务数据DNS数据虽然结构化的业务数据虽然价值含量很高，但是管道数据却提供了用户的数据消费、社交网络、行为轨迹、内容偏好等业务数据中无法提供的重要信息，这对用户刻画、套餐设计、用户体验提升等个人和企业产品设计所需依据均有巨大帮助日志结构化数据+需要建立采集、存储、分析、交互等全方位能力，其中既包括传统已经具备的能力，也包括需要新建的大数据能力8互联网公司通常采用混合架构解决大数据问题(DistinguishedEngineer/Architect,Yahoo)互联网公司目前主要采用Hadoop、Streaming、RDBMS、NoSQL等技术应对大数据4V挑战，例如Yahoo针对日志数据进行两种处理，并与业务系统结合（后期尝试Spark技术）示例：Yahoo数据处理流程9大数据技术在互联网公司得到成功应用Google在全球多个数据中心大规模混合部署和调度数据处理能力，系统利用率高达80%+，2011年MapReduce系统每天处理1000PB左右输入数据，支撑其核心业务，包括搜索、广告、地图、邮件、社区等业务。针对不同的数据处理需求提供多种数据处理系统。随着技术能力提高，将大数据处理能力服务化。Facebook以Hadoop为基础建设了包括流计算、实时计算、离线分析在内的各种大数据系统系统。2012年每天要处理25亿条消息、用户点击Like按钮的次数达到27亿次、上传3亿张照片。GraphSearch可以检索10亿用户、2400亿图片和1万亿次访问。目前已经支持多区域数据同步。FacebookPuma每天处理超过200亿事件，延迟小于30秒Amazon为被托管应用提供了多租户、按使用付费的大数据服务，整合了非结构化（S3）、结构化（RDS、SimpleDB、DynamoDB）数据，通过并行计算EMR能力，将数据放入RedShift用于最终的数据展现等目的。Twitter利用Hadoop和Pig工具完成数据的批量分析，并进行决策支持和数据挖掘，利用Storm每天实时推送1亿活跃用户的5亿消息10提纲•电信运营商大数据面临的挑战•“大云”大数据平台研发和实践11•面向结构化数据，非结构化处理效率低•基于昂贵硬件（小型机+磁盘阵列）或一体机•硬件平台兼容性差：在跨代硬件或跨厂商硬件环境下常常无法部署•扩展性达到PB级之上可选厂商较少，易绑定•具备结构化/非结构化混合分析的能力,大数据多为非结构化•基于消费级硬件，以常态化硬件故障为设计出发点，不依赖高性能、高可靠性硬件保障系统性能和可靠性。•基于通用硬件，平台兼容性好，可跨代，跨厂商硬件部署•扩展性高，业内有上万节点级部署案例，大陆有千节点级部署transactionDBMSETLDWAnalysisClusterUnstructureStreamMultipledatasources(MapReduce)传统数据分析处理基于云计算的大数据处理DistributedarchitectureTraditionalDB/DWTBPBEBZBMPPDW+HadoopAnalysis云计算是挖掘大数据价值的核心基础12中国移动“大云”2.5云计算平台对象存储BC-oNest数据仓库系统BC-HugeTable系统监控和管理CloudMaster平台安全管理CloudSecurity移动互联网业务平台IDC服务…经分集中化结算系统云计算资源池系统并行数据挖掘工具集BC-PDM并行数据抽取转换BC-ETL搜索引擎BC-SE经分系统ETL/DM信令系统物联网应用弹性计算BC-EC弹性块存储BC-EBS商务智能平台BI-PaaS数据管理/分析类计算/存储资源池BC-Hadoop数据存储和分析平台IaaS产品PaaS产品“大云”产品实时交易类SQL数据库BC-RDBBC-BSP数据并行框架内存处理引擎BC-DMEK-V数据库BC-kvDB2.0产品体系2.5新增产品2.5功能增强13BC-Hadoop：开源社区有很多Hadoop的发布，但是没有一项可以满足大云现有数据分析需求。BC-Hadoop将所需的特性打包形成独特的大数据平台产品大数据基础平台（BC-Hadoop&BC-HBase）IAAS分析PAAS交易PAAS云计算管理•大规模：支持4000节点组成单个大数据集群•高性能：提供聚合的IO访问能力，线性扩展•多租户：提供多用户计算和存储能力相对隔离的手段•高可用：提供Hadoop主控节点，即NameNode和JobTracker的高可用能力•标准接口：消除开源Hadoop升级造成的接口不兼容，提供向下兼容的接口MapReduce并行计算框架HDFS分布式文件系统HBase分布式NoSQL数据库监控和管理工具BC-Hadoop应用，包括HugeTable、PDM、BC-SE等图计算平台（BC-BSP）IAAS分析PAAS交易PAAS云计算管理BarrierSynchronizationBSPProgramBSPJobClientRunaJobBSPMasterSummitJobHeartBeatInitializeJobZooKeeperBarrierSynchronizationWorkerServerWorkerServerTaskWorkerServerWorkerServerTaskLaunchTasksWorkerServerBSPPeerBSPPeerHeartBeatWorkerServerWorkerServerTaskWorkerServerWorkerServerTaskLaunchTasksWorkerServerBSPPeerBSPPeer...Worker1WorkernClientMasterHeartBeatHeartBeatHeartBeatHeartBeat产品特性搜索引擎PageRank、最短路径等算法需大量迭代计算，基于MR实现具有较大数据同步开销；BSP并行计算模型更适于图、矩阵计算；支持大规模集群，可以达到4000节点支持海量数据计算，用户迭代步骤可以设定提供用户开发接口，一方面可以与BC-PDM系统整合，一方面也可以单独使用BC-BSP：针对社交网络分析、用户精准营销、搜索引擎PageRank计算等图计算领域的数据挖掘需求而研发的并行计算框架，针对迭代计算，计算效率优于MapReduce框架海量结构化数据存储系统（HugeTable）基于Hadoop的海量结构化数据存储系统，利用低成本硬件提供高性能的数据加载、索引查询和并行分析能力，对外提供易于应用集成的数据访问接口大容量：支持PB级别的数据存储能力低成本：基于PC架构，不需要外接集中存储设备高性能：秒级别索引查询、数据并行扫描可靠性：数据冗余备份永不丢失；全系统无单点可定制：根据应用需求选择索引类型及存储引擎接口丰富：提供标准的JDBC/ODBC/SQL接口；提串行Scan接口和分布式MapReduce接口外围工具：支持数据、性能、故障、配置、日志管理功能；支持外部数据并行加载；支持数据快速备份、恢复IAAS分析PAAS交易PAAS云计算管理16分布式NoSQL数据库（BC-KVDB）ClientRangerServer服务层存储引擎访问控制接口层zkzkzk元数据管理子系统RootfileRootfileindex...ClientClientRootfileindexRS2RS1客户端子系统MMMMaster节点集群Zk节点集群存储节点集群子系统DataFile存储节点存储引擎RangerServer服务层存储引擎访问控制接口层存储节点Metafile存储引擎RangerServer服务层存储引擎访问控制接口层存储节点存储引擎KV-RangeQueryCacheCellCacheSSD网络通信管理组件BC-RDB：根据订购关系存储(阅读基地)、用户个人信息存储(彩云)等应用需求和相关规范，增强系统操作维护功能、优化性能并提高系统可靠性。提供一个高并发、高可扩展的键值对存储系统。大规模：支持1000节点组网形成统一数据库高性能：支持读写缓存，提供告诉的数据读写能力，支持高性能硬件优化一致性：支持数据强一致性和最终一致性可靠性：数据冗余备份永不丢失；全系统无单点数据模式：提供支持schema定义的复杂数据定义外围工具：支持数据、性能、故障、配置、日志管理功能；支持外部数据并行加载；支持数据快速备份、恢复IAAS分析PAAS交易PAAS云计算管理17分布式关系数据库（BC-RDB）IAAS分析PAAS交易PAAS云计算管理BC-RDB是一款分布式关系数据库。即具有关系数据库的特性，同时具备可扩展、高可用的特性。主要应用于海量数据的实时在线交易处理系统。BC-RDB支持SQL92，传统交易型应用可