201410电信运营商大数据应用和架构实践

电信运营商大数据应用和架构实践萝卜课堂电商数据培训之主讲：何鸿凌2业务趋势与数据特征大数据应用案例典型的大数据平台架构一些思考和观点电信运营商大数据应用和架构实践3移动数据流量的增长Source:爱立信中国移动的数据量的增长每分钟800万次通话每天净增用户16.6万每秒发送短信2.4万条每分钟应用下载1142人次每分钟销售终端251部每天话单数据10TB每天信令数据100TB基站总数104万35%140万无线数据流量1ZB100%2ZB移动数据流量290PB82%527PB3G客户数0.88亿118%1.9亿3G手机销量0.5亿180%1.5亿物联网终端数2245万43%3200万Source:中国移动集团2012年、2013年业绩年报20122013VSSource:内部统计，2013年底5中国移动大数据平台数据量时间数据量传统数据信令数据网络日志当前每日新增结构化数据8T，每日新增日志类数据400T。每日处理的数据10倍于此，每日查询的数据100倍于此。未来考虑4G日志、信令等数据纳入大数据平台。中国移动数据特征数据特征处理特征使用特征1.数据单位存储价值不同高价值：CRM\BOSS的各类资料数据、账单、清单低价值：日志、网页中价值：高价值中长期数据和低价值收敛数据2.实时要求不同分钟、小时、日、周、月3.数据类型不同结构化、半结构化、非结构化1.调度模式不同批量任务小批量任务流式处理2.加工特征不同关联整合处理汇总，抛弃输入汇总，不抛弃输入关联+汇总更新，不保留历史1.使用角色不同业务人员：低操作能力IT分析师：中操作能力数据科学家：高技术能力2.使用方式不同消息型：向一线推送浏览型：决策层简单处理型：业务人员复杂处理探索型：分析师高级编程型：不直接使用型：机器处理Ad-hoc类使用成为趋势“云-管-端”各数据采集点分析云•网站、应用的后台服务器管•物理管道：无线、宽带、WIFI•逻辑管道：应用平台（微信、百度轻应用）端•智能终端OS（苹果、小米）•浏览器插码、APPSDK深度广度质量难度业务趋势与数据特征大数据应用案例典型的大数据平台架构一些思考和观点电信运营商大数据应用和架构实践9运营商大数据应用历程T-Mobile：基于社交网络的精确营销和客户维系T-MobileUSA美国的无线网络运营商挑战美国各大运营商对用户争夺的竞争非常激烈，用户获取成本上升，T-Mobile营销团队希望利用大数据技术对其庞大的用户数据进行洞察，寻找新方法来维系客户解决方案T-Mobile利用SAS的CustomerLinkAnalytics技术对用户社交网络进行分析，通过挖掘用户的社交关系、所在群体来提高用户的保有率，实现交叉销售和向上销售，基于社会影响和社交变化对目标用户进行细分取得的收益T-MobileUSA的营销人员可识别社交网络中的头羊、跟随者以及其他成员，通过定义基于角色的变量，识别目标客户群中最有影响力的用户头羊头羊头羊注：头羊，即通过社交网络分析，发现的高影响力用户11AT&T：网络规划和动态优化NTTDocomo：与Omron合作健康大数据13Orange：智慧城市交通优化阿比让公共交通西非国家科迪瓦特的首都有539辆大型公交车，5000辆小型公交车，11000辆出租车挑战数据量大：Orange提供了阿比让500万手机用户2011年12月到2012年4月的2.5亿条通话记录，以及地图应用程序获取的拥有GPS功能智能手机用户的位置数据解决方案IBM建立AllAboard模型，基于orange提供的数据，查询出与乘公交车上下班有关的50多万条电话记录，并对此进行研究用大数据来进行利用orange提供的手机数据来优化阿比让的城市交通网络取得的收益做出了优化城市交通系统的科学决策，新增两条线路，延长现有的一条线路为乘客节省了10%的出行时间•当呼叫所在基站发生变化时，即可被定位于新的位置，用户的移动轨迹以及相应的时间信息即可描绘出来。•当用户使用手机通话或发短信时，即可被定位于某个基站覆盖范围内的确定位置；21Telefonica：SmartStep数据源：基于完全匿名和聚合的O2移动网络数据。处理平台：SmartStep本身就是Telefonica的大数据平台，整合VoIP、社交网络等业务。合作方：GFK的专业性确保其作为西班牙电信进入市场的合作伙伴。在建立智慧足迹的过程中，GFK保障为西班牙电信提供独特的价值主张，使其客户更好地做重大决策。目标客户：政企客户。如何使用：可对某个时段、地点人流量的关键影响因素进行分析，将结果提供给政企客户。业务名称：智慧足迹（SmartStep)业务简介智慧足迹为TDI推出的首款产品，洞察结果可为零售商新店设计和选址、设计促销方式、与客户反馈等提供决策支撑帮助零售商更好地理解和满足客户需求、降低成本也可帮助市政委员会统计、预测各种场景下的人流量。智慧足迹现有产品与服务:-SmartStep&RetailWeekChristmasShopperTrends.-SmartStep&RetailWeekChristmasShopperTrends.商务模式Sprint：利用大数据参与市场调研和分析行业Sprint美国第三大运营商挑战传统通信业务价值收窄，行业内外竞争加剧，需要探索更多新兴业务解决方案利用现有技术，快速采集跨域及外部数据为行业客户提供消费者和市场洞察（人口、行为等分析）、季节性分析（时间、地域变化等）用大数据来进行结构化数据与非结构化相互作用：通话、账单、位置、数据等记录；SMS、SNS、Web浏览、媒体下载、APP估计的收益参与数十亿美元市场调查和分析行业，拓展新业务机会，发展非通信市场交通零售医疗保健娱乐金融市场调研服务Verizon：PrecisionMarketingDivision规划产品户外广告测量帮助企业评估户外广告的效果场所观众测量提供在某场所参加活动的观众人口统计学信息及行为习惯零售点分析提供零售点消费者人口统计学信息、行为习惯及购买兴趣媒体商产品提供消费者消费偏好、行为规律、及接触到户外媒体的消费者数量和频率赞助商产品进行事件分析，评估赞助效果现有产品•PrecisionMarketingDivision部门致力于提供基于用户数据的精准营销解决方案•目标在于实现“电信行业大数据货币化”，变现客户数据，开辟新的收入来源用户数据地理位置信息应用下载数据网络接入情况人口统计学信息中国电信：移动广告互联网广告实时交易平台（RTB）事件：2013年12月，中国电信与集奥聚合共同打造服务中国互联网行业的优势DMP平台，致力于推动三屏融合，大数据分析与RTB广告业务合作方式：中国电信集团拥有优势网络与数据资源，北京集奥聚合科技有限公司拥有大数据领域先进的技术储备和丰富的广告运营经验目标：提升运营商主营业务营销及精准广告投放效果实例：2013年12月，国内首个电信运营商自主研发的RTB在浙江电信上线•整合电信内部各数据资源，以固网宽带数据为主，形成统一的大数据平台，和众多DSP1对N合作，由DSP加载各自标签算法，电信对标签定价，DSP按每月10万保底+分成合作，但据说分成部分几乎没兑现过。•构建统一的DMP进行数据标签开放与管理。两级架构，集团+（广东、上海、江苏）三个省份。•DMP数据开放两种形式：a）报表；b）基于用户级的标签（面向DSP）。•初期聚焦传统家庭宽带互联网，同时规划移动互联网。18艾瑞咨询：数据咨询与服务艾瑞公司作为知名咨询公司，建立了大数据部门，基于运营商等数据开发了大数据魔方产品，面向行业客户售卖BI报告。魔方能够为企业提供自行查询了解市场动态，进行品牌分析，产品分析，消费者分析以及营销效果分析的数据查询平台。为企业在商业活动和决策时提供充分的依据和市场洞察。目前在与几个省电信公司合作，采用按报告售价进行对半分成。小结规划、设计/计算、分析平台建设运营分析即服务云计算数据规划数字化产品服务/新商业模式数字化产品服务新商业模式Apps外部合作以数据分析能力与数据思维为核心，对外提供数据咨询、规划、建设、分析等服务，以开放共享数据价值链为核心，推进数字化转型，连接社会化的生活与工作，深入挖掘数据价值，开发新的数据化产品与服务，创新商业模式，实现数字化、社会化运营大数据分析服务数字化社会洞察对外核心应用网络规划、优化用户体验/细分/营服降本增效/风险控制网络规划覆盖优化容量优化网络控制质量监控可视化用户细分用户属性营销推荐精准广告产品优化服务优化供应链信用管理欺诈风险收入保障科学决策流程优化以网络数据为核心，结合用户身份、位置等用户数据进行分析，关注网络动态调整以用户数据为核心，连接部分外部数据，识别用户及其行为特征，深入洞察用户，动态针对用户与业务优化以内部运营数据为中心，深入挖掘数据规律，降本增效、防控风险，实现高效运营。网络洞察用户洞察运营洞察对内数据来源20大数据创新对运营商的意义外部数据源大数据影响的领域缩减成本创新商务模式提高工作效率增加收入企业内部面向市场服务网络HR财务客户服务产品客户可见度低高运营商个人/企业对外合作…界面O域M域B域21业务趋势与数据特征大数据应用案例典型的大数据平台架构一些思考和观点电信运营商大数据应用和架构实践22大数据技术分类图计算框架Spark存取框架Hadoop的MapReduce流处理数据组织形式RDBMS中的MPPNoSQL数据存储形式内存磁盘对象文件Hadoop优点处理各种结构的数据灵活的处理方式，通过Java编写MR框架易于扩展、伸缩，达到3000节点以上（因其非对等节点模型设计）缺点（对原生解决方案而言）对灵活的查询的支持和响应速度流水线操作优化Map和Reduce大量数据交换问题Hadoop，包括HDFS和其上的MR，被认为是解决大数据中必不可少的一项技术和产品。它能轻易实现各种批量数据处理，而且因为其设计的简化，能轻易分布到海量的X86服务器上，2000、3000节点的Hadoop场景是较为常见的。SparkSPARK是UC伯克利大学AMPLabs开发的新的分布式计算协议栈（BDAS）的计算系统，它充分利用内存，因此运行快；它释放了更多的API，因此编写简单（Scala语言）。它很可能在将来替代Hadoop中的MapReduce。优点软定义的灵活计算架构，支持Map、Reduce以及诸多的算子，足够替换MapReduce充分使用内存而不是磁盘（摩尔定律）延迟执行以对DAG全局优化，流水线优化Scala语言简洁，开发简单缺点软件成熟度学习曲线流处理（Stream）优点基本内存处理，速度快可并行，可扩展编程方式灵活，可以处理复杂结构数据缺点不保证事务完整难以处理某些大数据类型，比如需要查表之类的其他技术在处理时效性方面都无法达到实时或准实时的地步，但是在某些场景，比如算法交易、欺诈检测、实时营销等方面，需要从大量的信息中及时发现潜在模式，这种情况下，就要使用流处理的技术——Stream。Lambda架构提供了一个流处理和批处理联合的最佳实践。26MPPDB优点接口友好，支持度高，兼容性强可以处理复杂的查询查询响应时间快缺点（对原生解决方案而言）只能处理结构化数据高并发查询和操作困难由于其Hash数据分布方式、对数据的保存、并发等精妙的设计方式限定了可扩展性。通常没有经过专门优化的话限定在100节点之下。2004年以后出现了一些新型的MPPDB，例如GreenPlum、Vertica、AsterData等。它们借鉴云计算的成功，设计为部署在低成本的X86通用硬件上，通过副本的方式保证高可用。由于其sharenothing架构以及SQL接口均为成熟技术，轻易获得了大量厂商和工具的支持。节点1节点2节点3…本节点存储备份节点存储本节点存储备份节点存储本节点存储备份节点存储本节点存储备份节点存储以太网交换机CPUMEMCPUMEMCPUMEMCPUMEM27NoS