何鸿凌-电信运营商大数据应用和架构实践

LOGO电信运营商大数据应用和架构实践何鸿凌Hongling HeBigData分析小象科技让你的数据产生价值2业务趋势与数据特征大数据应用案例典型的大数据平台架构一些思考和观点电信运营商大数据应用和架构实践小象科技让你的数据产生价值3移动数据流量的增长Source: 爱立信小象科技让你的数据产生价值4中国移动的数据量的增长每分钟800万次通话每天净增用户16.6万每秒发送短信2.4万条每分钟应用下载1142人次每分钟销售终端251部每天话单数据10TB每天信令数据100TB基站总数104万35%140万无线数据流量1ZB100%2ZB移动数据流量290PB82%527PB3G客户数0.88亿118%1.9亿3G手机销量0.5亿180%1.5亿物联网终端数2245万43%3200万Source: 中国移动集团2012年、2013年业绩年报20122013VSSource: 内部统计，2013年底小象科技让你的数据产生价值5中国移动大数据平台数据量时间数据量传统数据信令数据网络日志当前每日新增结构化数据8T，每日新增日志类数据400T。每日处理的数据10倍于此，每日查询的数据100倍于此。未来考虑4G日志、信令等数据纳入大数据平台。小象科技让你的数据产生价值6中国移动数据特征存储特征处理特征访问特征1.数据单位存储价值不同高价值：CRM\BOSS的各类资料数据、账单、清单低价值：日志、网页中价值：高价值中长期数据和低价值收敛数据2.实时要求不同分钟、小时、日、周、月3.数据类型不同结构化、半结构化、非结构化1.调度模式不同批量任务小批量任务流式处理2.加工特征不同关联整合处理汇总，抛弃输入汇总，不抛弃输入关联+汇总更新，不保留历史1.使用角色不同业务人员：低操作能力IT分析师：中操作能力数据科学家：高技术能力2.使用方式不同消息型：向一线推送浏览型：决策层简单处理型：业务人员复杂处理探索型：分析师高级编程型：不直接使用型：机器处理Ad-hoc类使用成为趋势小象科技让你的数据产生价值7“云-管-端”各数据采集点分析•云网站、应用的后台服务器•管物理管道：无线、宽带、WIFI逻辑管道：应用平台（微信、百度轻应用）•端智能终端OS（苹果、小米）浏览器插码、APP SDK深度广度质量难度小象科技让你的数据产生价值8业务趋势与数据特征大数据应用案例典型的大数据平台架构一些思考和观点电信运营商大数据应用和架构实践小象科技让你的数据产生价值9运营商大数据应用历程•投资Tellabs“洞察力分析”服务•借助大数据改善服务水平，提升用户体验2010201120122013•使用IBM的InfoSphere Streams等分析工具•采用splunk平台进行实时营销•新分离一家平台公司SK Planet，专门处理与大数据相关的业务•向购买“T Cloud Biz”数据保存服务的用户提供大数据分析器(T-MR)免费试用服务•更新了隐私政策，计划开始销售数据给广告客户•利用个人健康数据提供创新医疗支持服务•成立精准营销部门•合作开发the AutoLinQ™平台•发布新安全数据分析服务•旗下的网络提供商推出了免费WiFi服务内部外部•承担法国很多公共服务项目的IT系统建设•着手规划大数据，收集整理用户信息•借助大数据分析客户群体，维系客户。•分析网络信令、实时分析、网络优化•呼叫中心记录的实时分析：智能关键词跟踪，网络优化•获取客户洞察数据，参与市场调研和分析行业•智慧足迹（Smart Step)，服务零售•互联网广告实时交易平台（RTB），数据咨询与服务•福建互联网广告实时交易平台（RTB），江苏智慧洞察。小象科技让你的数据产生价值10T-Mobile：基于社交网络的精确营销和客户维系T-Mobile USA美国的无线网络运营商挑战美国各大运营商对用户争夺的竞争非常激烈，用户获取成本上升，T-Mobile营销团队希望利用大数据技术对其庞大的用户数据进行洞察，寻找新方法来维系客户解决方案T-Mobile利用SAS的Customer Link Analytics技术对用户社交网络进行分析，通过挖掘用户的社交关系、所在群体来提高用户的保有率，实现交叉销售和向上销售，基于社会影响和社交变化对目标用户进行细分取得的收益T-Mobile USA的营销人员可识别社交网络中的头羊、跟随者以及其他成员，通过定义基于角色的变量，识别目标客户群中昀有影响力的用户头羊头羊头羊注：头羊，即通过社交网络分析，发现的高影响力用户小象科技让你的数据产生价值11AT&T：网络规划和动态优化AT&T美国昀大的本地和长途电话公司挑战高负载下，需求易引起掉话以及移动流量拥塞，网络性能下降；人工处理不及时解决方案基于动态SON平台，根据地理位置，实时分析用户网络状况，用自优化网络技术，动态调整基站半径，个性化配置网络资源用大数据来进行分钟级数据流处理；网络实时快速/响应高度定制化/个人化网络分配存储超过一年存储的数据离线处理产生的收益精准覆盖：覆盖95%，未来5～7年，运营成本降低50～70亿美元掉线率降低10%；网络拥塞减少30%左右；动态SON平台亮点：根据地理位置，实时分析用户网络状况，用自优化网络技术，动态调整基站半径，个性化配置网络资源其他网络侧数据地理位置数据网络状况信令数据实时分析个性化优化AT&T 历史数据离线处理大数据平台应用服务器数据信令数据地理位置数据财务业务量/数据手持设备信息……网络覆盖规划容量设计AT&T的实时网络自优化小象科技让你的数据产生价值12NTT Docomo：与Omron合作健康大数据docomoHealthcare主要提供管理、使用和共享身体、健康及医疗数据的平台业务所有权：NTT DOCOMO66%，Omron Healthcare 34%目标通过积累的健康数据，提供创新、安全、高品质的医疗保健服务，打造“智能生活”解决方案docomoHealthcare将智能手机与欧姆龙公司的医疗器械相连来获取用户的身体成分、血压及睡眠监测数据，使用户可以轻松收集数据并上传至云，无缝集成各种信息和健康管理数据用大数据来进行健康数据分析、身体健康预测健康相关数据的无缝和全方位管理创新医疗支持服务已推出智能腕带（Moveband）还将提供“WM（我运动）”与“身体生物钟WM”等手机APPHealthcare Plateform搜集分析预测健康数据•通过智能手机，收集日常健康数据•通过测量工具，分析健康数据•通过合作伙伴提供的产品和服务，改善健康水平根据个人健康状况，打造智能快乐生活客户•基于健康数据为客户提供新生活方式建议合作伙伴•利用健康数据为合作伙伴提供创新市场价值123小象科技让你的数据产生价值13Orange：智慧城市交通优化阿比让公共交通西非国家科迪瓦特的首都有539辆大型公交车，5000辆小型公交车，11000辆出租车挑战数据量大：Orange提供了阿比让500万手机用户2011年12月到2012年4月的2.5亿条通话记录，以及地图应用程序获取的拥有GPS功能智能手机用户的位置数据解决方案IBM建立AllAboard模型，基于orange提供的数据，查询出与乘公交车上下班有关的50多万条电话记录，并对此进行研究用大数据来进行利用orange提供的手机数据来优化阿比让的城市交通网络取得的收益做出了优化城市交通系统的科学决策，新增两条线路，延长现有的一条线路为乘客节省了10%的出行时间•当呼叫所在基站发生变化时，即可被定位于新的位置，用户的移动轨迹以及相应的时间信息即可描绘出来。•当用户使用手机通话或发短信时，即可被定位于某个基站覆盖范围内的确定位置；21小象科技让你的数据产生价值14Telefonica：Smart Step数据源：基于完全匿名和聚合的O2移动网络数据。处理平台：Smart Step本身就是Telefonica的大数据平台，整合VoIP、社交网络等业务。合作方：GFK的专业性确保其作为西班牙电信进入市场的合作伙伴。在建立智慧足迹的过程中，GFK保障为西班牙电信提供独特的价值主张，使其客户更好地做重大决策。目标客户：政企客户。如何使用：可对某个时段、地点人流量的关键影响因素进行分析，将结果提供给政企客户。业务名称：智慧足迹（Smart Step)业务简介智慧足迹为TDI推出的首款产品，洞察结果可为零售商新店设计和选址、设计促销方式、与客户反馈等提供决策支撑帮助零售商更好地理解和满足客户需求、降低成本也可帮助市政委员会统计、预测各种场景下的人流量。智慧足迹现有产品与服务:  -Smart Step & Retail Week Christmas Shopper     Trends .-Smart Step & Retail Week Christmas Shopper Trends .商务模式小象科技让你的数据产生价值15Sprint：利用大数据参与市场调研和分析行业Sprint美国第三大运营商挑战传统通信业务价值收窄，行业内外竞争加剧，需要探索更多新兴业务解决方案利用现有技术，快速采集跨域及外部数据为行业客户提供消费者和市场洞察（人口、行为等分析）、季节性分析（时间、地域变化等）用大数据来进行结构化数据与非结构化相互作用：通话、账单、位置、数据等记录；SMS、SNS、Web浏览、媒体下载、APP估计的收益参与数十亿美元市场调查和分析行业，拓展新业务机会，发展非通信市场交通零售医疗保健娱乐金融市场调研服务小象科技让你的数据产生价值16规划产品Verizon：Precision Marketing Division户外广告测量帮助企业评估户外广告的效果场所观众测量提供在某场所参加活动的观众人口统计学信息及行为习惯零售点分析提供零售点消费者人口统计学信息、行为习惯及购买兴趣媒体商产品提供消费者消费偏好、行为规律、及接触到户外媒体的消费者数量和频率赞助商产品进行事件分析，评估赞助效果现有产品•Precision Marketing Division部门致力于提供基于用户数据的精准营销解决方案•目标在于实现“电信行业大数据货币化”，变现客户数据，开辟新的收入来源用户数据地理位置信息应用下载数据网络接入情况人口统计学信息小象科技让你的数据产生价值17中国电信：移动广告互联网广告实时交易平台（RTB）事件：2013年12月，中国电信与集奥聚合共同打造服务中国互联网行业的优势DMP平台，致力于推动三屏融合，大数据分析与RTB广告业务合作方式：中国电信集团拥有优势网络与数据资源，北京集奥聚合科技有限公司拥有大数据领域先进的技术储备和丰富的广告运营经验目标：提升运营商主营业务营销及精准广告投放效果实例：2013年12月，国内首个电信运营商自主研发的RTB在浙江电信上线•整合电信内部各数据资源，以固网宽带数据为主，形成统一的大数据平台，和众多DSP 1对N合作，由DSP加载各自标签算法，电信对标签定价，DSP按每月10万保底+分成合作，但据说分成部分几乎没兑现过。•构建统一的DMP进行数据标签开放与管理。两级架构，集团+（广东、上海、江苏）三个省份。•DMP数据开放两种形式：a）报表；b）基于用户级的标签（面向DSP）。•初期聚焦传统家庭宽带互联网，同时规划移动互联网。小象科技让你的数据产生价值18艾瑞咨询：数据咨询与服务艾瑞公司作为知名咨询公司，建立了大数据部门，基于运营商等数据开发了大数据魔方产品，面向行业客户售卖BI报告。魔方能够为企业提供自行查询了解市场动态，进行品牌分析，产品分析，消费者分析以及营销效果分析的数据查询平台。为企业在商业活动和决策时提供充分的依据和市场洞察。目前在与几个省电信公司合作，采用按报告售价进行对半分成。小象科技让你的数据产生价值19小结核心应用网络规划、优化用户体验/细分/营服降本增效/风险控制规划、设计/计算、分析网络规划覆盖优化容量优化网络控制质量监控