大数据培训33

大数据培训中国电信上海理想信息产业（集团）有限公司二〇一三年十二月背景1号百大数据应用建设方案及展望5部门大数据产品探索情况3目录“大数据RTB广告业务”试点工作解读41理想公司大数据研发与应用2电信有哪些数据最丰富的搜索数据搜索量：50亿次/日海量的交易数据双十一：350亿笔/日最完备的关系数据QQ：13亿户；活跃：7.8亿户微信：5亿户具有最权威的用户基本资料、通话信息等独占性数据，并记录了用户在互联网访问的全部过程，形成大数据竞争的核心能力。VS互联网企业航班信息地铁信息房产信息独占资源拨打记录业务订购搜索日志商家信息基站位置数据集团商旅“三订”信令数据集团翼支付“交易”固网DPI移动DPIAAA认证授权计费ODS话单ODS客户、产品/套餐属性CRM数据量每日PB级2集团号百IDAP（对外）EDW（仓库）OIDD上海电信数据平台EDA（宽表）集团定义规范各省自建BOSS……电信大数据平台建设契机平台战略重视大数据的价值，将自身的数据资源视为企业最重要的资产和生产力。创新利用数据资源开展业务创新，积极探寻新形势下的商业模式，深入挖掘大数据蕴含的无限商机。顺应移动互联网的发展趋势，打造开放与融合的平台，向用户提供一体化的产品和服务感知。中国电信正在从战略、平台和应用创新三个角度来重新思考其在大数据时代的发展方向。中国电信市场部12月9日下发的86号文，明确了近期的大数据工作重点：完成试点省份（上海/广东/江苏）DPI数据采集与汇聚，支撑RTB（实时竞价）广告业务运营。3近期，集团号百考虑自建大数据平台，也是各省自建大数据平台的驱动力。背景1号百大数据应用建设方案及展望5部门大数据产品探索情况3目录“大数据RTB广告业务”试点工作解读44理想公司大数据研发与应用25理想大数据产品发展历程【2010.04】发布“云集群监控平台”【2011.03】全球眼海量视频分析平台试点项目【2010.12】全球眼云化与视频分析POC【2011.05】发布“分布式数据仓库解决方案”【2011.07】发布“大数据用户行为分析产品方案”2010元旦2011元旦2012元旦【2011.11】IDAP分布式数据仓库升级与改造【2012.02】固网DPI项目【2012.04】中国电信NOC告警日志分析【2012.06】测试云与大数据项目【2010.10】发布“分布式分布式计算解决方案”【2012.08】天翼支付公司经营分析系统公司云计算&大数据相关著作权及专利：【2011.12】发布“大数据分析挖掘产品方案”【2012.03】发布“分布式经营分析系统解决方案”【2012.10】IT部大数据项目【2013.01】陕西DPI项目跟进【2013.02】号百DPI数据清洗【2012.03】URL标签库原型2013元旦【2009.09】发布“云计算管理平台”2009元旦【2009.03】投入云计算方向研发【2012.11】复旦合作URL标签库项目研究成果项目理想大数据产品特点6用户行为分析与精准营销分布式数据仓库分布式并行计算工具分布式数据挖掘工具分布式实时处理工具分布式云存储标签库•快速部署的大数据平台核心产品：支持集群一键自动部署、多种语言算法与多种存储介质，沉淀大量的电信类数据ETL模板与数据挖掘模型，能够满足快速上线的实施要求。•高度产品化的标签库产品:与复旦大学合作制定的标签体系及自主研发的标签管理系统能够对多数据来源粘贴标签，并支持全自动标签生成与“自动预打+人工干预”两种模式，满足多种业务要求。•统一的安全访问策略与结果输出接口：对平台中各类型数据进行安全层级限制，可以根据黑白名单策略严格控制访问权限；数据结果支持一点分享，有效支撑多种业务场景。•核心组件的容灾设计：依照大数据具体产品模块提供的功能特性，在核心组件设计上采用HA热备与负载均衡等容灾模式。目前理想公司已经形成面向电信运营商的大数据产品体系，包括6大工具类产品及1个标签库产品。理想公司标签体系：1.后向商家标签库：共计20个大类1000多个标签。2.用户兴趣标签库：累计遍及千万用户（上海用户）。3.网站域名标签库：累计10万余个网站。4.URL行为标签库：按行业细分至四级。5.搜索关键字标签库：互联网及移动互联网中搜索的热门关键字排行榜。7理想大数据研究及应用案例经过多个项目的积累，理想公司具备了丰富的大数据平台建设经验，形成标准化解决方案并可根据个性化业务需求提供定制化开发。1、“全球眼”视频分析项目2、上海电信大数据分析平台3、上海电信互联网部DPI分析一、二期4、天翼支付公司经营分析系统5、上海电信城域网综合告警日志分析6、号码百事通数据采集与挖掘7、上海电信互联网用户标签系统8、精确化营销：CCG内容流量包事件营销9、与集奥合作开展上海电信宽带升级传播推广8理想大数据营销支撑架构广告交易平台（AD-Exchanges）DSP1（GEO）SSP1（合作媒体）竞价交易投放管理结算管理渠道管理SSP2（自有媒体）DSP2（奥美）………….广告主媒体排期管理效果鉴别智能推荐引擎公共客户推荐方式（呼叫中心）订单管理推荐管理客户管理渠道管理推荐方式（邮件短信）企业客户………….企业客户推荐渠道信息脱敏效果评估广告交易平台主要侧重于线上智能推荐引擎主要侧重于线下URL标签客户画像电信数据合作数据DMP平台统一数据接口服务1、用户Cookie2、根据Cookie查询用户兴趣3、由Cookie和画像返回用户瞬时兴趣4、通过兴趣获取广告内容5、同类的广告通过竞价反馈6、广告展示1、推广需求2、根据需求查询用户兴趣3、由需求和画像返回用户长期兴趣4、推荐名单（脱敏）5、推荐结果反馈理想工作重点9理想大数据最新研究成果分享上海电信数据服务平台时间段内互联网关注类型时间段内各大网站访问量排名分析指定竞争对手的PV、UV访问时间段内各大客户端应用用户数排名时间段内各大客户端应用访问量排名广告点击量趋势图用户画像广告管理背景1号百大数据应用建设方案及展望5部门大数据产品探索情况3目录“大数据RTB广告业务”试点工作解读410理想公司大数据研发与应用2部门大数据产品建设目标、团队及计划11各省大数据产品交流（江苏、湖北已在交流中）大数据产品包装及解决方案编写大数据产品V1.0.0版本建设，包括：号百自有数据、DPI、ODS话单的数据汇聚、分析处理、初步刻画用户肖像及可提供号百自有渠道精准营销的业务视图。第一阶段：建立各平台数据关系，初步刻画用户肖像，提供号百自有渠道精准营销第二阶段：汇聚电信其他平台及第三方合作数据，打造用户全息视图，建立行业级产品，扩大营销渠道第三阶段：根据业务需要及数据价值挖掘进行产品持续优化2013年12月初，部门成立大数据团队，进行产品探索、研发、包装及各省项目支撑。团队成员包括：王霞、刘亮、姜仕军、汪晔峰、吴娟、姚元、诸晓楠。年后各省开展年前完成3月份完成背景1号百大数据应用建设方案及展望5部门大数据产品探索情况3目录“大数据RTB广告业务”试点工作解读412理想公司大数据研发与应用213RTB–背景广告主广告代理广告网络/广告联盟网站受众网站传统的互联网广告模式如今，当你在浏览网页时，恰巧看到你感兴趣的商品广告跳出来，而你朋友却在同一网页看不到；相反，同一网页上，他看到的是他感兴趣的商品的广告，你也看不到。不要觉得惊奇，这并不是偶然，而是RTB广告在精准地“投你所好”。中国电信市场部12月9日下发的86号文，明确了近期的大数据工作重点：完成试点省份（上海、广东、江苏）DPI数据采集与汇聚，支撑RTB（实时竞价）广告业务运营。RTB（Real-TimeBidding）：实时竞价，是一种利用第三方技术在数以百计的网站上针对每一个用户展示行为进行评估以及出价的竞价技术。RTB–业务流程用户1访问网站2通过SSP发起RTB流程。（IP/cookie）SSPADexchange3通知ADX（IP/cookie/广告位信息）4发起实时竞价（UserID/广告位信息/UserIP）DSP1DSP2DSP2RTB竞价监听器竞价引擎5UserID/广告位信息/UserIP8竞拍价格（CMP）DMP6UserIDUserIP7返回用户分析信息9竞拍价格10返回给SSP（竞拍成功的广告链接）返回媒体网站（竞拍成功的广告链接）媒体网站11显示广告11当有消费者广告位所在页面时，ADx就会通知各DSP，DSP需要60-100ms内，决定要不要出价竞这个广告。一旦竞价成功，广告就会展示出来。DMP在RTB广告体系中占据核心位置，因为DMP能够帮助广告主完成人群精准购买，帮助DSP提高广告投放的精准度。1.SSP：供应方平台（媒体和广告内容服务平台），帮助媒体更好地管理和定价广告库存。10家SSP2.Adx：广告交易平台，建立双方交易的平台。6家公开ADexchange，5家私有ADexchange3.DSP：需求平台（广告主服务平台），广告主可以在平台上设置广告的目标受众、投放地域、广告出价。75家DSP（其中20家有自营自用的DMP）4.DMP：数据管理平台，提供数据分析、挖掘的应用平台。国内独立第三方DMP数量为014RTB–总体框架15集团号百上海分公司负责建设；同时也是上海作为试点省的大数据平台（上海号百）大数据RTB广告业务试点主要包括两大部分：大数据、广告媒体。试点省大数据平台，将用户标签、关键字信息上传到DMP（各省号百可以去争取下）各省DSP平台此部分内容各省号百可以独立做（去各传媒部了解）DMP具备跨省业务能力集团DMP建设（上海公司）DMP具备能力2013201412010203040506070809101112立项集团平台建设跨省数据接入/平台优化DMP业务运营（上海公司）业务前期准备上海业务正式运营上海及跨省业务正式运营试点省大数据平台改造（上海/广东/江苏）号百DSP改造大数据/DSP平台改造广东/江苏数据接入DMPRTB–工作计划1、集团DMP平台已建设完成，但未完成与DSP间的实时对接能力，目前通过手工取数据方式与“淘宝”等网站进行合作。2、试点省DSP平台还未开展建设或改造工作。16RTB–DMP平台建设内容17各ADexchange及DSP运营商的用户标识、用户信息、标签数据都相互独立，这对于提升DSP的广告投放效果是一个制约；目前每日Adx发起的广告PV请求总量为60亿，而由于Adx与DSP的用户ID体系和标签体系的不同，DSP只能对2-5亿的PV请求进行实际竞价。电信DMP重要功能点为实现数据的互通及匹配，整合多套用户标识和标签体系，实现标准化的用户唯一标识服务能力。包括用户多维标签树的建立、cookiemap和找回等功能。实现标准化的用户唯一标识服务能力和多维标签体系23具备高并发、低延时的对外实时信息服务能力1整合电信第一方、外部第三方标签类数据电信DMP对外输出的不是数据，而是服务。DMP需实现对外“10万并发量、10-20ms响应时间”的实时信息查询服务。基于多维标签体系服务能力，DMP输出的是群组特征的命中情况。DMP整合的不是明细数据，而是分析挖掘处理后获取的结果：用户标签、关键词等数据。依托于电信的大数据平台强大处理能力和丰富的数据资产，通过大数据平台整合外部第三方的成熟行业模型和算法，生成外部第三方的多维标签数据。通过DMP整合、关联、匹配电信第一方数据（电信标签数据、用户属性数据）和外部第三方标签数据。实现网站页面优化和广告效果监测服务能力4通过DMP实时信息服务能力，为门户网站提供网站优化。为SSP和广告主提供广告竞价效率和投放精度的监测和评估。背景1号百大数据应用建设方案及展望5部门大数据产品探索情况3目录“大数据RTB广告业务”试点工作解读418理想公司大数据研发与应用25.1第一阶段5.2未来展望第一阶段：建设目标19搭建大数据分析平台，将号百自有业务及语音数据、固网DPI、移动DPI、ODS话单数据进行汇聚，建立用户标签体系，通过抽取、建模及分析形成用户视图和业务视图，将数据分析结果通过号百自有渠道进