腾讯游戏大数据场景与应用

腾讯游戏大数据场景与应用周东祥腾讯互动娱乐运营部数据中心目录腾讯游戏大数据架构数据计算与应用iData腾讯游戏数据分析腾讯游戏大数据架构数据采集(TGlog)数据传输(TDBank&DT)元数据管理iData游戏一站式数据服务平台Billow数据计算平台实时计算(RealTime)数据挖掘大数据存储(TDWHDFS)在线服务(Online)数据分析AMS活动营销对外推送事件触发(Trigger)准实时计算(FirmRT)离线计算(LZHive)适时计算交叉计算关联计算应用存储腾讯游戏大数据架构端游50+款……手游100+款页游70+款…70P13万+表7000+表2000+表2500亿＋记录34亿＋记录1500亿＋记录腾讯游戏大数据架构数据采集-TGlog单点、容灾可用性低单机管理扩展变更繁琐机器资源浪费成本高腾讯游戏大数据架构数据采集-TGlog耦和度低、标准开放接口、接入成本低统一化数据运营标准协议XML、数据本地化容灾腾讯游戏大数据架构数据采集-TGlog腾讯游戏大数据架构游戏数据特点游戏数据结构强依赖游戏内容元数据内容维度表多，版本变化快（最多端游370多张表）UDP协议接入成本低、解耦异构化存储带来的挑战数据计算与应用腾讯游戏大数据架构数据计算与应用iData腾讯游戏数据分析数据计算与应用实时计算适时计算在线计算数据计算与应用实时计算-RealTime数据采集(TGlog)实时计算(RealTime)数据分析AMS活动营销事件触发(Trigger)交叉计算关联计算操作接口(IDIP)游戏服务器(GameSvr)数据计算与应用实时计算-RealTime实时计算与游戏内场景结合场景外微信平台的结合数据分析低成本与实时计算触发高成本实时计算带来的游戏活动营销的变革数据计算与应用实时计算-RealTime数据计算与应用实时计算-RealTime数据计算与应用适时计算-Tmore数据计算与应用适时计算-Tmore数据计算与应用适时计算-Tmore数据计算与应用适时计算固话指标场景的重要性模板配置化联动，效率提升自助化和外包化基础增加多维计算的维度适时计算-Tmore数据计算与应用在线计算-Online大数据批量计算秒出数据重用多次计算基础指标（C++分布式）与特性指标分离（Spark）数据计算与应用数据计算与应用在线计算-Online大数据批量计算秒出速度，最大1分钟，平均20s内C++bitmap的大量应用(数据索引+数据序列化存储)Spark的本地化计算iData腾讯游戏数据分析腾讯游戏大数据架构数据计算与应用iData腾讯游戏数据分析iData腾讯游戏数据分析iData腾讯游戏数据分析基础指标的“付费分析”和“活跃分析”iData腾讯游戏数据分析下钻分析iData腾讯游戏数据分析用户画像周东祥[e-mail]微信zhirenzhishan11