腾讯游戏大数据产品体系解密

腾讯游戏大数据产品体系解密iData腾讯游戏数据服务农益辉腾讯互动娱乐运营部数据中心总监腾讯游戏大数据产品如何建设数据服务闭环数据化运营思路010203腾讯游戏大数据产品01游戏运营团队需要更精细化运营游戏2006201020142016页游爆发手游爆发游戏数量、品类繁多用户群大，偏好各异200+款游戏5亿+自然用户游戏数据化运营服务iData1234蛮荒时代通过游戏运维在文本日志中进行数据统计石器时代机械时代提供分析框架降低统计分析成本iData-自动化时代一站式数据分析服务基于用户生命周期的数据化方案随着精细化的需要团队不断变革由专门的数据开发人员提供统计分析页面2006年2008年2012年智能化时代2亿人次30亿400+次iData是这样帮助游戏运营的某业务，新版本上线后，新手次日存留只有20%，严重低于正常值新手存留预警iData是这样帮助游戏运营的新手任务门槛太高导致用户流失大幅增加新手存留预警新手存留分析iData是这样帮助游戏运营的通过配置新手任务赠送，调整新手任务，降低任务门槛新手干预措施新手存留预警新手存留分析iData是这样帮助游戏运营的效果跟踪活动上线后实时跟踪活动效果做调整，新手存留上升新手干预措施新手存留预警新手存留分析腾讯游戏大数据产品如何建设数据服务闭环0102秒级数据采集计算帮助游戏及时了解游戏运营状况1发现问题3解决问题秒级多维数据分析帮助产品快速定位问题，分析决策低成本运营策略实施帮助游戏快速响应，即时调整策略新进转化活跃及付费转化流失干预2分析问题覆盖用户生命周期数据化运营闭环通过iData实现精细化运营的闭环数据接口中心数据分析引擎运营规则引擎用户触达中心报表统计数据分析运营活动游戏功能触达运营平台组件数据接入实时传输离线传输数据处理实时计算引擎离线计算引擎数据存储KV存储DB存储位图索引HDFS游戏内产品渠道平台组件服务引擎数据源业务应用数据采集分析系统应用系统用户触达存储计算应用落地元数据管理用户自助中心准实时传输外部信息应用模型精准推荐引擎精准推荐用户画像算法库规则库数据服务闭环的基础：多维数据分析游戏产品自助化用户分析平台数据服务闭环的基础：多维数据分析数据一体化数据分析引擎多维分析可视化数据服务闭环的基础：多维数据分析数据一体化数据分析引擎多维分析可视化…原始事实表清理原子数据动态宽表立方体构成标准聚合计算和复杂计算app可视化TRedis结果DB可视化分析线上服务事实表Sql统计计算可视化报表数据一体化传统方法数据服务闭环的基础：多维数据分析数据一体化数据分析引擎多维分析可视化分散的多种来源数据数据血缘管理维度与度量指标管理综合调度与计算统一的二次计算平台多种应用途径数据应用服务难度根源之一实现异常自动恢复的关键将零散的数据有序管理数据统一中间规范形成自助化数据分析与应用工具自动统计自动构建cube自动明细规范中间表热区缓存数据分析数据应用异常监控故障自愈数据服务闭环的基础：多维数据分析Spark计算引擎计算调度ETL多维计算排序过滤算法模型实时计算号码转换位图引擎画像引擎交叉引擎大盘交叉多包合并多包差集用户画像下钻分析多维交叉用户提取基础跟踪日志计算组合任务调度Spark调度TDW调度ES引擎用户提取特性跟踪位图调度ES调度交叉调度数据一体化数据分析引擎多维分析可视化全量数据流水更新全量数据数据服务闭环的基础：多维数据分析•分类型存储•结构化•Bitmap存储和计算•ProtoBuf存储流水•全账号时间切分和全时间账号切分•大区数据分片，全排序uin/commid10..01..1110....110....0110..1012个月366天8天最后登录时间last_login_timeuin/commid文件偏移量offfset1366天以前是否活跃位图文件数据结构索引文件结构最后消费时间last_pay_time最后充值时间last_deposit_time10..01..0100....110....0010..00010..01..1110....110....0110..101登录bit消费bit充值bit冗余位244字节64字节uin/commid登录时间login_time......uin/commid注册时间register_time......uin/commid消费时间pay_time......消费金额pay_accountuin/commid充值时间deposit_time......充值金额deposit_account注册文件登录文件消费充值文件充值文件每日流水文件数据结构数据组织与更新策略数据一体化数据分析引擎多维分析可视化数据服务闭环的基础：多维数据分析多维分析引擎Block1Block2Block…StorageSchedulerDataStatsGatherDataExtractSQLParserQueryOptimizerExecutionPlanBitcodeEmitterExecuteSchedulerCDBSchedulerBlock1Block2Block…DataNode-2Block1Block2Block…DataNode-3BitmapFilterBuilderDynamicBitmapIndexCacheBitmapIndexGeneratorExecuteEngineDataMapperCol-1Col-1Col…AggregateMergerExecutor-1BitmapFilterBuilderDynamicBitmapIndexCacheBitmapIndexGeneratorExecuteEngineDataMapperCol-1Col-1Col…AggregateMergerExecutor-2BitmapFilterBuilderDynamicBitmapIndexCacheBitmapIndexGeneratorExecuteEngineDataMapperCol-1Col-1Col…AggregateMergerExecutor-3HDFSBlock1Block2Block3Block…DataRepresentationDataNode-1数据一体化数据分析引擎多维分析可视化数据服务闭环的基础：多维数据分析均衡存储并行计算即时编译编译执行最优化机器指令动态位图索引性别＝男年龄30成本低命中率高减少IO可支持大量列数据一体化数据分析引擎多维分析可视化分布式列式存储数据服务闭环的基础：多维数据分析主界面状态栏热点图指标编辑指标菜单表格控制指标区间指标调整大数据表格X表头Y表头滑动条指针标尺X滑动条Y滑动条文本修改器控件层业务处理层数据一体化数据分析引擎多维分析可视化数据服务闭环的核心：场景化用户精细化干预游戏主体功能与运营旁路的游戏运营引擎场景触发实时反馈关注游戏主体功能与玩法的研发和策划游戏策划与研发关注用户在不同场景的状态和需要，做更精细化的运营游戏运营数据服务闭环的核心：场景化用户精细化干预游戏内游戏外规则引擎IfA，ThanB条件动作推荐引擎算法模型用户画像系统用户触达管理实时数据通道用户数据和场景状态实时获取通过内外部数据更新用户画像通过用户对渠道、内容的偏好针对性投放，提高有效性通过低成本人工规则和精准的推荐，做到用户分群运营干预效果评估体系根据不同目标的运营（拉新、活跃、回流、收入），针对性的评估实验效果数据+画像规则+推荐效果评估用户触达管理数据服务闭环的核心：实时规则引擎用户状态和触发条件规则给予的干预动作IfA，ThanB双周活跃用户活跃度下降用户游戏副本A结束后与好友组团推送一个消息赠送一个道具推荐一个活动推荐一个任务双周活跃用户，且游戏副本A结束后，推送一个任务B活跃度下降用户，与好友组队完成后，赠送一个道具数据服务闭环的核心：实时规则引擎案例：刺激新用户存留新用户邀请好友对局结束后给予奖励数据服务闭环的核心：实时规则引擎实时计算消息队列KafkaKafka上海周浦IDC上海南汇IDC实时计算平台（Billow-RT）任务开发调度T-SQL实时计算引擎StormTRedisRocksDBTGlogCheckSvr实时事件消息总线EventTableBus实时指标一致性存储规则计算RT-Rule数据服务闭环的核心：场景化用户精细化干预单机8WQPS混合读写能力；存储容量TB级别，分布式平行扩容;单操作一读一写更新在2~5MS完成；独立开发SQL化的计算任务树，自动解析映射Storm计算引擎；以前硬编码开发时长从小时级别降低到配置开发10分钟级别；采用异步本地RocksDB存储+远程Tredis对账一致性纠错计算机制；保证实时计算指标的最终一致性。一些优化基于SSD+RocksDB+Redis构建分布式大数据缓存SSDB-TRedisT-SQL的任务配置开发计算模板实时指标最终一致性保障机制数据服务闭环的核心：场景化用户精细化干预方案好处游戏服务解耦；不依赖游戏版本开发节奏规则热更新、快速试错、调整运营节奏多维度+多度量+用户画像标签规则灵活组合维度度量指标一次开发，游戏、渠道、营销多方平台多次复用实时性满足日常营销规则场景（200~600ms）数据服务闭环的核心：需要更全面的用户数据用户在游戏内行为数据用户在公司其他产品行为数据用户在渠道行为数据游戏与产品在外部数据形成6大类标签，4.5万维特征财富自然人游戏特性SNS渠道兴趣数据服务闭环的核心：精准方案沉淀与复制存储系统离线计算系统实时计算系统自然语言处理算法分类算法聚类算法序列挖掘算法语义模型算法深度学习图计算新进数据活跃付费流失数据服务闭环的核心：任务推荐系统用户成长能力提升分类引导任务推荐完成度(喜好度)留存率/活跃时长任务描述难度运营目标0246810好友数击杀数死亡数KD比注册天数经验总量勋章级别最高级别在线时长游戏时长消费金额充值金额战队贡献点爆破模式团队模式终结者模式特殊战模式个人竞技模式机器人模式挑战模式其他模式团队机器人老玩家-爆破老玩家-多模式新手-爆破老玩家-偏爆破挑战模式新手-多模式终结者活跃度理想生命曲线用户分层精准拉新新手关怀成长引导活跃监控精准关怀流失预警精准干预潜在付费挖掘引导首次付费刺激付费留存培养付费习惯提升付费频次挖掘场景消费活跃关怀方案商业化精准方案一般生命曲线数据服务闭环的核心：精准方案沉淀与复制新进场景流失场景付费场景活跃场景数据服务闭环的拓展：数据也许可以做更多提高付费提升活跃增加用户量分析报表精细化用户运营游戏功能与玩法实时全面的分析用户分层运营规则自助化多维用户分析精准推荐数据服务闭环的拓展：数据也许可以做更多希望在游戏中快速成长希望在游戏中更多的社交互动希望在游戏中获得更多在尊重希望在游戏中寻求冒险刺激…………提高付费提升活跃增加用户量游戏内马斯洛需求层次数据服务闭环的拓展：数据也许可以做更多个人历程个人数据中心交友社区对局分析DataMore对玩家个人信息汇总与记录，激发他的分享、回顾、活跃通过大数据针对每局数据进行分析，协助玩家更好复盘的提升个人能力对个人能力的分析，帮助玩家了解自己，更快的学习游戏内容腾讯游戏大数据产品如何建设数据服务闭环数据化运营思路010203未来智能化时代自动化智能化生态化开放PaaS，提供基础能力共建SaaS，促进智能化运营生态多业务运营经验沉淀，加上智能推荐，形成智能化运营工具平台化，把方案沉淀为自动化运营AI个人数据中心成就与排行好友圈，找玩友未来智能化时代数字化运营精细化运营数字游戏化通过全方位的数据，展示出游戏的运营状况通过数据挖掘分场景，分用户，分方案运营把数据深度植入游戏功能，丰富游戏玩法未来智能化时代数字化运营精细化运营数字游戏化自动化智能化生态化数据应用方向平台建设方向让运营爱上数据