Top100summit个性化的双11-个性化推荐技术的应用——天猫张奇

个性化的双11-天猫推荐技术应用张奇（得福）天猫推荐算法团队2013·11-23天猫推荐总体情况服务平台MobilePC推荐实体品牌推荐商品推荐促销活动等等推荐形式User2ItemsItem2ItemsPersonalizedRankingOthers推荐产品超过40+推荐产品每天服务6M+用户(有点击过推荐产品)天猫推荐总体情况-架构用户实时意图计算推荐实体索引检索Ranker（CTR预估）装配（参数化）在线实验框架离线实验框架Detail给我推荐会员俱乐部推荐天猫/淘宝首页logo推荐图书城推荐前端匹配层Hadoop集群MPI集群Spark集群2013-11-1100:01:002013-11-11天猫总体效果-双11当天9.4521322500501001502002503002010201120122013最近四年双11成交趋势（仅天猫，单位：亿）双11推荐产品的效果预热期（10月30日至11月10日）双11当天（11月11日）14.00%16.00%18.00%20.00%22.00%24.00%020000000400000006000000080000000100000000120000000预热期推荐引导加入购物车占总体的趋势推荐引导购物车量天猫加入购物车量购物量占比预热期平均16%的加入购物车行为是由推荐引导的双11推荐产品的效果-预热期582.301020304050607080902012年2013年最近两年推荐引导成交的金额趋势（仅天猫，单位：亿）预热期由推荐引导收藏和购物车的商品在双11当天成交的金额为：25.5亿。双11当天由推荐直接引导的成交总额（不同资源位去重）：56.8亿双11当天点击推荐产品的用户：36M双11推荐产品的效果-双11当天双11当天，推荐引导了近30%的成交遇到的挑战…系统•流量暴增带来的系统压力算法•用户行为模式特征•实时计算转离线计算•效果压力估计QPS65w，需要机器1350台峰值QPS为500的机器。而我们只有500台机器……遇到的挑战-流量压力------性能的优化是必须的非个性化推荐：CDN静态化•Cache命中率达到95%降低系统依赖•建立商品信息库，减少对其他系统的依赖。算法数据本地Cache•对数据量小(1w)的算法数据，一次性load全部key到内存，实现本地化过滤遇到的挑战-流量压力-优化方案用户相关的推荐（非CDN化）非个性化的推荐（CDN静态化）遇到的挑战-流量压力-优化方案遇到的挑战…系统•流量暴增带来的系统压力算法•用户行为模式特征•实时计算转离线计算•效果压力非会员T0T1T2T3用户行为差异一：登陆用户数非会员T0T1T2T3用户行为差异二：人均点击商品数非会员T0T1T2T3用户行为差异三：单用户单日消费额遇到的挑战-用户行为的特点00.511.522.533.544.5500.020.040.060.080.10.12非会员T0T1T2T3消费的理性程度：加入购物车数/点击商品数遇到的挑战-用户行为的特点2------用户的购物模式并没有太大的改变证据2：以日常点击为目标训练的modelVS以大促点击为目标训练的model遇到的挑战…系统•流量暴增带来的系统压力算法•用户行为模式特征•实时计算转离线计算•效果压力双11-我们的工作原有推荐位的升级和改造无线双11个性化会场我的双11……双11-我们的工作原有推荐位的升级和改造无线双11个性化会场我的双11……双11-无线个性化会场为什么要个性化：如何做个性化：女装分会场190个品牌，在手机上要展示近100排。点击衰减情况：用户熟悉的品牌可能喜欢的新品牌折扣非常高的国际大牌双11-无线个性化会场考察的指标：预热期：收藏+加入购物车量、粘性双11当天：成交额、转化率对比方式：个性化排序vs运营赛马会场个性化算法-综述基准桶（运营赛马桶）个性化桶AB偏好的品牌可能喜欢的新品牌userx融合、排序userx千人一面千人千面Q1Q2Q3Q1:偏好的品牌计算逻辑购买浏览收藏加入购物车关注…预热期B1B1,B3B3一个月三个月六个月B5,B6B6…foruserx偏好品牌集合foruserx6b1b3b5bQ2:发现新品牌偏好品牌集合foruserx6b1b3b5bbibisim协同过滤算法：男女装线下打标数据：bibitag主品牌相似品牌1b3b5b6bb11；b12；b13；…；b1hb21；b22；b23；…；b2kb61；b62；b63；…；b6k相似品牌新品牌foruserx……Q3:如何计算权重？foruserx偏好的品牌发现的品牌finallistforuserx经验版学习版if浏览次数3or购买次数1thenscore=3elseif关注过and购买次数1thenscore=9elseif收藏次数=1and购买次数=0thenscore=5……LearnfromthehistoryQ3:如何计算权重（学习版）在相似的场景下，用当时用户的点击数据（点击当时的品牌数据），学习出，在这种场景下，什么样的品牌特征是重要的，有多重要。用户曝光品牌特征1(点击次数)特征2(购买次数)…特征n是否点击Xbrand1201brand2310brand30……brandn……1w1w2wn学习的目标：去年双11日志：Q3:如何计算权重machinelearninglogisticregression@MPI结果双11当天，无线女装会场个性化算法相对于运营赛马结果，成交金额提升27%。无线男装会场相比基准桶，成交金额提升15%。无线女装会场预热期效果（10月30日至11月10日）购物阶段情景指标提升展示阶段曝光情况分桶量-曝光PV-点击PV-点击PV/曝光PV3.77%进店后IPV点击情况点击商品数12.17%点击商品的用户数9.45%人均点击商品数2.48%收藏收藏/加入购物车收藏量15.39%人均收藏量5.42%加入购物车量20.38%人均加入购物车量9.98%广而告之天猫推荐算法大赛面向人群：主要面对高校学生，但是不做特别限制比赛时间（拟定）：season1：(2014年03月至2014年08月)season2：(2014年09月至2014年11月)目标：共同参与2014年双11欢迎加入我们-和我们一起做能影响上亿消费者的个性化推荐产品-我们是小而精的团队：9个算法工程师+4个开发工程师谢谢Q&A邮箱：[e-mail]朋友就是要来往