个性化搜索技术和应用

个性化搜索技术和应用公达一淘及搜索事业部-搜索技术-算法技术目录1.个性化搜索2.个性化搜索系统3.用户数据4.个性化模型为什么做个性化搜索1.解决长尾需求，实现搜索结果多样性2.满足用户隐含购物需求，缩短购物路径T恤——T恤女——T恤女甜美——T恤女甜美[50~100]个性化搜索的挑战1.如何描述用户的个性，是否准确？2.如何应用个性化数据，改进搜索结果？用户个性和用户未来的点击、购买的宝贝之间有什么关系？性别准确率：94%，召回率：86%搜“T恤”，男性用户点“男T恤”的概率：58%搜“T恤”，女性用户点“女T恤”的概率：77%什么时候需要个性化训练数据转化型query浏览型queryQuery的个性化意图地域性别购买力年龄段。。。1.显式：query包含个性化tag2.隐示：query不包含个性化tag连衣裙，大裤衩电影票骷髅头T恤情侣装蕾丝正版海外购官网高档samsung三星galaxynotei92203g(gsm/wcdma)手机黑色弹力修身高腰小脚裤薄款eg.用户意图分析模型个性化程度无个性化过度个性化适度个性化对于高档购买力的人，搜“T恤女”时，展示的结果个性化的时效性当前点击“甜美”的人，未来点击“甜美”的概率横轴是未来点击与当前的点击次数间隔，即未来第n次点击纵轴是点击“甜美”的概率个性化搜索系统搜索基础数据用户数据引擎Query处理引擎商品搜索引擎前端离线计算商品用户Query全量数据处理实时数据处理个性化搜索平台用户基本特征：性别年龄职业地域购物偏好：购买力风格销量服务质量类目品牌关键词宝贝销量价格类目风格品牌关键词卖家服务质量特色个性化模型宝贝用户Query性别模型确定模型目标整合训练数据训练模型模型评测样本特征表述转化为2分类问题支付宝身份证性别数据GBDT1.准确率/召回率2.人工评测1.选择性别差异明显的类目上的男女行为（点击，成交，收藏）占比2.考虑行为时效性购买力模型•类目价格分档•根据用户购买，收藏，点击宝贝的价格来计算用户+类目的购买力•利用协同过滤的思想，补充没行为的用户+类目的购买力U_1U_2U_3C_1C_2C_3U_4U_5U_6C_4C_5？？？？？？？？？C_1C_2C_3C_1C_2C_3C_4C_5C_4C_5)_,_(2,)_,_(2,)_,_(,,)_,_(bCaCUsbsbbCaCUsasabCaCUsbsbasaRRRRRRRRbCaCSIMKtopkKtopkkakCjCSIMRkCjCSIMjCaUScore11,_,__,_)_,_(用户类目类目类目关键词偏好•通过用户点击，购买，成交，收藏的商品的标题挖掘用户所关注的语意单元的信息•方法：–基于历史商品标题分词粒度的TF-IDF统计模式•问题：–粒度太细，用户在单个词上难有长期偏好–词太多，存储空间大–页面展示效果较凌乱–建立基于user-商品原始统计为基础的topicmodel的解决方案•PLSA•LDA•人工reviewtopic下的词森女森系森林系森女系。。。个性化定制线上：新方案：•方便用户查看、修改个性化信息用户数据用户数据数据分析工具数据分析工具数据分析工具购买力接近的人，点击的商品也接近数据分析工具数据分析工具年龄接近的人，点击的商品也接近个性化模型•利用用户偏好和宝贝属性，预测用户对宝贝的满意度。•使用L1-LR逻辑回归模型•L1-LR的优点是可以产生稀疏的特征权重，更容易解释搜索结果页成交宝贝详情页点击宝贝点击评价、收藏、购买。。。满意度L1-LR模型模型训练•MPI集群：200台机器*24线程•10亿条训练数据，500G•100万个特征，0/1特征•10分钟训练特征处理•特征离散化•加快处理速度•非线性•特征平滑•威尔逊区间•PV越小，CTR的置信度越小•防止低pv的商品占优势•特征组合•非线性•PV+IPV组合，比CTR的信息更多特征聚合•特征降维：特征维度高、稀疏、误差大•相似特征有相似的权重•特征的权重近似于后验概率评估指标•线下•特征权重分析•AUC(areaundercurve)•NDCG(NormalizedDiscountedCumulativeGain)•分queryAUC•分用户+类目AUC•线上：A/Btest•成交转化率，CTR业务指标•Case查看特征权重历史7天商品Ctr与weight分布7天CVR与weight分布历史30天商品Ctr与weight分布-0.6-0.4-0.200.20.40.6123456789101112商品销量档偏好高销量用户-0.100.10.20.3123456789101112无高销量用户-0.8-0.6-0.4-0.200.20.40.612345购买力档位-商品价格低购买力中购买力高购买力男性女性森系欧美个性化搜索技术和应用公达谢谢！