互联网推荐系统技术简介

互联网推荐系统技术简介福建新大陆软件工程公司2014年5月22目录推荐原理互联网推荐系统参考背景简介移动电信行业的推荐系统探讨33为何要推荐主动搜索•知道自己要什么•知道如何去描述系统推荐•不知道去哪里找•不知道如何去描述信息超载+时间有限主动搜索+系统推荐44电商推荐案例-亚马逊Amazon利用可以记录的所有用户在站点上的行为，根据不同数据的特点对它们进行处理，并分成不同区为用户推送推荐：基于社会化的推荐，Amazon会给你事实的数据，让用户信服，例如：购买此物品的用户百分之多少也购买了那个物品；基于物品本身的推荐，Amazon也会列出推荐的理由，例如：因为你的购物框中有***，或者因为你购买过***，所以给你推荐类似的***。55社交推荐案例-豆瓣豆瓣基于社会化的协同过滤的推荐，用户越多，用户的反馈越多，那么推荐的效果会越来越准确。相对于Amazon的用户行为模型，豆瓣电影的模型更加简单，就是“看过”和“想看”，这也让他们的推荐更加专注于用户的品味，毕竟买东西和看电影的动机还是有很大不同的。另外，豆瓣也有基于物品本身的推荐，当你查看一些电影的详细信息的时候，他会给你推荐出“喜欢这个电影的人也喜欢的电影”66目录推荐原理互联网推荐系统参考背景简介移动电信行业的推荐系统探讨77推荐引擎工作原理推荐引擎所需要的数据源包括：要推荐物品或内容的元数据，例如关键字，基因描述等；系统用户的基本信息，例如性别，年龄等用户对物品或者信息的偏好，根据应用本身的不同，可能包括用户对物品的评分，用户查看物品的记录，用户的购买记录等。其实这些用户的偏好信息可以分为两类：显式的用户反馈：这类是用户在网站上自然浏览或者使用网站以外，显式的提供反馈信息，例如用户对物品的评分，或者对物品的评论。隐式的用户反馈：这类是用户在使用网站是产生的数据，隐式的反应了用户对物品的喜好，例如用户购买了某物品，用户查看了某物品的信息等等。推荐引擎根据不同的推荐机制可能用到数据源中的一部分，根据这些数据，分析出一定的规则或者直接对用户对其他物品的喜好进行预测计算。在用户进入的时候给他推荐他可能感兴趣的物品。88推荐引擎分类基于人口统计学的推荐基于内容的推荐混合的推荐机制基于协同过滤的推荐根据推荐物品或内容的元数据，发现物品或者内容的相关性，然后基于用户以往的喜好记录，推荐给用户相似的物品将多个方法混合在一起，从而达到更好的推荐效果简单的根据系统用户的基本信息发现用户的相关程度，然后将相似用户喜爱的其他物品推荐给当前用户根据用户对物品或者信息的偏好，发现物品或者内容本身的相关性，或者是发现用户的相关性，然后再基于这些关联性进行推荐99基于人口统计学的推荐优点：1）不使用当前用户对物品的喜好历史数据，所以对于新用户来讲没有“冷启动（ColdStart）”的问题。2）不依赖于物品本身的数据，在不同物品的领域都可以使用缺点过于粗糙，尤其是对品味要求较高的领域，比如图书，电影和音乐等领域，无法得到很好的推荐效果1010基于内容的推荐优点：1）能很好的建模用户的口味2）能提供更加精确的推荐缺点：1）推荐的质量依赖于对物品模型的完整和全面程度2）物品相似度的分析仅仅依赖于物品本身的特征，这里没有考虑人对物品的态度3）需要基于用户以往的喜好历史做出推荐，所以对于新用户有“冷启动”的问题。常用算法决策树、神经网络、基于向量的TF-IDF方法1111基于协同过滤的推荐优点：1）能够过滤难以进行机器自动内容分析的信息，如艺术品，音乐等。2）共享其他人的经验，避免了内容分析的不完全和不精确，并且能够基于一些复杂的，难以表述的概念（如信息质量、个人品味）进行过滤。3）有推荐新信息的能力。可以发现内容上完全不相似的信息，用户对推荐信息的内容事先是预料不到的。这也是协同过滤和基于内容的过滤一个较大的差别，基于内容的过滤推荐很多都是用户本来就熟悉的内容，而协同过滤可以发现用户潜在的但自己尚未发现的兴趣偏好。4）能够有效的使用其他相似用户的反馈信息，较少用户的反馈量，加快个性化学习的速度。缺点：1）用户对商品的评价非常稀疏，这样基于用户的评价所得到的用户间的相似性可能不准确（稀疏性）;2）随着用户和商品的增多，系统的性能会越来越低;3）如果从来没有用户对某一商品加以评价，则这个商品就不可能被推荐（即最初评价问题）。常用算法item-basedCF、user-basedCF、SlopeOne1212目录推荐原理互联网推荐系统参考背景简介移动电信行业的推荐系统探讨1313互联网推荐特点1414百度推荐引擎架构1515阿里巴巴推荐引擎架构1616腾讯推荐引擎架构1717目录推荐原理互联网推荐系统参考背景简介移动电信行业的推荐系统探讨1818功能要素活跃用户追踪潜在用户挖掘业务评估用户偏好流量解析个性推荐群体分发描述分析预测1919系统功能电信基础业务推荐应用层数据模型层数据分析APP推荐推荐系统功能游戏推荐阅读推荐流量套餐推荐用户行为用户偏好用户属性用户画像物品评分物品类别物品属性推荐物品资源矩阵用户聚类协同过滤相似性计算基于内容的推荐个性化补足推荐2020分布式架构的应用计算引擎：MapReduce分布式架构程序存储底层：HDFS原始数据存储存储引擎：HBASE存储用户和物品属性、评分数据HADOOP查询引擎：Hive分布式数据查询数据采集引擎：Flume采集用户访问日志、上网日志、运营数据等转储至hdfs推荐引擎：Mahout分布式推荐算法实现任务调度引擎：Oozie分布式工作流引擎IDE集成开发：Eclipse2121推荐引擎业务流程访问日志上网日志用户属性运营数据用户访问路径分析分类计算经分系统数据清洗数据处理用户画像物品数据源向量化物品数据矩阵推荐算法特征过滤推荐结果数据推荐排名2222偏好推荐用户画像•移动属性：品牌、套餐、3G用户、实时流量消费•终端信息：操作系统、机型•重点营销对象：是否本站访问用户重点维护对象：是否本站客户端用户•用户App偏好类型•用户站内下载信息•用户浏览信息•用户访问竞争站点情况用户TOP兴趣标签{标签，权重}用户偏好产品{形态，主题，流量}本月上网记录（pv/d,流量/d）24小时用户上网行为轨迹（时间段，消费的互联网内容标签）基础信息App偏好兴趣偏好上网行为用户2323推荐营销示例分析业务之间的关联关系，对具备高关联度业务进行各业务子集的可信度预测，向某一用户推荐其已使用业务的关联业务分析业务之间的关联关系，对高相似度用户进行各业务子集的可信度预测，向某些用户推荐与其相似用户常使用的业务。基于内容相似度基于用户相似度2424卓越创新、共同进步!研究院南京中心项炤赟