大数据应用场景之-个性化推荐

大数据应用场景之-个性化推荐01目录CONTENTS021个性化推荐概述2推荐系统与长尾理论3推荐机制4推荐机制PART01个性化推荐概述推荐系统的主要任务就是联系用户和信息，一方面帮助用户发现对自己有价值的信息，另一方面让信息能够展现在对它感兴趣的用户面前，从而实现信息消费者和信息生产者的双赢。03推荐系统产生的原因04信息过载互联网规模和覆盖面的迅速增长带来了信息过载问题：过量信息同时呈现使得用户无法从中获取对自己有用的信息，信息使用效率反而降低。推荐系统和搜索引擎的异同05搜索引擎获取信息需要用户能够准确描述自己需求的关键词推荐系统不需要用户提供明确的需求，而是通过分析用户的历史行为来对用户的兴趣进行建模搜索引擎和推荐系统对用户来说是两个互补的工具，前者需要用户“主动出击”，后者则让用户“被动笑纳”。什么是推荐系统06推荐系统是自动联系用户和物品的一种工具，通过研究用户的兴趣爱好，进行个性化推荐。每个用户所得到的推荐信息都是与自己的行为特征和兴趣有关，而不是笼统的大众化信息。推荐系统通过研究用户的兴趣点，帮助用户从海量信息中去发掘自己潜在的需求。推荐引擎已经在电子商务（例如Amazon，当当网）和一些基于社会化站点（包括音乐，电影和图书分享，例如豆瓣，Mtime等）都取得很大的成功。推荐系统和搜索引擎的异同07搜索推荐注重结果（如网页）之间的关系和排序还研究用户模型（userprofile）和用户的喜好，基于社会网络（socialnetwork）进行个性化的计算（personalization）由用户主导，包括输入查询词和选择结果，结果不好用户会修改查询再次搜索由系统主导用户的浏览顺寻，引导用户发现需要的结果。高质量的推荐系统会使用户对该系统产生依懒性。推荐系统不仅能够为用户提供个性化的服务，而且能够与用户建立长期稳定的关系，提高用户忠诚度，防止用户流失。搜索引擎的工作原理08推荐系统的工作原理09推荐引擎利用特殊的信息过滤技术，将不同的物品或内容推荐给可能对它们感兴趣的用户。推荐引擎物品信息（关键字，基因）用户对物品的偏好（评分，查看，购买）用户信息（性别，年龄）ABCD数据来源物品用户推荐给推荐给推荐给推荐给PART02推荐系统与长尾理论10长尾理论是网络时代兴起的一种新理论。由于成本和效率的因素，当商品储存、流通、展示的场地和渠道足够宽广，商品生产成本急剧下降以至于个人都可以进行生产，并且商品的销售成本急剧降低时，几乎任何以前看似需求极低的产品，只要有卖，都会有人买。这些需求和销量不高的产品所占据的共同市场份额，可以和主流产品的市场份额相当，甚至更大。长尾理论11长尾理论就是只要存储和流通的渠道足够大，需求不旺或销量不佳的产品共同占据的市场份额就可以和那些数量不多的热卖品所占据的市场份额相匹敌甚至更大。典型的情况是只有少数产品销量较高，其余多数产品销量很低。传统的20/80定律关注其中红色部分，认为20%的品种带来了80%的销量，所以应该只保留这部分，其余的都应舍弃。长尾理论则关注蓝色的长尾巴，认为这部分积少成多，可以积累成足够大、甚至超过红色部分的市场份额。互联网企业销售适合长尾理论12长尾理论统计的是销量，并非利润，所以，管理成本是其中最关键的因素超市是通过降低单品销售成本，从而降低每个品种的止亏销量，扩大销售品种。为了吸引顾客和营造货品齐全的形象，超市甚至可以承受亏损销售一些商品，但迫于仓储、配送的成本，超市的承受能力是有限的互联网企业可以降低单品销售成本。因为没有真正的库存，而网站流量和维护费用远比传统店面低，所以能够极大地扩大销售品种如果互联网企业销售的是虚拟产品，则支付和配送成本几乎为0，可以把长尾理论发挥到极致互联网企业销售，特别是虚拟产品销售，适合长尾理论推荐系统与长尾理论13要使长尾理论更有效，应该尽量增大尾巴，也就是降低门槛，制造小额消费者使用长尾理论必须谨慎，保证任何一项成本都不随销量的增加而激增推荐系统对长尾理论的作用推荐系统的一大优势就是可以通过挖掘用户的行为记录，找到用户的个性化需求，发现用户潜在的消费倾向，从而把长尾商品准确地推荐给需要它的用户，帮助用户发现那些他们感兴趣但却难发现的商品，实现用户与商家的共赢。PART03推荐机制大部分推荐引擎的工作原理是基于物品或者用户的相似集进行推荐，所以可以根据不同的数据源发现数据相关性的方法对推荐机制进行分类。14推荐机制15大部分推荐引擎的工作原理是基于物品或者用户的相似集进行推荐，所以可以根据不同的数据源发现数据相关性的方法对推荐机制进行分类：1.基于人口统计学的推荐：根据系统用户的基本信息发现用户的相关程度；2.基于内容的推荐：根据推荐物品或内容的元数据，发现物品或者内容的相关性；3.基于协同过滤的推荐：根据用户对物品或者信息的偏好，发现物品或者内容本身的相关性，或者是发现用户的相关性。推荐机制——基于人口统计学的推荐16推荐机制——基于人口统计学的推荐基于人口统计学的推荐机制（Demographic-BasedRecommendation）是一种最易于实现的推荐方法，它只是简单的根据系统用户的基本信息发现用户的相关程度，然后将相似用户喜爱的其他物品推荐给当前用户。推荐机制——基于人口统计学的推荐17用户A用户B用户C物品A物品B物品C相似喜欢喜欢推荐用户A年龄：25-30性别：女用户C年龄：25-30性别：女用户B年龄：30-35性别：男物品D喜欢推荐机制——基于人口统计学的推荐18基于人口统计学的推荐机制的主要优势：①对于新用户来讲没有“冷启动”的问题，这是因为该机制不使用当前用户对物品的喜好历史数据。②它是领域独立的，不依赖于物品本身的数据，所以可以在不同物品的领域都得到使用。推荐机制——基于人口统计学的推荐19基于人口统计学的推荐机制的主要问题：①基于用户的基本信息对用户进行分类的方法过于粗糙，尤其是对品味要求较高的领域，比如图书，电影和音乐等领域，无法得到很好的推荐效果。②这个方法可能涉及到一些与信息发现问题本身无关却比较敏感的信息，比如用户的年龄等，这些用户信息不是很好获取。推荐机制——基于内容的推荐20基于内容的推荐是在推荐引擎出现之初应用最为广泛的推荐机制。核心思想：根据推荐物品或内容的元数据，发现物品或者内容的相关性，然后基于用户以往的喜好记录，推荐给用户相似的物品。推荐机制——基于内容的推荐21用户A用户B用户C电影A电影B电影C相似喜欢喜欢喜欢推荐电影A类型：爱情、浪漫电影C类型：爱情、浪漫电影B类型：恐怖、惊悚推荐机制——基于内容的推荐22基于内容的推荐机制的主要问题：①需要对物品进行分析和建模，推荐的质量依赖于对物品模型的完整和全面程度；②物品相似度的分析仅仅依赖于物品本身的特征，这里没有考虑人对物品的态度；③因为需要基于用户以往的喜好历史做出推荐，所以对于新用户有“冷启动”的问题。推荐机制——基于协同过滤的推荐23随着互联网时代的发展，Web站点更加提倡用户参与和用户贡献，因此基于协同过滤的推荐机制应运而生。它的原理就是根据用户对物品或者信息的偏好，发现物品或者内容本身的相关性，或者是发现用户的相关性，然后再基于这些关联性进行推荐。基于协同过滤的推荐可以分为三个子类：①基于用户的推荐②基于项目的推荐③基于模型的推荐推荐机制——基于协同过滤的推荐24①基于用户的协同过滤推荐基于用户的协同过滤推荐的基本原理是根据所有用户对物品或者信息的偏好，发现与当前用户口味和偏好相似的“邻居”用户群，在一般的应用中是采用计算“K-邻居”的算法；然后，基于这K个邻居的历史偏好信息，为当前用户进行推荐。推荐机制——基于协同过滤的推荐25②基于项目的协同过滤推荐基于项目的协同过滤推荐的基本原理是使用所有用户对物品或者信息的偏好，发现物品和物品之间的相似度，然后根据用户的历史偏好信息，将类似的物品推荐给用户。用户A用户B用户C物品A物品B物品C喜欢推荐相似推荐机制——基于协同过滤的推荐26③基于模型的协同过滤推荐基于模型的协同过滤推荐就是基于样本的用户喜好信息，采用机器学习的方法训练一个推荐模型，然后根据实时的用户喜好的信息进行预测，计算推荐。线下：建立模型，使用数据挖掘技术•模型具有滞后效应，需要周期更新•模型建立算法复杂耗时，必须线下进行线上：预测推荐推荐机制——基于协同过滤的推荐27用户-项目评分表粗糙K-means用户聚类用户初始近邻集搜索目标用户最近临集最近邻用户-项目评分表用户目标离线在线推荐机制——基于协同过滤的推荐的优点28它不需要对物品或者用户进行严格的建模，而且不要求物品的描述是机器可理解的，所以这种方法也是领域无关的；这种方法计算出来的推荐是开放的，可以共用他人的经验，很好的支持用户发现潜在的兴趣偏好。推荐机制——基于协同过滤推荐机制的问题29方法的核心是基于历史数据，所以对新物品和新用户都有“冷启动”的问题；推荐的效果依赖于用户历史偏好数据的多少和准确性；在大部分的实现中，用户历史偏好是用稀疏矩阵进行存储的，而稀疏矩阵上的计算有些明显的问题，包括可能少部分人的错误偏好会对推荐的准确度有很大的影响等；对于一些特殊品味的用户不能给予很好的推荐；由于以历史数据为基础，抓取和建模用户的偏好后，很难修改或者根据用户的使用演变，从而导致这个方法不够灵活。推荐机制——混合推荐机制30混合推荐机制通过组合多种推荐机制可以避免或弥补单独的推荐技术各自的缺陷，从而达到更好的推荐效果几种比较流行的组合方法：•加权的混合•切换的混合•分区的混合•分层的混合推荐机制——混合推荐机制31加权的混合用线性公式将几种不同的推荐按照一定权重组合起来，具体权重的值需要在测试数据集上反复实验，从而达到最好的推荐效果。切换的混合对于不同的情况（数据量，系统运行状况，用户和物品的数目等），推荐策略可能有很大的不同，那么切换的混合方式，就是允许在不同的情况下，选择最为合适的推荐机制计算推荐。推荐机制——混合推荐机制32分区的混合采用多种推荐机制，并将不同的推荐结果分不同的区显示给用户。其实，Amazon和当当网等很多电子商务网站都是采用这样的方式，用户可以得到很全面的推荐，也更容易找到他们想要的东西。分层的混合采用多种推荐机制，并将一个推荐机制的结果作为另一个的输入，从而综合各个推荐机制的优缺点，得到更加准确的推荐。推荐系统的应用——在电子商务中：Amazon33Amazon推荐的核心是通过数据挖掘算法和比较用户的消费偏好与其他用户进行对比，借以预测用户可能感兴趣的商品。Amazon采用的是分区的混合的机制，并将不同的推荐结果分不同的区显示给用户。PART04推荐机制的应用目前在电子商务、社交网络、在线音乐和在线视频等各类网站和应用中，推荐系统都起着很重要的作用。代表性的推荐系统的应用：Amazon作为电子商务的代表，豆瓣作为社交网络的代表。34推荐系统的应用——在电子商务中：Amazon35Amazon利用可以记录的所有用户在站点上的行为，根据不同数据的特点对它们进行处理，并分成不同区为用户推送推荐：针对用户的推荐（Recommendationsforyou）•基于物品的CF热销产品推荐（Bestsellers）•基于销售量捆绑销售（FrequentlyBoughtTogether）•基于物品的CF别人共同购买的商品（Customerswhoboughtthisitemalsobought）•基于用户的CF推荐系统的应用——在电子商务中：Amazon36推荐系统的应用——在电子商务中：Amazon37基于用户行为的推荐（Recommendationsforyou）：基于物品的协同过滤推荐，通常是根据用户的近期的历史购买或者查看记录，并结合时下流行的物品给出一个折中的推荐；热销产品推荐（Bestsellers）：基于销售量，将销售量最高的物品推荐给用户。在方法选择上由于热销物品没有大量的用户喜好信息，所以基于销售量的推荐能很好的解决这个“冷启动”的