电子商务推荐系统介绍

电子商务推荐系统介绍2019/8/1提纲•电子商务推荐系统简介•电子商务推荐系统技术介绍•基于关联规则的推荐算法•基于最近邻居的协同过滤算法•基于项目的协同过滤算法•基于二部图的推荐算法2019/8/1电子商务推荐系统简介•Harvard商学院的JoePing在大规模定制一文中认为现代企业应该从大规模生产(以标准化的产品和均匀的市场为特征)向大规模定制(为不同客户的不同需求提供不同的商品)转化•电子商务推荐系统(RecommendationSystem)向客户提供商品信息和建议，模拟销售人员帮助客户完成购买过程2019/8/1电子商务推荐系统简介•电子商务推荐系统的作用：将电子商务网站的浏览者转变为购买者(ConvertingBrowsersintoBuyers)提高电子商务网站的交叉销售能力(Cross-Sell)提高客户对电子商务网站的忠诚度(BuildingLoyalty)2019/8/1电子商务推荐系统简介•电子商务推荐系统的界面表现形式分类：Browsing：客户提出对特定商品的查询要求，推荐系统根据查询要求返回高质量的推荐SimilarItem：推荐系统根据客户购物篮中的商品和客户可能感兴趣的商品推荐类似的商品Email：推荐系统通过电子邮件的方式通知客户可能感兴趣的商品信息TextComments：推荐系统向客户提供其他客户对相应产品的评论信息2019/8/1电子商务推荐系统简介•电子商务推荐系统的界面表现形式分类(续)：AverageRating：推荐系统向客户提供其他客户对相应产品的等级评价Top-N：推荐系统根据客户的喜好向客户推荐最可能吸引客户的N件产品OrderedSearchResults：推荐系统列出所有的搜索结果，并将搜索结果按照客户的兴趣降序排列2019/8/1电子商务推荐系统简介•电子商务推荐系统的输入：客户输入(TargetedCustomerInputs)隐式浏览输入(Implicitnavigation)：客户的浏览行为作为推荐系统的输入，但客户并不知道这一点显式浏览输入(Explicitnavigation)：客户的浏览行为是有目的向推荐系统提供自己的喜好关键词和项目属性输入(KeywordsandItemattributes)：客户输入关键词或项目的有关属性以得到推荐系统有价值的推荐用户购买历史(Purchasehistory)：用户过去的购买纪录2019/8/1电子商务推荐系统简介•电子商务推荐系统的输入(续)：社团输入(CommunityInputs)项目属性(ItemAttribute)：社团对商品风格和类别的集体评判社团购买历史(CommunityPurchaseHistory)：社团过去的购买纪录文本评价(TextComments)：其他客户对商品的文本评价，计算机并不知道评价是好是坏评分(Rating)：其他客户对商品的评分，计算机可以对评分进行处理2019/8/1电子商务推荐系统简介•电子商务推荐系统的输出：建议(Suggestion)单个建议(SingleItem)未排序建议列表(UnorderedList)排序建议列表(OrderedList)预言(Prediction)：系统对给定项目的总体评分个体评分(IndividualRating)：输出其他客户对商品的个体评分评论(Review)：输出其他客户对商品的文本评价2019/8/1电子商务推荐系统简介•推荐技术分类标准：自动化程度(DegreeofAutomation)：客户为了得到推荐系统的推荐是否需要显式的输入信息持久性程度(DegreeofPersistence)：推荐系统产生推荐是基于客户当前的单个会话(Session)还是基于客户的多个会话2019/8/1电子商务推荐系统简介•推荐技术分类Non-PersonalizedRecommendation：推荐系统的推荐主要基于其他客户对该产品的平均评价，这种推荐系统独立于客户，所有的客户得到的推荐都是相同的(自动，瞬时)Attributed-BasedRecommendation：推荐系统的推荐主要基于产品的属性特征(手工)Item-to-ItemCorrelation：推荐系统根据客户感兴趣的产品推荐相关的产品(瞬时)People-to-PeopleCorrelation：，又称协同过滤，推荐系统根据客户与其他已经购买了商品的客户之间的相关性进行推荐(自动，持久)2019/8/1电子商务推荐系统简介•电子商务推荐系统研究热点与方向：对当前的电子商务推荐系统进行改进，以使得推荐系统能产生更加精确的推荐将数据挖掘技术及Web挖掘技术应用到电子商务推荐系统中，产生完全自动化的推荐，使用户感受到完全个性化的购物体验将电子商务推荐系统由虚拟的销售人员转变为市场分析工具开发销售方的电子商务推荐系统，为商家的产品定价、促销活动及交叉销售等提供推荐2019/8/1电子商务推荐系统技术介绍•电子商务推荐系统使用的技术主要有：二部图关联规则聚类协同过滤技术2019/8/1电子商务推荐系统技术介绍•电子商务推荐系统中的关联规则技术根据关联规则发现算法和客户当前的购买行为向用户产生推荐•关联规则的发现也可以离线进行•推荐精度比最近邻技术略差•具体介绍见第三节2019/8/1电子商务推荐系统技术介绍•电子商务推荐系统中的聚类技术将具有相似爱好的客户分配到相同的族中，聚类产生之后，根据族中其他客户对某商品的评价就可以得到系统对该商品的评价•聚类过程可以离线进行•聚类产生之后，性能比较好•如果某客户处于一个聚类的边缘，则对该客户的推荐精度比较低•推荐精度比最近邻技术略差2019/8/1电子商务推荐系统技术介绍•电子商务推荐系统中的协同过滤技术一般采用最近邻技术，利用客户的历史喜好信息计算客户之间的距离，目标客户对特定商品的喜好程度由其最近邻居对商品评价的加权平均值来计算•可以处理客户数据变化比较快的情况•在大型数据库中搜索最近邻居非常耗时，实时性不好2019/8/1电子商务推荐系统技术介绍•协同过滤算法的主要挑战：算法的适应能力：处理大规模的数据推荐精度，使用如下两个指标来度量：Falsenegatives：客户喜欢但推荐系统并没有推荐的商品Falsepositive：推荐系统推荐但客户并不喜欢的商品2019/8/1基于聚类的推荐算法•用户聚类和项目聚类2019/8/1协同过滤算法•任务：预测下表中问号所对应的得分2019/8/1基于最近邻居的协同过滤算法•算法分为三个主要的阶段：表示(Representation)：对客户已经购买的商品进行建模邻居形成(NeighborhoodFormation)：寻找目标客户所对应的邻居推荐产生(RecommendationGeneration)：从目标客户的邻居中产生N项产品推荐2019/8/1基于最近邻居的协同过滤算法•表示阶段：用m*n阶客户-商品矩阵表示•Ri,j=1，如果第i个客户购买了第j件商品•Ri,j=0，如果第i个客户没有购买第j件商品2019/8/1基于最近邻居的协同过滤算法•上述表示称为原始表示(OriginalRepresentation)，这种表示的主要问题有：稀疏性(Sparsity)：大部分的客户购买的商品不到全部商品的1%，从而使得推荐精度很低适应性(Scalability)：计算代价随着客户数目和商品数目的增加而增加，很难满足实时性要求同义词问题(Synonymy)：同一类商品的名字不一样2019/8/1基于最近邻居的协同过滤算法•通过奇异值分解(SingularValueDecomposition)将m*n阶客户-商品矩阵变换为m*k阶矩阵，这种表示称为降维表示(ReducedDimensionalRepresentation)，可以部分解决原始表示存在的稀疏性、缩放性和同义词问题2019/8/1基于最近邻居的协同过滤算法•邻居形成阶段：关键在于计算客户之间的相似性。•目标：对于每个客户u，找到它的l个邻居N={N1,N2,…,Nl}，使得sim(u,N1)最大，sim(u,N2)次之，……。2019/8/1基于最近邻居的协同过滤算法•推荐产生阶段：由目标客户的邻居产生N件商品推荐，可以采用如下两种不同方法产生推荐最频繁项目推荐(Most-frequentItemRecommendation)：扫描目标客户每一个邻居的购买数据，对其购买的商品进行计数，选择出现频率最高且目标客户没有购买的前N件商品最为推荐结果基于关联的推荐(AssociationRule-basedRecommendation)：类似于前面介绍的基于关联规则的推荐算法，只是将目标客户的邻居作为算法的输入2019/8/1协同过滤算法•任务：预测下表中问号所对应的得分2019/8/1基于最近邻居的协同过滤算法•以用户U1对电影I3的评分为例：•对电影I3有用户U2,U3,U4进行评分•分别计算U1和U2,U1和U3,U1和U4的相似度（利用余弦相似性）2019/8/12019/8/11322224*23*3(,)0.9430(43)(23)simUU1422224*23*4(,)0.8944(43)(24)simUU2.3154基于项目的协同过滤算法•基本思路：根据目标客户已经评价过的项目与目标项目的相似性，选择k个最相似的项目{i1,i2,……,ik}，同时得到k个最相似的项目与目标项目的相似度，记为{si1,si2,……,sik}，然后将目标客户对这k个最相似的项目的评分及这k个最相似的项目与目标项目的相似度的加权平均值作为对目标项目的评分2019/8/1基于项目的协同过滤算法•本算法主要分两步：项目相似性计算产生推荐2019/8/1基于项目的协同过滤算法•计算项目i和j之间的相似性：从所有的用户中分离出同时对项目i和项目j进行评价的用户根据上面得到的数据计算项目i和项目j的相似性2019/8/1基于项目的协同过滤算法•相似性度量跟基于最近邻技术的协同推荐系统类似：基于相关性的相似性(Correlation-basedSimilarity)：Pearson相关系数基于余弦的相似性(Cosine-basedSimilarity)2019/8/1基于项目的协同过滤算法•产生推荐的方法很简单，根据目标客户对最相似项目的评分及最相似项目与目标项目的相似度产生推荐2019/8/1基于项目的协同过滤算法•性能分析：在基于最近邻技术的协同过滤推荐算法中，邻居生成阶段，特别是客户相似性计算是算法提高性能的瓶颈，使得大规模电子商务网站的实时推荐不能实现本算法将邻居生成阶段和推荐产生阶段分离，使得邻居生成阶段可以离线进行，从而使得电子商务网站的实时推荐得以实现2019/8/1判断用户1对电影3的态度2019/8/1基于项目的协同过滤算法•以用户U1对电影I3的评分为例：•用户U1对电影I1,I2,I3进行了评分•分别计算I1和I3,I2和I3的相似度（利用余弦相似性）2019/8/12019/8/1132222223*22*24*3(,)0.9825(324)(223)simII232222222*23*23*3(,)0.9502(233)(223)simII1,30.9825*40.9502*33.50840.98250.9502p基于二部图的推荐算法•二部图–一般的想法是“物以类聚，人以群分”–比如说人际关系网络，一个“聚类”中的人关系比较紧密–也有例外2019/8/1•二部图–同一类个体之间没有联系，而不同类的个体之间存在联系–比如夫妻关系一般只存在于男人和女人之间（而不会存在与同类之间）2019/8/12019/8/1•假设U1的资源x1•平均分成三份给I1,I2,I3;•I1把U1的资源均分给U1,U3,U4;•I2把U1的资源均分给U1,U2,U5;•I3把