非负矩阵分解与聚类方法在个性化推荐系统中的应用研究

分类号______________________________密级______________________________ＵＤＣ______________________________编号______________________________全日制专业学位硕士论文非负矩阵分解与聚类方法在个性化推荐系统中的应用研究学位申请人：范敏敏学科领域：计算机技术校内导师：黄兆华教授答辩日期：华东交通大学2012届全日制专业学位硕士论文非负矩阵分解与聚类方法在个性化推荐系统中的应用研究软件学院范敏敏独创性声明本人郑重声明：所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表和撰写的研究成果，也不包含为获得华东交通大学或其他教育机构的学位或证书所使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。本人签名_______________日期____________关于论文使用授权的说明本人完全了解华东交通大学有关保留、使用学位论文的规定，即：学校有权保留送交论文的复印件，允许论文被查阅和借阅。学校可以公布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。保密的论文在解密后遵守此规定，本论文无保密内容。学生本人签名日期校内导师签名日期校外导师签名日期摘要非负矩阵分解与聚类方法在个性化推荐系统中的应用研究摘要随着Internet的普及，电子商务也成为当下的主流，每天Internet上的信息更新量呈指数级增长，导致出现“信息过载”的现象，浩瀚的信息中有99%的信息是用户不需要的。用户难以在海量的信息中快速找到自己所需的产品，因此，个性化推荐系统随之产生，其中协同过滤推荐技术又是个性化推荐系统研究热点之一。然而，这在实际运用过程中，仍然存在着诸多问题亟待解决，譬如：用户对商品评价数据的稀疏性问题；随着用户和项目数的增多，推荐系统的性能将会随之降低等。本文针对当前存在的这些问题，将对传统的协同过滤推荐算法进行改进。本文的主要研究工作如下：(1).阐述了当前推荐技术在国内外的研究进展，对推荐系统的分类、结构及技术难点作了比较深入的讨论，在这基础之上，对推荐系统中协同过滤技术进行了重点研究。(2).详细的分析协同过滤技术中基于用户的协同过滤（User-basedCF）和基于项目的协同过滤技术（Item-basedCF）的适用环境及潜在的问题，如协同过滤推荐算法中存在的数据稀疏性问题等，并提出使用非负矩阵分解技术来解决，取得了较好的效果。(3).针对传统协同过滤技术中存在的数据稀疏性和扩展性问题，本文提出了利用非负矩阵分解技术对用户和项目评分矩阵进行规范、简化和降维处理，提出了以聚类算法进行划分不同用户类型，并将聚类划分用户结果作为昀近邻居，昀后通过协同过滤算法进行预测评分，产生推荐。(4).通过使用MovieLens站点数据进行模拟比对实验，验证了本文所提出方法的有效性。关键词：协同过滤，非负矩阵分解，聚类，稀疏性，扩展性IAbstractNON-NEGATIVEMATRICFACTORIZATIONANDCLUSTERINGMETHODSAPPLIEDRESEARCHINPERSONALIZEDRECOMMENDATIONSYSTEMABSTRACTWiththepopularityoftheInternet,E-commercehasbecomethemainstreamcurrently.AlargeamountofinformationontheInternetisgrowingexponentially,leadingtotheemergenceof“informationoverload”phenomenon.A99%ofinformationmayberedundantforourcustomers.ItisverydifficultforuserstoquicklyfindtheproductsoftheirinterestsinsuchafloodofinformationonInternet.Therefore,thepersonalizedrecommendationsysteminE-commencehasbeenemergedrecently.AmongallthetechniquesinE-commence,collaborativefilteringrecommendedtechniqueattractsmoreattentioninbothcommercebusinesscommunitiesandresearchers,whichisalsoahottopicwithinE-commence.However,inmostpracticalapplication,therearestillmanyproblemsexisted,suchasdatasparsityissuesofuser’sevaluationtoitemsandthelowerevaluationscoreforalltheitems.Inaddition,theperformanceofrecommendedsystemwillbedegradedalongwiththeincreaseofusersanditems.Basedonthesecurrentissues,thispaperproposesanewstrategytoimprovethetraditionalcollaborativefilteringalgorithm.Thefollowingarethemajorworkcompletedinthisresearch:(1).Thedomesticandforeignresearchprogressforthecurrentrecommendationtechniqueshasbeensystematicallyelaborated.Moreover,theclassification,thestructureandtechnicalissuesoftherecommendationsystemhavebeenanalyzedanddiscussedindetail.(2).Thepotentialissuessuchasthedatasparseincollaborativefilteringrecommendationalgorithmhavebeenaddressed.Thecharacteristicofuser-basedcollaborativefilteringanditem-basedcollaborativefilteringtechniqueshasalsodiscussedinthispaper.Anon-negativematrixfactorizationtechniqueisproposedtodealwiththehighdimensionaldataproblems,inordertoalleviatethedatasparsenessproblemwithpromisingresults.(3).Tosolvethedatasparsenessandscalabilityproblemsintraditionalcollaborativefilteringtechnique,anovelstrategyhasbeenproposed.First,applyingthenon-negativematrixfactorizationtechniquetoregulatetheuseranditemscorematrix,thensimplifyandlowerthedimension.Second,clusteringalgorithmisemployedtodividethevarioususertypes,andthedividingresultsbasedonclusteringalgorithmareusedasnearestneighbor.Lastly,thecollaborativefilteringalgorithmisutilizedtopredictthescoreandmakerecommendation.(4).TheproposedmethodologywasverifiedthroughcomparativeexperimentsbasedonthedatafromMovieLenswebsite.IIAbstractKeyWords:collaborativefiltering,non-negativemetrixfactorization,clustering,sparsity,expansibilityIII目录目录T主要符号说明...........................................................I第一章绪论............................................................11.1引言...........................................................11.2国内外研究现状.................................................21.3本文研究内容及意义.............................................31.4本文框架.......................................................41.5本章小结.......................................................5第二章电子商务个性化推荐系统及相关技术................................62.1电子商务.......................................................62.2电子商务推荐系统...............................................72.2.1推荐系统的组成............................................82.2.2推荐系统的分类...........................................102.3电子商务个性化推荐系统技术....................................112.3.1Horting图................................................112.3.2关联规则.................................................112.3.3聚类.....................................................122.3.4贝叶斯网.................................................122.3.5协同过滤技术.............................................132.4本章小结......................................................14第三章协同过滤推荐算法在电子商务中的应用研究.........................153.1协同过滤的基本原理及其分类....................................153.2协同过滤算法...