您好,欢迎访问三七文档
当前位置:首页 > 商业/管理/HR > 质量控制/管理 > 基于改进CURE算法的短文本聚类研究与实现
分类号密级UDC工程硕士学位论文基于改进CURE算法的短文本聚类研究与实现研究生姓名罗姗姗指导教师姓名、职称龙华教授学科专业电子与通信工程研究方向信息处理技术论文工作起止日期2011年1月~2012年4月论文提交日期2012年4月昆明理工大学学位论文原创性声明本人郑重声明:所呈交的学位论文,是本人在导师的指导下(或我个人……)进行研究工作所取得的成果。除文中已经注明引用的内容外,本论文不含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出重要贡献的个人和集体,均已在论文中作了明确的说明并表示了谢意。本声明的法律结果由本人承担。学位论文作者签名:日期:年月日…………………………………………………………………………………关于论文使用授权的说明本人完全了解昆明理工大学有关保留、使用学位论文的规定,即:学校有权保留、送交论文的复印件,允许论文被查阅,学校可以公布论文的全部或部分内容,可以采用影印或其他复制手段保存论文。、、、、、、、、、、、、、、、、、、、、、(保密论文在解密后应遵守)导师签名:论文作者签名:日期:年月摘要I摘要在网络作为媒体传播信息日渐频繁的今天,如何从海量的网络文本中,特别是类似新浪微博、twitter这些信息量大、更新速度快的平台所产生的短文本中得到当下热点话题或者是焦点问题显得十分必要。文本聚类这一技术近年来一直被用于信息检索和舆情发现,结合其自身优势,并考虑到网络短文本数据量大、更新速度快等特点,可将文本聚类运用于分析网络短文本话题。本文首先深入了解并分析了现有各种聚类算法的特性、适用范围以及优缺点。根据网络短文本的特性,选定了CURE算法作为基础进行聚类。保留了CURE算法中通过引入系数错误!未找到引用源。来选取代表点以表示类的形状等步骤,再考虑到网络文本集中孤立点较多的特殊情况,特别加入对孤立点的预处理过程,保证了在聚类前就去除掉大部分孤立点,从而减少聚类中一些不必要的计算同时降低了孤立点对聚类结果的干扰。在验证算法的过程中,还发现在文本表示中所使用的TFIDF公式并不十分适宜于短文本的聚类,所以也将其进行了改进,从而大大提高了聚类准确率。本文提出了网络短文本聚类算法实现设计,为了验证文中提出的改进算法的聚类效果,从语料库中整理出网络短文本,通过该设计实现了对语料的聚类结果输出。并通过对由查准率和查全率构成的F-measure聚类评价指标和孤立点数量的统计,证明了改进后的算法在F-measure性能指标上优于改进前,并且能更好的避免孤立点对聚类的影响。关键词:聚类;短文本;CURE;TFIDF昆明理工大学工程硕士学位论文IIABSTRACTIIIABSTRACTThenetworkasmediabecomesmoreandmorefrequentdaybyday,howtodigtheTalkingPointfromalargeamountofwebshorttext,especiallythesimilarmicro-blog,twitterbecomeverynecessary.Inrecentyears,textclusteringhasbeenusedininformationretrievalandpublicopiniondiscovery.Consideringitsownadvantagesandtheamountofshorttextinnetworkislargeandupdatedfrequently,wecanapplythetextclusteringintotheanalysisofnetworkshorttexttopic.Thispaperdeeplyanalyzesthecharacteristicssuchasapplicationscope,advantagesanddisadvantagesoftheexistingclusteringalgorithms.Accordingtothecharacteristicsofwebshorttext,weselectedtheCUREalgorithmasabasisforclustering.RetainingintherepresentativepointsofCUREalgorithmweaddtheprocessofHandlingOutlierstofilterthelargeamountofoutliers.Ensurethemostofoutlierscanberemovedbeforecluster.Bythismeans,wecanreducingthenumberofunnecessarycalculationinclustering,atthesametimereducingtheinterferenceofoutliersintheclusteringresult.Intheprocessofvalidatingthealgorithm,wealsofoundthattheTFIDFformulaisnotverysuitableforshorttextclustering,sowewillimproveittogreatlyimprovingtheclusteringaccuracy.Thispaperpresentsanetworkshorttextclusteringsystemdesign.Inordertoprovetheimprovementeffectofthealgorithminthispaper,weanalyzeaseriesofwebshottextwhichselectedfromthecorpusthroughthesystem.BythestatisticsofF-measureofclustering,itisprovedthattheimprovedalgorithmisbetterthanbefore.Keywords:Clustering;shorttext;CURE;TFIDF昆明理工大学工程硕士学位论文IV目录V目录摘要................................................................IABSTRACT.........................................................III第一章绪论........................................................11.1课题研究背景与意义...........................................11.2相关内容的研究现状..........................................21.3本文研究内容及组织结构......................................2第二章文本聚类相关技术及算法......................................52.1文本预处理..................................................52.1.1分词...................................................52.1.2停用词过滤.............................................62.1.3文本表示模型...........................................72.2特征值权重计算..............................................82.3文本相似度的度量.............................................92.4聚类分析算法...............................................102.4.1主要聚类算法.........................................112.5聚类分析的相关应用.........................................142.6网络短文本聚类.............................................152.7本章总结...................................................16第三章网络短文本聚类相关技术研究及改进...........................173.1TFIDF公式的分析与改进......................................173.1.1TFIDF公式的构成原理..................................173.1.2TFIDF公式的缺陷分析..................................183.1.3对TFIDF公式的改进...................................213.2基于CURE算法的网络短文本聚类算法..........................273.2.1CURE算法简述.........................................273.2.2孤立点................................................283.2.3基于孤立点预处理的cure改进算法......................283.3本章小结...................................................30第四章网络短文本聚类算法实现....................................314.1语料........................................................314.2算法实现...................................................344.2.1停用词的处理..........................................344.2.2特征值计算...........................................354.2.3孤立点预处理.........................................364.2.4系统界面.............................................374.3本章小结...................................................37第五章聚类评价及结果分析.........................................395.1聚类评价标准................................................395.2实验结果....................................................415.3本章小结...................................................45昆明理工大学工程硕士学位论文VI第六章总结与展望.................................................476.1全文总结....................................................476.2论未来工作展望.............................................
本文标题:基于改进CURE算法的短文本聚类研究与实现
链接地址:https://www.777doc.com/doc-4503912 .html