手机垃圾短信过滤系统的研究与实现

1昆明理工大学学位论文原创性声明本人郑重声明：所呈交的学位论文，是本人在导师的指导下（或我个人……）进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出重要贡献的个人和集体，均已在论文中作了明确的说明并表示了谢意。本声明的法律结果由本人承担。学位论文作者签名：日期：年月日……………………………………………………………………………关于论文使用授权的说明本人完全了解昆明理工大学有关保留、使用学位论文的规定，即：学校有权保留、送交论文的复印件，允许论文被查阅，学校可以公布论文的全部或部分内容，可以采用影印或其他复制手段保存论文。（保密论文在解密后应遵守）导师签名：论文作者签名：日期：年月日昆明理工大学硕士学位论文I摘要随着移动通信技术的飞速发展和手机普及率的迅速提高,手机短信越来越受到众多人士的青睐。短信业务正以其短小、迅速、简便、价格低廉等诸多优点日益成为人们的一种重要通信和交流方式。移动短信业务在飞速发展的过程中,一方面给广大使用者带来了各种方便；另一方面由于各种垃圾短信的大量出现，也带来了信息安全上的问题，影响了人们的正常生活。因而非常有必要将这些垃圾短信过滤掉。通过对短信业务结构的分析，短信的发送方式有两种，一种是SP-手机，另外一种是手机-手机，无论哪一种都是通过短信服务中心进行存储、转发，再到用户手机上。所以可以从两个方面对垃圾短信进行过滤，一种是短消息服务中心的过滤方式，另一种是手机终端的过滤方式。无论是从短消息服务中心的过滤方式还是手机终端的过滤方式，都存在一些不足。为了更好的实现垃圾短信过滤，本系统采用了手机终端的过滤方式，通过黑名单技术与文本分类技术相结合的方法，利用朴素贝叶斯分类方法对短信内容进行分类识别，从而实现对垃圾短信的过滤。全文给出了手机垃圾短信过滤系统的设计方案，对其中的一些关键技术给出了详细论述和设计，最后对朴素贝叶斯分类模型进行了结果分析与评估。关键字：黑名单，朴素贝叶斯分类，特征向量，短信服务中心昆明理工大学硕士学位论文IIAbstractAlongwiththemobilecommunicationtechnologyrapiddevelopmentandthehandsetpopularraterapidenhancement,thehandsetshortmessagemoreandmorereceivesthemultitudinouspublicfigure'sfavour.Theshortmessageindustrytakesuphonestworkbyitsshort,rapid,simple,thepriceisinexpensiveandsoonmanymeritstobecomepeople'sonekindofimportantcorrespondenceandtheexchangewaydaybyday.Motionshortmessageserviceinrapiddevelopmentprocess,ontheonehandhasbroughteachkindofconvenience;Ontheotherhandasaresultofeachkindoftrashshortmessagemassiveappearances,alsohasbroughtintheinformationsecurityquestion,hasaffectedpeople'snormallife.Thusextremelyhasthenecessitytofilterouttrashshortmessage.Throughtotheshortmessageservicestructureanalysis,theshortmessagetransmissionwayhastwokinds,onekindistheSP-handset,moreoveronekindisthehandset-handset,regardlessofwhichonekindalliscarriesonthememorythroughtheshortmessageservicecentertoretransmit,againarrivestheuserhandset.Thereforemaycarryonfromtwoaspectstotrashshortmessagefilters,onekindistheshortnewsservicecenterfilterstheway,anotherkindisthehandsetterminalfilterstheway.Regardlessofisfiltersthewayfromtheshortnewsservicecenterorthehandsetterminaltofiltertheway,allhassomeinsufficiencies.Inordertothebetterrealizationtrashshortmessagefilters,thissystemusedchoosesthehandsetterminaltofiltertheway,unifiedthemethodthroughtheblacklisttechnologyandthetextclassificationtechnology,useNaïveBayesclassifiesthemethodtocometocarryontheclassifiedrecognitiontotheshortmessagecontent,thusrealizedtotrashshortmessagefiltering.Thefulltexthasgiventrashshortnotefiltrationsystemdesignproposal,hasgiventhedetailedelaborationandthedesigntosomekeytechnologies,昆明理工大学硕士学位论文IIIfinallyhascarriedontheresultanalysisandtheappraisaltotheNaïveBayesclassifiedmodel.Keywords:blacklist,NaïveBayesclassifies,characteristicvector,shortmessageservicecenter.昆明理工大学硕士学位论文1目录摘要...................................................IAbstract.................................................II第一章绪言...............................................11.1问题研究背景...............................................................................11.2问题研究现状...............................................................................11.3全文主要研究内容.......................................................................41.4全文组织安排...............................................................................51.5本章小节.......................................................................................6第二章相关技术研究.......................................72.1文本分类技术...............................................................................72.1.1分类的概述........................................................................72.1.2分类的含义........................................................................72.1.3分类的过程........................................................................82.1.4分类算法介绍....................................................................92.1.5分类模型的评估标准.......................................................112.2贝叶斯分类算法.........................................................................122.2.1贝叶斯分类的特点...........................................................122.2.2贝叶斯定理......................................................................122.2.3在短信分类问题中描述贝叶斯定理...............................122.2.3朴素贝叶斯分类算法.......................................................132.2.4贝叶斯信念网络...............................................................162.3中文分词技术.............................................................................182.3.1中文分词的概述...............................................................182.3.2分词算法的分类...............................................................182.4特征向量选取技术....................................................................212.5黑名单技术................................................................................232.6本章小节....................................................................................23昆明理工大学硕士学位论文2第三章手机垃圾短信过滤系统的设计与实现..................253.1应用手机垃圾短信过滤系统后的短信业务结构.....................253.2手机垃圾短信过滤系统结构....................................................263.3