基于Python的手机舆情系统

I基于Python的手机舆情系统设计与实现摘要系统主要就是针对手机行业文章进行抓取并分析统计，根据用户定义关键词在数据库中全文搜索匹配相应文章，然后给用户进行展示，为用户提供便利。系统利用Pythonurllib对权威手机资讯网站进行网页抓取，然后用Pythonre包和正则表达式在网页中匹配到相关数据，再用Pythonw3lib.html去掉页面中臃肿的html标签。进行网页提纯，并利用MySQL进行存储。系统后台运用Pythonflask进行开发实现，前端则运用html、css、javascript、jquery进行开发并实现简单的页面交互。利用Python和Sublim工具对系统的页面和服务器进程编程和部署，系统主要是服务器端入手建立基本的前后调一体化流程。系统主要有自定义频道、自定义栏目（同时设置栏目关键词）、查看更多等功能，用户在栏目中查看根据关键词匹配到的文章列表。关键词：舆情手机资讯TheDesignAndImplementationOfMobilePublicOpinionSystemBasedOnPythonAbstractIISystemismainlyaimedatthemobilephoneindustryarticlestograbandanalysisofstatistics,basedonuser-definedkeywordsfull-textsearchmatchingcorrespondingarticlesinthedatabase,andthentouserstodisplay,provideconveniencefortheuser.SystemUSESPythonurllibcellphoneinformationtowebsitesforauthoritytograb,andthenusePythonrepackageandregularexpressionmatchingtotherelevantdatainthewebpage,thenusePythonw3lib.ThebloatedHTMLtagsinHTMLtoremovepageforwebdatarefinement,anddepositedintheMySQLdatabaseforstorage.SystemsusePythonflaskframeworkfordevelopmentbackground,frontendusesHTML,CSS,javascript,jqueryinteractiontodevelopandimplementasimplepage.UsingPythonandSublimtoolspageonthesystemandtheserverprocessprogramminganddeployment,beforeandafterthesystemismainlytheserversideofthebasicintegrationprocess.Channelsystemmainlyincludecustom,customcolumns(atthesametimesetupkeywords),readmore,andotherfunctions,usersinthesectionviewbasedonkeywordmatchingtothelistofarticles.Keywords:PublicopinionPhoneinformationIII目录前言.................................................1第1章课题研究背景与价值...............................2第1.1节选题的意义与价值............................2第1.2节研究综述....................................3第1.3节课题的研究意义与目的........................3第1.4节研究范围与内容..............................4第2章手机舆情系统技术的概况...........................7第2.1节系统开发环境................................7第2.2节系统开发技术................................8第3章系统数据采集与存储...............................10第3.1节系统数据的采集.............................10第3.2节系统数据的存储.............................11第4章系统功能设计与实现...............................16第4.1节用户登录...................................16第4.2节自定义频道.................................18第4.3节自定义栏目.................................20第4.4节爬虫设计与实现.............................24第4.5节系统数据库结构.............................24第5章系统测试.........................................27IV第5.1节系统测试目的与意义.........................27第5.2节测试过程...................................27第5.3节其他错误...................................29结论................................................32附录................................................34参考文献................................................37致谢.................................错误!未定义书签。1前言伴随着计算机技术，通信技术的发展，网络的规模也越来越大，互联网多元素也随之不断的添加。随着互联网的快速发展，网络已经是成为了一种新的信息传播形式，已经潜移默化的影响着人们的日常生活。网友活跃言论已经达到超前卫的程度，不论是国内大事件还是国外新鲜事件，都能马上参与进来发表言论，通过网络来表述论点、言论思想，从而产生非常大的舆论压力，达到任何单位都没有办法忽略的地步。那么网络舆情早已经悄悄的进入到了我们的生活。用来调侃那些每天都抱着手机过日子的人们段子在网上为数不少，这正成为许多人的真实写照。目前手机基本上已经离不开人们的生活了，手机可以能让一个人的生活变得“充实”而不单调。随着手机越来越智能化，功能也越来越多元化，在生活上也给予我们带来了极大的便利，手机正在成为大多数人生活中“接触最频繁的人”。在这里不过多评价对于手机改变了我们生活的利与弊。我们主要想说的是，既然我们队与手机如此的依赖。那对于我们购买手机的要求条件越来越苛刻。不仅是对它打电话、发短信等的基本功能的要求，还要通过品牌、配置、性价比等综合因素考虑。于是我们花费大量的时间在网上搜索关于手机的各种配置信息、用户评论、性能分析等等。尽管我们花费了大量的时间来搜集相关信息，然而大多数的情况，我们还是找不到我们真正需求的内容来供我们进行参考。然而这个平台就是为你量身定做，我们在各大购物网站来搜集手机销量做统计，在各大手机权威平台网站做最新资讯的采集。从而精确、条理的展现在你的面前，进而解决我们最初的需求。人工智能就是大量数据的采集与分析从而的得到的产物。我们也应该追寻时代的脚步来满足我们的需求。2第1章课题研究背景与价值第1.1节选题的意义与价值1.1.1理论价值与意义现如今，何事物都必须用数据来说话。面对互联网上海量的数据信息，我们呢难以想象通过人工来挑取其中对我们有用的数据。那问题就来了，结合网络信息采集技术和信息文本处理等技术研发一个用户有用的舆情系统是有必要的，它将我们帮助我们在互联网大量数据中。快速的筛选出对自己有利的信息进行分析。它将免去我们面对互联网海量数据的困扰。伴随着互联网信息时代的来到，我们通过在互联网进行数据的采编与处理，可以准确过滤掉对自己没有用的垃圾信息，并通过我们对各大购物网站的信息采集，来判断行业的趋势，免去我们在铺天盖地的大数据中迷失方向。我们可以及时的搜集到准确有用的信息，把我们的时间消损失降到最低。1.1.2实践价值与意义互联网先如今已经发展成为当今世界上最大的信息库，中国网民人数，全球规模第一。互联网是网民最快最新发布与获取信息的渠道之一，越来越多的信息都是通过互联网散发的，对于其影响力不容小视。根据中国互联网络信息中心(CNNIC)的统计，中国网民规模达到5.13亿，互联网普及率攀升至43.3%，其中20岁以上网民占80%。随着网络在全球范围的快速发展，网络媒体已逐步被公众认可。关于手机，中新社上海2月19日某知名信息技术顾问和研究公司19日发布报告称，2015年全球智能手机销量达14亿部，较2014年增长超过14%。看到如此高的成交量，难道这是巧合。有供求关系才可能达到那么高的交易量，从而那并不是巧合。现在手机行业迅速发展，竞争激烈。对于我们来说也是一个好消息，有竞争才能够让用户的到更多的实惠，那么面对这么多的手机厂商的产品，那我们应该如何面对与抉择呢。据不完全统计，消费者在购买手机前的信息搜集来源：40%信息来着亲朋好友，25%信息来源于实体店体验，45%信息来源于电视广告、网络。可见网络信息也是同样影响消费者选择产品的重要力量。所以每天都有海3量的文章每天在互联网上传播，时刻影响着消费者的选择结果。那么做一个针对专一行业的舆情系统是很有必要的[11]。第1.2节研究综述1.2.1国内研究根据舆情分析发展来说，国外研究比较早。自19世纪中期初级发展，到20世纪中期已经逐渐成熟。我国舆情研究主要起步于20世纪末，到党的十六届四中全会后，舆情研究与实践迎来高潮。虽然我国舆情研究落后于外国，但我们不怕落后，奋起直追国内的舆情研究也渐渐向世界最前沿靠拢。我国在研究方面，主要是根据政府的舆情信息进展的，研究层次相对于外国来说，深度达不到。就个人观点来看，现在国内舆情的研究存还存在许多的缺口。比如现在国内对于舆情研究主要服务于政府和少数的企业。研究和实践范围太过于单一，然而我认为应该应用于多方面，才能真正的对舆情研究达到一个新的高度。对于服务人群来说，应该每个人都有享受服务的权利。1.2.1国外研究国外的舆情研究主要是民意调查以及媒体舆论相关方面的，尤其是研究关于民意调查，国外已经对民意调查形成了一个相对完整的理论，并且有一个完成正的应用体系。另外，国内外文化差异和社会形态影响。国内的舆情开展主要是服务于政府，而国外与国内不同，国外则除了服务政府之后还涉及社会经济、社会文化。就个人观点来看，国外的舆情研究比国内研究起步就早，国外的舆情研究多元化，是舆情研究发展的好现象。第1.3节课题的研究意义与目的1.3.1理论意义正如上文提到，网络信息已经是消费者选择手机产品的有力影响力之一。那将会花掉我们大量的时间去网上查资料，并花大量的时间来阅读，然到最后发现并没有找到我们想要找的信息。然而最大的痛苦莫过于此，我们花费了时间，花4费了精力，还没有得到自己想要的数据或者文章。这也是互联网海量数据带来的困扰。面对互联网上海量的数据信息，我们难以想象通过人工来挑取其中对我们有用的数据。那问题就来了，结合网络信息采集技术和信息文本处理等技术研发一个用户有用的舆情系统是有必要的，它将我们帮助我们在互联网大量数据中快速的筛选出对自己有利的信