“云舆情”网络舆情监测综合解决方案

“云舆情”网络舆情监测综合解决方案――集互联网信息服务、云计算、移动互联网为一体的“创新型大数据分析”解决方案北京国科智信信息技术有限公司2013年1月2目录一、背景介绍...................................................................................................................................3二、解决方案...................................................................................................................................42.1“舆情云端”......................................................................................................................42.2用户移动智能终端。.........................................................................................................52.3舆情人工服务.....................................................................................................................6三、技术及功能特点.......................................................................................................................63.1核心技术.............................................................................................................................63.1.1贝叶斯概率论..........................................................................................................73.1.2香农信息论..............................................................................................................83.2技术路线选择.....................................................................................................................93.2.1分布式计算技术.....................................................................................................93.2.2Hadoop.....................................................................................................................93.2.3数据可视化技术...................................................................................................103.3产品功能简介...................................................................................................................113.3.1分布式信息采集....................................................................................................113.3.2舆情预警................................................................................................................113.3.3热点话题发现........................................................................................................123.3.4主题演化分析........................................................................................................133.3.5智能全文检索........................................................................................................153.3.6舆情简报................................................................................................................163.3.7网评员管理............................................................................................................17四、其他技术指标.........................................................................................................................174.1安全保密性.......................................................................................................................174.2可靠性...............................................................................................................................174.3易于管理和使用..............................................................................................................18五、社会效益与经济效益.............................................................................................................183一、背景介绍截至2012年6月底，我国网民规模达到5.83亿。互联网虽然被定义为继报纸、广播、电视之后的“第四媒体”，但它的传播力和影响力，尤其是在1980年以后出生的新生代人群中，已全面超越前三大媒体，乃至报纸、广播、电视都争相推出了电子版或者网络版。网络特有的互动性和草根性，已经使它成为了重要的舆情载体，而深刻地渗入到人们的政治、经济、文化生活等各个方面。人们可以在网络上相对自由地发表言论，因此它也更加真实和直接地表达了群众的信念、态度、意见和情绪。党和国家领导人早在2008年就提出：“互联网已成为思想文化信息的集散地和社会舆论的放大器”，足以见得党中央对网络舆情建设，社会化管理创新的高度重视。然而时至今日，随着SNS（社交网络服务）、微博、微信等一系列新型社会化网络媒体的出现，传统的舆情监测手段和项目实施的产业形态，面临着了巨大的挑战。北京国科智信信息技术有限公司，是一家以技术为核心竞争力，长期从事互联网舆情监测相关技术研究和软硬件产品研发的科技企业。针对新形势下出现的新问题，国科智信采用云计算技术构建了“云舆情”数据中心和SaaS（软件即服务）的产品服务模型，同时积极投入到移动互联网相关产品的研发中，推出了“谛听”舆情智能客户端，推动互联网舆情监测水平上升到了一个新的台阶。4二、解决方案国科智信的网络舆情监测综合解决方案分为三个层次：即国科智信“舆情云端”、用户移动终端服务以及舆情人工服务。2.1“舆情云端”国科智信联合中科院计算所，采用云计算、云存储和虚拟化的技术构建的舆情数据中心，该中心主要负责对海量舆情信息进行采集、存储和分析研判。目前的规模，每天能处理来自门户网站、论坛、SNS、微博等互联网信息源的上千万条信息，并一直在努力进一步提升计算效率和计算能力。在数据中心的基础上，国科智信还开发了基于SaaS技术的舆情软件服务，用户不需要投入软硬件设备成本，通过web浏览器和互联网就可以方便的使用舆情软件提供的服务。海量数据集群存储系统虚拟计算平台系统监控与管理抓取分析结果行为日志知识积累隐私保护与数据分区安全防护外部数据交换智能数据采集与分析数据采集语义分析数据挖掘关联分析分类聚类相似性检查热点分析行业模式识别热点追踪专题监测趋势分析演化预测舆情分析引擎任务调度资源优化用户自服务系统报告分析相关热点数据推送数据同步图形展示短信通道舆情展现引擎52.2用户移动智能终端。国科智信研发的安装在手机、平板电脑上的软件客户端，通过连接“舆情云端”同步舆情信息，用户可以方便地享受到“舆情云端”的云计算服务。由于微博、微信等新兴媒体的出现，舆情的传播呈现“核裂变”的方式传播，热点舆情往往从一个人迅速（10分钟之内）能扩散到几千甚至几万人，因此对于舆情的及时性提出了更高的要求。采用移动终端，只要用户处在有手机信号的地方，就能随时查看网络舆情。而且，移动终端还可以自动推送舆情信息，提醒用户关注舆情。大大提高了舆情系统的实用性和可靠性。[移动智能终端示意图]62.3舆情人工服务由于舆情研判是一门复杂的课题，它集计算机科学、数据挖掘、统计、社会学、心理学、传播学等学科为一体。因此需要很多专业人才聚集在一起，群策群力，才能把舆情研判做到位，然而，地方政府或者企业一时难以培养和聚集这类人才，因此，国科智信联合国务院新闻办五洲传播中心、中科院计算所、信工所；人民大学新闻学院等国内各领域顶尖的机构、科研院所联合提供常规的舆情周报、月报、年报，以及针对重大舆情的专项研判报告和应对策略指导的服务。三、技术及功能特点3.1核心技术本方案的底层技术平台使用了先进的统计模型和模式匹配技术，充分实践了贝叶斯概率论和香农信息论。在舆情分析的技术领域中，最复杂的问题就是语义识别的问题，即一段文本内容到底在讲什么，是在讲正面的话，还是负面的话。在过去，科学家们普遍使用基于语法规则的句法分析方法，来处理这一问题。但是，实际上人们写文章，说话都不可能严格按照某中规则来进行，如果要归纳所有的规则，那是现在计算机的能力都无法达到的。于是科学家们开始另辟蹊径，从数学的