基于云计算环境的web数据挖掘算法研究

基于云计算环境的web数据挖掘算法研究致谢5-6摘要6-7ABSTRACT71引言10-122云计算和Web数据挖掘技术12-272.1云计算12-172.1.1云计算的分类和特点13-152.1.2云计算的应用场景15-162.1.3云计算技术的研究现状16-172.2云计算的关键技术17-222.2.1数据存储领域的核心技术17-192.2.2数据管理领域的关键技术19-202.2.3编程模型领域的关键技术20-222.3Web数据挖掘概述22-272.3.1WebGraph及其应用23-252.3.2社交网络服务(SocialNetworkService)25-273WebGraph数据的获取与展示27-373.1WebGraph挖掘的数据结构和存储方案27-303.1.1WebGraph算法使用的数据结构273.1.2WebGraph数据的存储方式27-303.2Graph数据的抓取30-333.2.1申请Facebook应用程序30-313.2.2开发Facebook应用程序获取用户关系31-333.3Graph数据的形象化展示33-363.4本章总结36-374Graph挖掘算法37-464.1Graph直径求解算法设计37-444.1.1Graph的直径37-384.1.2算法思想分析38-414.1.3OptimDM算法的优化实现41-444.2OptimDM算法的性能分析44-454.3本章总结45-465算法仿真实验与应用分析46-595.1Hadoop平台的搭建46-515.1.1Hadoop平台与OptimDM算法46-485.1.2单节点Hadoop环境的搭建48-495.1.3多节点分布式运行Hadoop49-505.1.4基于Elicpse的MapReduce开发环境50-515.2算法的仿真和性能测试51-575.2.1传统单节点环境的图直径求解实验52-535.2.2集群环境中OptimDM算法的实验53-575.3OptimDM算法的应用57-585.4本章总结58-596总结和展望59-60参考文献60-63作者简历63-65学位论文数据集65一种基于云计算的数据挖掘平台架构设计与实现摘要2-3Abstract3第一章引言6-81.1课题研究目的与意义6-71.2国内外研究现状71.3论文各部分的内容安排7-8第二章云计算平台8-142.1云计算定义82.2云计算特点8-92.3云计算与网格计算的对比9-102.4云计算架构10-112.5现有云计算平台简介11-14第三章数据规约工具的设计与实现14-213.1数据规约工具设计14-163.2数据规约工具实现16-213.2.1数据定义规范16-193.2.2基于DOM的XML解析方法19-21第四章基于云计算的数据挖掘系统架构21-294.1目标系统模型21-224.2功能层次框架设计22-234.2.1算法层22-234.2.2应用层234.2.3用户层234.3设计要点23-294.3.1插件系统框架23-254.3.2开放接口设计25-29第五章基于云计算的数据挖掘系统实现29-395.1系统开发环境29-305.2系统开发关键思想与技术30-315.2.1原型开发模型30-315.2.3基于WSGI规范的开发315.3系统开发关键步骤31-355.3.1算法模块插件系统实现31-335.3.2数据集访问模块实现33-355.4当前系统简介35-385.5实验结果与分析38-39第六章结论与展望39-40参考文献40-43攻读学位期间的研究成果43-44致谢44-46基于云计算的语义搜索引擎研究目录2-4摘要4-5Abstract5第一章引言6-151.1云计算的定义6-101.2Google的云计算介绍10-131.2.1GFS10-111.2.2MapReduce11-121.2.3BigTable12-131.3云计算的展望13-15第二章搜索引擎平台15-312.1搜索引擎的应用与发展15-172.1.1背景15-162.1.2搜索引擎的应用16-172.2搜索引擎的市场17-192.3搜索引擎的分类与特性19-212.4搜索引擎的发展及存在的问题21-232.5搜索引擎的原理及平台架构23-252.6搜索引擎中的数据及特点25-312.6.1数据特点25-292.6.2基于传统平台的搜索引擎存在的问题29-31第三章分布式存储技术的介绍31-413.1基于P2P的分布式存储31-363.1.1P2P分布式存储的特点32-333.1.2现有的P2P分布式存储系统33-363.2基于神经网络的分布式存储36-373.3互联网公司内部的分布式存储系统37-413.3.1GFS的整体架构39-41第四章云状全分布式可配置存储系统的研究41-494.1CFDCSS的系统需求和假设41-434.2服务级别协议43-444.3CFDCSS系统的设计思想44-484.3.1数据分配44-464.3.2副本同步46-474.3.3错误处理及自动恢复47-484.4CFDCSS系统的待优化工作48-49第五章基于DHT的全分布式网络语义搜索算法49-615.1搜索引擎的现状495.2CFDCSS在语义搜索引擎中的应用495.3总体设计框架49-505.4相关共享和查询算法50-555.4.1共享者搜索者流程50-525.4.2文章距离算法525.4.3文章距离算法细节52-555.5模拟55-615.5.1测试软件的主要功能555.5.2示例555.5.3实验155-575.5.4实验257-61第六章总结与展望61-636.1总结616.2展望61-63参考文献63-66攻读硕士期间发表论文、专利的申请及参与的科研项目66-67致谢67-68