大数据Hadoop平台下数据存储的研究与实现-邵婉莹-汪陈伍-通信工程

西安邮电大学毕业设计（论文）题目：大数据Hadoop平台下数据存储的研究与实现学院：通信与信息工程学院专业：通信工程班级：通工1108班学生姓名：邵婉莹导师姓名：汪陈伍职称：高工起止时间：2015年3月2日至2015年6月19日毕业设计（论文）诚信声明书本人声明：本人所提交的毕业论文《大数据Hadoop平台下数据存储的研究与实现》是本人在指导教师指导下独立研究、写作的成果，论文中所引用他人的文献、数据、图件、资料均已明确标注；对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式注明并表示感谢。本人完全意识到本声明的法律后果由本人承担。论文作者：（签字）时间：2015年6月5日指导教师已阅：（签字）时间：2015年6月5日西安邮电大学毕业设计(论文)开题报告通信与信息工程学院通信工程专业11级08班课题名称：大数据Hadoop平台下数据存储的研究与实现学生姓名：邵婉莹学号：03111318指导教师：汪陈伍报告日期：2015年3月26日西安邮电大学本科毕业设计（论文）开题报告学号03111318姓名邵婉莹导师汪陈伍题目大数据Hadoop平台下数据存储的研究与实现选题目的（为什么选该课题）这是一个信息爆炸的时代，互联网上的信息正在以几何级数的速度增长着。在这个大背景下，消耗CPU最多的计算逐渐从“提升软件本身性能”方面转移到了信息处理方面，从而各大厂商不得不面临着极大地挑战——他们需要从TB乃至PB级的数据中挖掘出有用的信息，并对这些海量数据进行快捷、高效的处理。而数据存储是数据管理工作的基石，所以如何进行大数据的有效存储成为一个重要的研究课题，为此选择了这个课题，以便更多地了解大数据和云计算方面的知识并且锻炼对linux系统的操作能力和搭建工作环境的能力，更为了以后工作和发展方向做下基础。前期基础（已学课程、掌握的工具，资料积累、软硬件条件等）1、在校期间学习过《计算机网络》和《数据库》等相关学科，为做本题打下基础，具备了一定的计算机网络和数据库等的基础知识；2、通过网络和相关书籍查阅资料，了解了云计算和大数据的相关概念；3、已经安装了linux操作系统，对处理大数据的Hadoop也进行了进一步的了解；4、对于大数据的分布式存储的工作原理进行了初步的了解和掌握。要解决的问题（做什么）1、了解云计算和大数据的相关知识，理解大数据存储方面的原理；2、安装linux系统，能在linux上进行熟练的操作；3、在linux上安装Hadoop，进行Hadoop分布式平台的搭建，掌握HDFS分布式存储的工作原理并对其提出改进，对一组样本数据进行存储；4、了解分布式编程模型MapReduce的原理并能进行简单的使用；5、撰写毕业论文，能熟练掌握Hadoop下大数据存储的相关知识并进行答辩等环节。工作思路和方案（怎么做）1、通过查阅大量资料理解并熟悉云计算和大数据的相关知识，尤其是大数据存储的分布式原理和使用；2、在Windows系统上利用VMware安装虚拟机，装载linux系统，配置好vmtools等所需的常用软件及其设置，进一步熟悉linux操作环境；3、在Windows和linux之间的共享文件夹中下载linux版本的Java和Hadoop的安装包，在linux中安装、调配运行环境等至可以正常使用；4、根据资料学习和了解相关概念和使用方法并进行Hadoop分布式平台的搭建，包括运行环境和开发环境的搭建直到能熟练使用；5、在搭建环境的过程中体会和掌握HDFS分布式存储的工作原理，并分析其优缺点，查阅资料，提出一些改进的方案或想法；6、理解开源的非关系型分布式数据库HBase的工作原理和使用方法；7、下载或者编辑一组样本数据，以样本数据为例，在hadoop平台下进行大数据的存储实例；8、解决完存储问题后，对大数据分析方面的分布式编程模型MapReduce的原理、使用方法和使用环境做一了解。9.通过对毕业设计中所涉及的知识的学习与理解，针对设计中遇见的问题及时与老师进行讨论，找到解决问题的方法，从而撰写毕业论文，最后结合所掌握的知识不断完善论文。指导教师意见签字：2015年3月30日西安邮电大学毕业设计(论文)成绩评定表学生姓名邵婉莹性别女学号03111318专业班级通信工程通工1108课题名称大数据Hadoop平台下数据存储的研究与实现指导教师意见评分（百分制）：指导教师(签字)：年月日评阅教师意见评分（百分制）：评阅教师(签字)：年月日验收小组意见评分（百分制）：验收教师(组长)(签字)：年月日答辩小组意见评分（百分制）：答辩小组组长(签字)：年月日评分比例指导教师评分20(％)评阅教师评分30(％)验收小组评分30(％)答辩小组评分20(％)学生总评成绩百分制成绩等级制成绩答辩委员会意见毕业论文(设计)最终成绩(等级)：学院答辩委员会主任(签字)：年月日目录目录....................................................................................................................................................................I摘要....................................................................................................................................................................IABSTRACT.....................................................................................................................................................II引言...................................................................................................................................................................11绪论.............................................................................................................................................................21.1大数据简介...........................................................................................................................................21.2HADOOP简介........................................................................................................................................31.2.1Hadoop的优点............................................................................................................................31.2.2Hadoop的架构............................................................................................................................41.2.3Hadoop的组成............................................................................................................................52虚拟机下CENTOS7.0的装载和配置......................................................................................................73HADOOP平台的搭建和基本配置.........................................................................................................113.1安装JDK.............................................................................................................................................113.2SSH免密码登陆.................................................................................................................................123.2安装配置HADOOP..............................................................................................................................134HADOOP平台下数据存储的分析和研究.............................................................................................164.1用命令进行文件存储和读取.............................................................................................................164.1.1创建目录...................................................................................................................................164.1.2显示目录以及网页图形化界面...............................................................................................164.1.3本地文件存入目录以及网页图形化界面...............................................................................174.1.4显示HDFS下文件内容以及网页图形化界面..........................................................................184.1.5显示HDFS下文件大小........................................................