linux单机版环境搭建Hadoop图文教程

1/20linux单机版环境搭建Hadoop图文教程安装环境：OS:RHEL6.464bitJDK:Javaversion1.7.0Hadoop：version2.4.0一、创建hadoop用户和用户组1、useraddhadooppasswdhadoop2、给hadoop用户添加权限，打开/etc/sudoers文件，给hadoop用户赋予root用户同样的权限。在rootALL=(ALL)ALL下添加hadoopALL=(ALL)ALL二、安装JDK，设置环境变量1、安装根据自己操作系统位数下载JDK1.7.0（X64）安装包后，解压至/usr/java/目录中（目前最新版的jdk1.8，安装会报错）2、设置环境变量vi/etc/profile在最后面添加如下内容：JAVA_HOME=/usr/java/jdk1.7.0（这里的版本号1.7.0要根据具体下载情况修改）2/20CLASSPATH=.:$JAVA_HOME/lib.tools.jarPATH=$JAVA_HOME/bin:$PATHexportJAVA_HOMECLASSPATHPATH使环境变量生效：source/etc/profile验证是否安装成功：java-version三、修改机器名（此步单机部署可忽略）每当RHEL安装成功时，我们的机器名都默认为：localhost，但为了以后集群中能够容易分辨各台服务器，需要给每台机器取个不同的名字。1、修改/etc/hosts（本机机器名修改为VM164）2、执行：hostnameVM1643、修改系统网络配置文件vi/etc/sysconfig/network4、修改完毕，重启系统（reboot），使新机器名生效四、安装ssh服务，建立ssh无密码登录本机RHEL系统默认安装SSH服务，若无SSH服务，请自行参考文件进3/20行安装。1、查看服务是否正确启动：ps-ef|grepssh2、切换至hadoop用户，设置免密码登录，生成私钥和公钥ssh-keygen-trsa-P（可以一路回车）此时会在／home／hadoop/.ssh下生成两个文件：id_rsa和id_rsa.pub，前者为私钥，后者为公钥。下面我们将公钥追加到authorized_keys中，它用户保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容（开始是没有authorized_keys文件的）。cat~/.ssh/id_rsa.pub~/.ssh/authorized_keys3、更改authorized_keys的权限为600（否则会报错）chmod600~/.ssh/authorized_keys4、使用root登录修改配置文件：/etc/ssh/sshd_config，将其4/20中三行的注释去掉，如下：然后重启ssh服务：servicesshdrestart。5、切换至hadoop用户，验证ssh无密码登录本机sshlocalhost（这里有个输入密码环节，是系统的密码）五、安装Hadoop前的准备工作本次安装使用的版本是2.4.0（源码包），下载地址（）注意：由于操作系统是64位，而Apache官网提供的是32位编译的，在64位服务器上会有问题。而且这坑货官方竟然没有提供64位版本，要使用得自己编译。于是就有了下面这漫漫的填坑之路。使用32位报错如下：5/201、安装maven下载：wget解压tar-zxvfapache-maven-3.2.2-bin.tar.gz配置环境变量，编辑/etc/profile或者~/.bashrc文件exportMAVEN_HOME=/usr/local/apache-maven-3.2.2exportPATH=$PATH:$MAVEN_HOME/bin最后要source/etc/profile通过mvn--version来检查是否安装正常2、安装protobuf下载地址（Googlecode站已经无法下载）解压tar-zxvfprotobuf-2.5.0.tar.gz进入protobuf-2.5.0目录，执行下面的命令./configure--prefix=/usr/local/protobuf6/20makemakecheckmakeinstall配置环境变量vi/etc/profilePKG_CONFIG_PATH=/usr/local/protobuf/lib/pkgconfigPATH=/usr/local/protobuf/bin:$PATHexportFINDBUGS_HOMEPATH可以通过protoc--version来查看是否安装正常3、安装cmake下载wget解压tar-zxvfcmake-2.8.12.1.tar.gz进入cmake-2.8.12.1目录，执行下面的命令./bootstrapmake7/20makeinstall可以通过cmake--version来查看是否安装正常4、安装autotoolyuminstallautoconfautomakelibtool5、安装openssl-develyuminstallopenssl-devel6、安装findingbugs下载地址解压并配置环境变量tar-zxvffindbugs-3.0.0.tar.gzvi/etc/profileFINDBUGS_HOME=/usr/local/findbugs-3.0.0PATH=$FINDBUGS_HOME/bin:$PATHexportFINDBUGS_HOMEPATH可以通过findbugs-version来查看是否安装正常六、编译haodoop8/201、将下载的hadoop-2.4.0-src.tar.gz源码包解压至/usr/local/soft目录下（解压至自己相关的目录）tar-zxvfhadoop-2.4.0-src.tar.gz[root@VM164soft]#lldrwxr-xr-x1567974users4096Mar3117:07hadoop-2.4.0-src注：参考的博客中说源码有问题需要修改，但笔者并未修改也编译成功了，有需要的可以参考（旧版的hadoop估计需要）、进入hadoop-2.4.0-src目录，执行mvncleanpackage-Pdist,native-DskipTests-Dtar接下来就是漫长的等待，当你看到一系列的SUCCESS之后，你就成功了。main:[exec]$tarcfhadoop-2.4.0.tarhadoop-2.4.0[exec]$gzip-fhadoop-2.4.0.tar[exec][exec]Hadoopdisttaravailableat:/usr/local/soft/hadoop-2.4.0-src/hadoop-dist/target/hadoop-2.4.0.tar.gz[exec][INFO]Executedtasks9/20[INFO][INFO]---maven-javadoc-plugin:2.8.1:jar(module-javadocs)@hadoop-dist---[INFO]Buildingjar:/usr/local/soft/hadoop-2.4.0-src/hadoop-dist/target/hadoop-dist-2.4.0-javadoc.jar[INFO]------------------------------------------------------------------------[INFO]ReactorSummary:[INFO][INFO]ApacheHadoopMain.................................SUCCESS[03:10min][INFO]ApacheHadoopProjectPOM..........................SUCCESS[02:12min][INFO]ApacheHadoopAnnotations..........................SUCCESS[01:02min][INFO]ApacheHadoopAssemblies...........................SUCCESS[0.568s][INFO]ApacheHadoopProjectDistPOM.....................SUCCESS[33.915s][INFO]ApacheHadoopMavenPlugins........................SUCCESS[59.567s][INFO]ApacheHadoopMiniKDC..............................SUCCESS[05:03min][INFO]ApacheHadoopAuth.................................SUCCESS[01:24min][INFO]ApacheHadoopAuthExamples........................SUCCESS[22.120s][INFO]ApacheHadoopCommon...............................SUCCESS[07:14min][INFO]ApacheHadoopNFS..................................SUCCESS[45.745s][INFO]ApacheHadoopCommonProject.......................SUCCESS[0.076s][INFO]ApacheHadoopHDFS.................................SUCCESS[06:57min][INFO]ApacheHadoopHttpFS...............................SUCCESS[02:40min][INFO]ApacheHadoopHDFSBookKeeperJournal..............SUCCESS[50.895s][INFO]ApacheHadoopHDFS-NFS.............................SUCCESS[10.860s][INFO]ApacheHadoopHDFSProject.........................SUCCESS[0.054s]10/20[INFO]hadoop-yarn........................................SUCCESS[0.186s][INFO]hadoop-yarn-api....................................SUCCESS[02:01min][INFO]hadoop-yarn-common.................................SUCCESS[01:04min][INFO]hadoop-yarn-server.................................S