您好,欢迎访问三七文档
当前位置:首页 > IT计算机/网络 > 数据挖掘与识别 > Centos7安装和配置hadoop2.7.3的流程和总结
CentOS7安装Hadoop2.7.3完整流程及总结一、前言配置一台master服务器,两台(或多台)slave服务器,master可以无密码SSH登录到slave。卸载centos7自带的openjdk,通过SecureCRT的rz命令上传jdk-7u79-linux-x64.tar.gz文件到服务器,解压安装JDK,解压安装Hadoop,配置hadoop的core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml文件。配置好之后启动hadoope服务,用jps命令查看状态。再运行hadoop自带的wordcount程序做一个HelloWorld实例。二、准备工作我的系统:windows10家庭普通中文版cpu:inteli52.2GHz内存:8G64位操作系统需要准备的软件和文件(全部是64位安装包)1.虚拟机:VMware12Pro12.5.22.Centos7官网下载:选择DVDISO(标准版)及以上,官网下载:jdk-7u79-linux-x64.tar.gz4.Hadoop2.7.3下载地址:三、安装过程提示:先创建一台虚拟机,安装好centos7系统,使用VMware的克隆功能,克隆另外两台虚拟机。这样可以节省时间。3.1虚拟机设置当三台虚拟机安装好之后,获得它们的IP地址,并设置主机名,(根据实际IP地址和主机名)修改/etc/hosts文件内容为:192.168.186.128master.hadoop192.168.186.129slave1.hadoop192.168.186.130slave2.hadoop1、vi/etc/hosts命令修改,然后保存(vi的相关命令见引用来源16)2、more/etc/hosts查看3、重启后,hosts生效。命令:rebootnow3.2SSH免密码登录提示:我全程用的都是root用户,没有另外创建用户。每台服务器都生成公钥,再合并到authorized_keys。1)CentOS默认没有启动ssh无密登录,去掉/etc/ssh/sshd_config其中2行的注释,每台服务器都要设置,#RSAAuthenticationyes#PubkeyAuthenticationyes2)输入命令,ssh-keygen-trsa,生成key,都不输入密码,一直回车,/root就会生成.ssh文件夹,每台服务器都要设置,3)合并公钥到authorized_keys文件,在master服务器,进入/root/.ssh目录,通过SSH命令合并,(~/.ssh/id_rsa.pub是省略的写法,要根据实际路径来确定)catid_rsa.pubauthorized_keyssshroot@192.168.186.129cat~/.ssh/id_rsa.pubauthorized_keyssshroot@192.168.186.130cat~/.ssh/id_rsa.pubauthorized_keys4)把master服务器的authorized_keys、known_hosts复制到slave服务器的/root/.ssh目录scp-r/root/.ssh/authorized_keysroot@192.168.186.129:/root/.ssh/scp-r/root/.ssh/known_hostsroot@192.168.186.129:/root/.ssh/scp-r/root/.ssh/authorized_keysroot@192.168.186.130:/root/.ssh/scp-r/root/.ssh/known_hostsroot@192.168.186.130:/root/.ssh/5)完成后,sshroot@192.168.186.129、sshroot@192.168.186.130或者(sshroot@slave1.hadoop、sshroot@slave2.hadoop)就不需要输入密码直接登录到其他节点上。3.4SecureCRT连接虚拟机1、在VMware中把三台虚拟机启动,如下图所示:2、打开SecureCRT,在一个session里连接三台虚拟机,就可以登录实现操作。Fiel-QuickConnectionProtocol:ssh2前提条件是在3.2中实现了ssh免密码登录Hostname:192.168.186.128连接的主机名Username:root连接主机的用户名Connect依次连接好三台虚拟机3、结果如下:4、上传windows系统中的文件到虚拟机中定位到要上传文件的目录下,输入命令:rz,回车后,弹出文件选择窗口,选择文件,点击add,再OK。文件就上传到当前服务器的当前目录下。rz命令如果没有安装,使用这个命令安装:yuminstalllrzsz3.5安装JDKHadoop2.7需要JDK7,由于我的CentOS自带了OpenJDK,所以要先卸载,然后解压下载的JDK并配置变量即可。1)在/home目录下创建java目录,然后使用rz命令,上传“jdk-7u79-linux-x64.gz”到/home/java目录下,2)解压,输入命令,tar-zxvfjdk-7u79-linux-x64.gz3)编辑/etc/profile4)使配置生效,输入命令,source/etc/profile5)输入命令,java-version,完成3.6安装Hadoop2.7.33.6.1提要1)secureCRT上传“hadoop-2.7.3.tar.gz”,放到/home/hadoop目录下2)只在master服务器解压,再复制到slave服务器(scp命令传输)3)解压,输入命令,tar-xzvfhadoop-2.7.3.tar.gzexportJAVA_HOME=/home/java/jdk1.7.0_79exportCLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexportPATH=$PATH:$JAVA_HOME/bin4)在/home/hadoop目录下创建数据存放的文件夹,tmp、dfs、dfs/data、dfs/name(hdfs-site.xml文件中会用到)3.6.2配置文件1、/home/hadoop/hadoop-2.7.3/etc/hadoop目录下的core-site.xmlconfigurationpropertynamefs.default.name/namevaluehdfs://master.hadoop:9000/value/propertypropertynamehadoop.tmp.dir/namevalue/home/hadoop/tmp/value/propertypropertynameio.file.buffer.size/namevalue131702/value/property/configuration2、配置/home/hadoop/hadoop-2.7.3/etc/hadoop目录下的hdfs-site.xmlconfigurationpropertynamedfs.namenode.name.dir/namevaluefile:///home/hadoop/dfs/name/value/propertypropertynamedfs.datanode.data.dir/namevaluefile:///home/hadoop/dfs/data/value/propertypropertynamedfs.replication/namevalue1/value/propertypropertynamedfs.namenode.secondary.http-address/namevaluemaster.hadoop:50090/value/propertypropertynamedfs.webhdfs.enabled/namevaluetrue/value/property/configuration3、配置/home/hadoop/hadoop-2.7.3/etc/hadoop目录下的mapred-site.xmlconfigurationpropertynamemapreduce.framework.name/namevalueyarn/valuefinaltrue/final/propertypropertynamemapreduce.jobtracker.http.address/namevaluemaster.hadoop:50030/value/propertypropertynamemapreduce.jobhistory.address/namevaluemaster.hadoop:10020/value/propertypropertynamemapreduce.jobhistory.webapp.address/namevaluemaster.hadoop:19888/value/propertypropertynamemapred.job.tracker/namevalue、配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的yarn-site.xmlconfigurationpropertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value/propertypropertynameyarn.nodemanager.auxservices.mapreduce.shuffle.class/namevalueorg.apache.hadoop.mapred.ShuffleHandler/value/propertypropertynameyarn.resourcemanager.address/namevaluemaster.hadoop:8032/value/propertypropertynameyarn.resourcemanager.scheduler.address/namevaluemaster.hadoop:8030/value/propertypropertynameyarn.resourcemanager.resource-tracker.address/namevaluemaster.hadoop:8031/value/propertypropertynameyarn.resourcemanager.admin.address
本文标题:Centos7安装和配置hadoop2.7.3的流程和总结
链接地址:https://www.777doc.com/doc-6210435 .html