实验一;JDK安装与Hadoop环境搭建

实验报告课程名称：Hadoop储存与运算指导教师：潘立武姓名：孙纪龙学号：2018021911大数据1班组教务处制实验/训（1）实验/训题目：JDK安装与Hadoop环境搭建学时：学分：实验/训时间：2020年3月11日实验/训地点：实验目的：通过实验，掌握将环境搭建和分布式系统搭建。实验内容：第1关：实践题已完成配置开发环境-JavaJDK的配置第2关：实践题已完成配置开发环境-Hadoop安装与伪分布式集群搭建实验步骤：《一》配置开发环境-JavaJDK的配置mkdir/appcd/optlltar-zxvfjdk-8u171-linux-x64.tar.gzmvjdk1.8.0_171//appvim/etc/profile//进入编辑模式，在最低下按i输入下面代码JAVA_HOME=/app/jdk1.8.0_171CLASSPATH=.:$JAVA_HOME/lib/tools.jarPATH=$JAVA_HOME/bin:$PATHexportJAVA_HOMECLASSPATHPATH//退出wq保存source/etc/profilejava-version测评《二》配置开发环境-Hadoop安装与伪分布式集群搭建cd/optlsecho$JAVA_HOMEls/applsmkdir/appcp*/appcd/applstar-zxvfhadoop-3.1.0.tar.gzlstar-zxvfjdk-8u171-linux-x64.tar.gzlsmvhadoop-3.1.0hadoop3.1cdjdk1.8.0_171/pwdvim/etc/profile//进入编辑模式，在最低下按i输入下面代码exportJAVA_HOME=/app/jdk1.8.0_171exportHADOOP_HOME=/app/hadoop3.1exportPATH=.:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH//退出wq保存source/etc/profilejava-versioncd/appssh-keygen-trsa-P''cat~/.ssh/id_rsa.pub~/.ssh/authorized_keyschmod600~/.ssh/authorized_keysvim/etc/ssh/sshd_config//找到#AuthorizedKeysFile%h/.ssh/authorized_keys把#删除，退出wq保存cd/app/hadoop3.1/etc/hadoop/vimhadoop-env.sh//找到#JAVA_HOME=/usr/java/testinghdfsdfs-ls这一行按i在最后面回车，输入下面代码：exportJAVA_HOME=/app/jdk1.8.0_171//退出wq保存vimyarn-env.sh//进入编辑模式，在最低下按i输入下面代码exportJAVA_HOME=/app/jdk1.8.0_171//退出wq保存vimcore-site.xml//进入编辑模式，输入下列代码/configurationpropertynamefs.default.name/namevaluehdfs://localhost:9000/valuedescriptionHDFS的URI，文件系统://namenode标识:端口号/description/propertypropertynamehadoop.tmp.dir/namevalue/usr/hadoop/tmp/valuedescriptionnamenode上本地的hadoop临时文件夹/description/property//退出wq保存vimhdfs-site.xml//进入编辑模式，输入下列代码/configurationpropertynamedfs.name.dir/namevalue/usr/hadoop/hdfs/name/valuedescriptionnamenode上存储hdfs名字空间元数据/description/propertypropertynamedfs.data.dir/namevalue/usr/hadoop/hdfs/data/valuedescriptiondatanode上数据块的物理存储位置/description/propertypropertynamedfs.replication/namevalue1/value/property//退出wq保存vimmapred-site.xml//进入编辑模式，输入下列代码/configurationpropertynamemapreduce.framework.name/namevalueyarn/value/property//退出wq保存vimyarn-site.xml//进入编辑模式，输入下列代码/configurationpropertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value/propertypropertynameyarn.resourcemanager.webapp.address/namevalue192.168.2.10:8099/valuedescription这个地址是mr管理界面的/description/property//退出wq保存cd/usr/hadoopmkdir/usrcd/usrlsmkdirhadoopcd..mkdir/usr/hadoop/tmpmkdir/usr/hadoop/hdfsmkdir/usr/hadoop/hdfs/datamkdir/usr/hadoop/hdfs/namehadoopnamenode-formatstart-dfs.shcd/app/hadoop3.1/sbinvimstart-dfs.sh//进入编辑模式，在#!/usr/bin/envbash后面输入下列代码HDFS_DATANODE_USER=rootHADOOP_SECURE_DN_USER=hdfsHDFS_NAMENODE_USER=rootHDFS_SECONDARYNAMENODE_USER=root//退出wq保存vimstop-dfs.sh//进入编辑模式，在#!/usr/bin/envbash后面输入下列代码HDFS_DATANODE_USER=rootHADOOP_SECURE_DN_USER=hdfsHDFS_NAMENODE_USER=rootHDFS_SECONDARYNAMENODE_USER=root//退出wq保存vimstart-yarn.sh//进入编辑模式，在#!/usr/bin/envbash后面输入下列代码YARN_RESOURCEMANAGER_USER=rootHADOOP_SECURE_DN_USER=yarnYARN_NODEMANAGER_USER=root//退出wq保存vimstop-yarn.sh//进入编辑模式，在#!/usr/bin/envbash后面输入下列代码YARN_RESOURCEMANAGER_USER=rootHADOOP_SECURE_DN_USER=yarnYARN_NODEMANAGER_USER=root//退出wq保存start-dfs.sh//启动Hadoopjps测评实验结果：如下图所示：成绩：