HADOOP虚拟机安装Centos系统

部署说明：1使用软件版本VMware10.0.3Hadoop1.2.1Jdk1.8Centos6.52架构说明由VMware虚拟出3台centos服务器，分别为Master192.168.0.150NameNodeClient1192.168.0.151DataNodeClient2192.168.0.152DataNodeVMware安装centos6.5为什么用centos6.5?因为最新版本为centos7而centos7比较新，改动非常多，包括很多命令和服务设置有很多不同.由于以前上班的生产环境里也是centos6.5，就暂选这个版本吧，毕竟学习centos7新功能，不是目前的主题。一，准备软件1，Centos6.5的ios镜像版本：CentOS-6.5-x86_64位下载地址:(中文站)=2&id=2196&uhash=a6241d87fed784a11883750b2，VMware虚拟机软件可以用VMware或者是VirtualBox等都行，其中VMware是商业软件，可以下载后破解。具体破解方法可以去百度，很简单，附一个破解版下载地址：二，开始安装安装VMware后，在本地磁盘上新建三个文件夹如：F:\hadoopMaster--用来存放安装NameNode的centos虚拟机文件F:\hadoopClient1--用来存放安装dataNode1的centos虚拟机文件F:\hadoopClient2--用来存放安装dataNode2的centos虚拟机文件为了加快速度，我们采取先安装NameNode的centos后，用VMware的克隆方法安装两个dataNote节点的系统，以节约时间。NamNode（Master）的Centos安装打开VMWare--文件--新建虚拟机在[新建虚拟机向导]对话面板上选[典型]然后[下一步]然后选[稍后安装系统]选择系统类型由于我们装的是centos64位系统，选linux和centos64如果要装其他版本的系统，请选择其他相应选项命名虚拟机为了方便识别，命名为Master，位置选择刚才我们为NameNode的centos系统准备的文件夹F:\hadoopMaster选择磁盘大小由于我们并不是真实生产环境，基本上就按默认20g就够了，同时默认选择拆分成多个文件自定义硬件可以根据自己的电脑配置虚拟机硬件，如cpu核数和内存大小等，这里估计自己电脑实际情况而定。本人设置为1核cup，2g内存为了方便，我们可以现在就把centos安装ios加入虚拟机的虚拟光驱中设置网络，由于是将来配置hadoop用到的是ip地址静态地址，不能直接用路由的dhcp功能，所以选桥接模式，勾选复制物理网络状态设置自定义硬件后，点完成此时我们会看到虚拟机列表上已经有了Master，点击右边的【开启此虚拟机】然后就开始了安装centos6.5的节奏了选择Installorupgreadeanexistingsystem光盘检测我们选[skip]选择Next选简体中文选择键盘选择【基本存储设备】选【是忽略所有数据】为计算机命名和设置网络，这里我们直接下一步直接跳过，因为后面我们将在系统安装完成后在shell里配置。设置系统时区【上海，亚洲】设置root账号密码选择分区，由于我们之前没有linux分区，所有要自定义布局来手动分区开始分区，一般linux分区方案有很多种，但基本上讲，/boot和/swap是都是必需的，一个用来保存启动文件，一个用来做缓存（类似window里的虚拟内存）。其他的一般有些还特别为/home分区来保持用户数据等，当然多种不同分区方案根据具体实际情况而定。为了简化流程，我们采取最简单的分区方案：/boot500mb/swap2g/根分区剩下所有空间1，创建/boot分区点创建选标准分区挂载点选/boot大小设为500mb2,创建swap交换分区前面步骤和创建/boot相同，不同是的最后一步，不用选挂载点，直接选文件系统类型为swap,大小设为2048mb3，将剩下的空间都给根分区前面步骤雷同，最后一步设置，挂载点选/，使用全部可以空间，强制为主分区以上分区设置完成后点下一步选择对磁盘格式化将修改写入磁盘到此我们就完成了根据我们分区方案给linux分区的工作选择将系统安装硬盘和引导列表，默认下一步接着选择Centos安装方案，不同的安装方案会预装不同的软件和工具，我们选minmal方案，该方案是最小化安装，预装的东西是最少的，一般生产环境中我们也是如此，而不是装BasicService，DatabaseService或者WebServer这类方案，因为这些方案里预装的有些并不是我们想要的东西很多，而实际中我们用minmal方案安装完后，自行根据需要再安装其他软件。接着就开始安装软件了完成后点重启就完成了我们NameNode节点的centos系统的安装NamNode（Master）的系统准备工作以root身份登录Master一，设置网卡静态ip1，用vi打开网卡配置文件：vi/etc/sysconfig/network-scripts/ifcfg-eth0配置成静态ipDEVICE=eth0HWADDR=00:0C:29:7D:1C:A7TYPE=EthernetUUID=34a17546-ba59-4e5d-88f1-93d93258486fONBOOT=yesNM_CONTROLLED=yesBOOTPROTO=staticIPADDR=192.168.0.150NETMASK=255.255.255.0DNS1=202.106.0.20其中ONBOOT设置yes表示开机就启动网卡，BOOTPROTO设置static表示ip静态设置，IPADDR是设置网卡IP，NETMASK是设置子网掩码，DNS1设置的dns服务器地址，还可以设置DNS2备用dns服务器地址。Dns服务器可以自己搭建，但一般用公用的。如果不知道公用的可以在windows系统用在cmd用输入：ipcofig-all查看到当前的dns地址。DNS1必需设置，否则不能进行域名解析NM_CONTROLLED是networkmanger的参数,实时生效,修改后无需要重启网卡立即生效2，用vi打开网关配置文件：vi/etc/sysconfig/networkNETWORKING=yesHOSTNAME=localhost.localdomainGATEWAY=192.168.0.1其中GATEWAY是指网关或路由器地址3，以上配置完成后重启网卡：servicenetworkrestart用ping测试是否配置成功：ping二，用yum命令更新系统预装软件１，查看所有可更新软件：yumcheck-update更新所有已安装：yumupdate2,用yum安装常用的一些软件:安装gcc:yum-yinstallgcc安装gcc-c++:yum-yinstallgcc-c++安装perl:yum-yinstallperl三，配置java环境先去oracle官方下载jdk程序（这里用jkd1.8）jdk-8u51-linux-x64.tar.gz然后用winscp工具链接上Master将jdk-8u51-linux-x64.tar.gz文件上传到/root下然后在linux的shell下将jdk剪切到/usr/local目录下：mv/root/jdk-8u51-linux-x64.tar.gz/usr/local/接着解压该文件：cd/usr/localtar-zxvf/usr/local/jdk-8u51-linux-x64.tar.gz并重新命名为jkd1.8:mv/usr/local/jdk1.8.0_51/usr/local/jdk1.8解压完后用vi配置/etc/profile文件：vi/etc/profile在文件末尾加上：JAVA_HOME的值是jdk文件路径exportJAVA_HOME=/usr/local/jdk1.8exportCLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexportPATH=$PATH:$JAVA_HOME/bin而后执行命令：resource/etc/rofile测试是否成功：java-version说明已经成功安装了java到这里我们已经完成了NameNode的系统安装和配置工作接下去我们就可以开始两台dataNode的系统安装和配置了DataNode的Centos安装由于NameNode的centos系统已经安装过了，我们可以用同样的方式再此安装两台DataNode的系统。但是为了节约时间，我们可以直接使用WMWare的系统克隆功能来节约时间DataNode1的克隆安装方法1，克隆之前需关闭Master在右键Master--电源--关闭客户机2，在右键Master--管理--克隆选择完整克隆然后配置虚拟机名和存放地址，如我们这里是克隆dataNode1我们命名为Client1，存放地址为我们一开始就建立好的F:\hadoopClient1完成后可以看到Client1DataNode2的克隆安装方法用克隆Client1的方法克隆出Client2,步骤雷同克隆完生成Client2后，我们就完成了DataNode的系统安装，但由于是都是Master克隆出来的，肯定有些地方的会冲突的接着启动Client1首先，我们要改Client1的ip，因为是克隆的，他的ip静态设置肯定是和Master一样都是192.168.0.150，要将其改为192.168.0.151用vi打开网卡配置文件：vi/etc/sysconfig/network-scripts/ifcfg-eth0将IPADDR改成192.168.0.151DEVICE=eth0HWADDR=00:0C:29:7D:1C:A7TYPE=EthernetUUID=34a17546-ba59-4e5d-88f1-93d93258486fONBOOT=yesNM_CONTROLLED=yesBOOTPROTO=staticIPADDR=192.168.0.151NETMASK=255.255.255.0DNS1=202.106.0.20然后重新启动网卡：servicenetworkrestart发现启动失败，由于是克隆的就会出现这个问题，解决方法如下1，用vi打开/etc/udev/rules.d/70-persistent-net.rules：#vi/etc/udev/rules.d/70-persistent-net.rules会发现有两个网卡配置仔细看的话，其中为Name=“eth0”的网卡的ATTR{address}（即MAC地址），是从Master机器上克隆过来的，Client1上并没有这个网卡，而Name=“eth1”的网卡才是我们的网卡，方法就是将eth0的那段配置删除，然后将eth1配置中的NAME=”eth1”改成NAME=”eth0”同时将其ATTR{address}记录下来2再次用vi打开网卡配置文件：vi/etc/sysconfig/network-scripts/ifcfg-eth0将HWADDR改成/etc/udev/rules.d/70-persistent-net.rules文件中的NAME=”eth0”的ATTR{address}值一样DEVICE=eth0HWADDR=00:0c:29:16:72:2bTYPE=EthernetUUID=34a17546-ba59-4e5d-88f1-93d