虚拟化与云计算实验报告

虚拟化与云计算实验报告学院软件学院年级2008班级一班学号3007218144姓名赵立夫2011年10月27日目录一、实验目的...........................................................................................................................2二、实验内容...........................................................................................................................2三、实验步骤及实验结果.......................................................................................................2四、实验遇到的问题及其解决方法.....................................................................................39五、实验结论.........................................................................................................................391一、实验目的Lab1：（配置和使用SAN存储）1、掌握在Linux上配置iSCSItarget服务的方法。（实验步骤1）2、掌握在不同的操作系统平台上使用iSCSIinitiator的方法。（实验步骤2-3）Lab3：（安装、部署、使用Hadoop-HDFS，配置运行MapReduce程序，使用MapReduc编程）1、掌握在集群上（使用虚拟机模拟）安装部署Hadoop-HDFS的方法。2、掌握在HDFS运行MapReduce任务的方法3、理解MapReduce编程模型的原理，初步使用MapReduce模型编程二、实验内容Lab1：配置和使用SAN存储，配置LinuxiSCSItarget服务Lab3：1、安装、部署、使用Hadoop-HDFS2、配置运行MapReduce程序，使用MapReduce编程三、实验步骤及实验结果Lab1：实验场景：25楼710软件实验室实验方式：Lab1：三人一组，和张强做server部分，同组实验者杨昂做client2操作步骤及其运行截图：1.1确定以root身份执行以下步骤sudosu–31.2安装iSCSITarget软件aptitudeinstalliscsitarget41.3修改/etc/default/iscsitargetISCSITARGET_ENABLE＝true51.4创建共享存储共享存储可以是logicalvolumes,imagefiles,harddrives,harddrivepartitionsorRAIDdevices例如使用imagefile的方法，创建一个10G大小的LUN：ddif=/dev/zeroof=/storage/lun1.imgbs=1024kcount=1024061.5修改/etc/iet/ietd.confTargetiqn.2001-04.com.example:storage.lun1IncomingUser[username][password]#如果需要身份验证，将用户名密码加在此行OutgoingUserLun0Path=/storage/lun1.img,Type=fileioAliasLUN1#MaxConnections6Targetname一定是一个全局唯一的名字，格式为：iqn.yyyy-mm.reverseddomainname[:identifier]其中，yyyy-mm是domain起始的日期，而identifier格式自由。71.6修改/etc/iet/initiators.allow如果只允许特定IP的initiator访问LUN，则如下设置iqn.2001-04.com.example:storage.lun1192.168.0.100如果任意initiator均可以访问，则：ALLALL81.7启动/重启动iSCSItarget/etc/init.d/iscsitargetstart/etc/init.d/iscsitargetrestart9查看ip等待client访问：与其花费时间：3h实际花费时间：3.5h10Lab3：实验场景：25楼710软件实验室,宿舍实验方式：多人一起实验，与同组实验者杨昂，张强，另一组同学李兆骥，洪泽豪共同完成。操作步骤及其运行截图：1、安装VMwareWorkstation（建议VMwareWorkstation7.1或者更新版本）2、安装虚拟操作系统Ubuntu（建议Ubuntu11.04或者更新版本）113、安装JDK（建议jdk1.6.0或更新版本）124、配置ssh服务Ubuntu缺省安装了openssh-client，如果系统没有安装的话，使用apt-get安装openssh-clienta)安装openssh-server，sudoapt-getinstallopenssh-serverb)检查sshserver是否已经启动，ps-e|grepssh，如果只有ssh-agent那ssh-server还没有启动，需要/etc/init.d/sshstart，如果看到sshd那说明ssh-server已经启动了13c)ssh-server配置文件位于/etc/ssh/sshd_config，SSH的服务端口，默认端口是22，可以自己定义成其他端口号，如修改配置，重启SSH服务：sudo/etc/init.d/sshresartd)免密码ssh设置，确认能否不输入口令就用ssh登录localhost:sshlocalhost如果不输入口令就无法用ssh登陆localhost，执行下面的命令：$ssh-keygen-trsa-f~/.ssh/id_rsacat~/.ssh/id_rsa.pub~/.ssh/authorized_keys再次执行sshlocalhost，完成后请登入确认不用输入密码，（第一次登入需按enter键，第二次就可以直接登入到系统）145、安装Hadoopa)解压Hadoop安装包到安装目录tarzxvfhadoop-0.20.0.tar.gzsudomvhadoop-0.20.0[YOUR_HADOOP_LOCATION]15b)编辑conf/hadoop-env.sh，将JAVA_HOME设置为Java安装根路径16c)运行运行bin目录下的hadoop，如显示hadoop脚本的使用文档，说明安装已经完成。如下图所示：176、安装部署单机伪分布式模式Hadoop-HDFSHadoop可以在单节点上以伪分布式模式运行。a)编辑/conf/core-site.xmlconfigurationpropertynamefs.default.name/namevaluehdfs://localhost:9000/value/propertypropertynamehadoop.tmp.dir/namevalue/tmp/hadoop/hadoop-${user.name}/value/property/configuration18b)编辑/opt/hadoop/conf/hdfs-site.xmlconfigurationpropertynamedfs.replication/namevalue1/value/property/configuration19c)编辑/opt/hadoop/conf/mapred-site.xmlconfigurationpropertynamemapred.job.tracker/namevaluelocalhost:9001/value/property/configuration20d)格式化HDFSbin/hadoopnamenode–format21e)启动Hadoop，启动后可使用命令jps查看已启动进程，观察是否namenode、datanode已启动，关闭所有服务，使用命令stop-all.shbin/start-all.sh22f)浏览NameNode和JobTracker的网络接口，地址默认为：NameNode-://localhost:50030/247、在单机伪分布模式下运行wordcount例子a)将输入文件拷贝到分布式文件系统bin/hadoopfs-put[your_input_file][hdfs_input_file]25b)运行Hadoop自带的wordcount例子bin/hadoopjarhadoop-0.20.2-examples.jarwordcount[hdfs_input_file_location][hdfs_output_file]26c)将输出文件从分布式文件系统拷贝到本地文件系统查看bin/hadoopfs-get[hdfs_output_file][local_output_file]cat[local_output_file]/*278、安装部署多机Hadoop-HDFS（2-3人为一组，每人需要变换Master、Slaver角色，假设3台机器组成集群，Master节点为node1，计算节点为node2，node3）a)确认虚拟机以桥接方式连接网络b)确认所有参与集群的机器有相同的用户名，且Hadoop安装在相同的文件目录中c)如有需要更改主机名，如更改为node1，node2….编辑文件/etc/hosts127.0.1.1oldhostname替换为127.0.1.1newhostname编辑/etc/hostname文件删除该文件的所有内容，添加newhostname运行命令hostnamenewhostname28d)指定IP地址编辑文件/etc/network/interfacesautoeth0ifaceeth0inetstaticaddressxxxxnetmaskxxxx29重启网络服务sudo/etc/init.d/networkingrestart查看IP地址ifconfig30e)修改/etc/hosts文件node1中：[node1_ip]node1[node2_ip]node2[node3_ip]node3node2中：[node1_ip]node1[node2_ip]node2node3中：[node1_ip]node1[node3_ip]node331f)配置从node1无需输入密码ssh登录node1、node2和node3，设置方法与单机步骤4类似，将localhost替换为对应的nodenamg)编辑/conf/core-site.xmlconfigurationpropertynamefs.default.name/namevaluehdfs://node1:9000/value/propertypropertynamehadoop.tmp.dir/namevalue/tmp/hadoop/hadoop-${user.name}/value/property/configuration32h)编辑/opt/hadoop/conf/hdfs-site.xml，其中configurationpropertynamedfs.name.d