云计算关键技术及基于Hadoop的云计算模型研究

Hadoop，（，400030）：，。，。，，Hadoop。：；；；Hadoop：TP393.02：A：1672-7800（2010）09－0009－030，，。，。、、、、。，，Hadoop，，Hadoop。11.1。VMwareInfrastructure。，。：①IT；②；③。1.2，，。。，SianiPersion：①，；②、、；③。，。：；；④，、；⑤。；⑥。，。1.3、、3。3，：；。，ACID，。ACID，，。，。1.4、、；、、。1.5，，。，SoftwareGuide9%920109Vol.9No.9Sep.2010：（1962－），，，，，、、；（1987－），，，，。2010，。，，Hadoop。Hadoop，Apache，，。，Hadoop。Hadoop（HadoopDistributedFileSystem），HDFS。HDFS，。，。HDFSPOSIX，。HadoopMaster／Slave（1），Mas-ter，NameNodeJobTracker，Job-Tracker、Slave。Slave，SlaveDataNodeTaskTracker。TaskTrackerMapReduce。1Hadoop2WindowsHadoop2.1WindowsHadoop：（1）Hadoop，CygwinCygwinWindowsUnix，shell。Netcategoryopenssh，2。2Cygwin（2）WindowsCYGWIN，ntsecttyPath，C：＼cygwin＼bin（3）Java，jdk，JAVA。2.2（1）Cygwin，Hadoop，Hapoope：＼，＄tar-zxvf／cygdrive／e／hadoop－0．19．2．tar．gz。C：＼cygwin＼home＼user。（2）C：＼cygwin＼home＼Administrator＼hadoop－0．19．2＼confhadoop－env．sh，JAVA＿HOMEJDK，，ProgramFilesProgra～1。3。3hadoop－env．sh（3）WordCount。C：＼cygwin＼home＼Administrator＼hadoop－0．19．2input，2：txt1．txt：yangshenyuanhelloworldhellohadoooptxt2．txt：yangshenyuanbyehadoop，output：＄bin／hadoopjarhadoop－0．19．2－examples．jarwordcountin-putoutput4：4WordCount2.3（1）conf／hadoop－site．xml＜？xmlversion＝＂1．0＂？＞＜？xml－stylesheettype＝＂text／xsl＂href＝＂configuration．xsl＂？＞＜！－－Putsite－specificpropertyoverridesinthisfile．－－＞＜configuration＞＜property＞＜name＞fs．default．name＜／name＞＜／property＞＜property＞＜name＞mapred．job．tracker＜／name＞＜value＞localhost：9001＜／value＞＜／property＞＜property＞＜name＞dfs．replication＜／name＞＜value＞1＜／value＞＜／property＞＜／configuration＞（2）SSHcygwin，：＄ssh－host－config。Shouldprivilegeseparationbeused，no；Doyouwanttoinstallsshdasaservice？yes；EnterthevalueofCYGWINforthedaemon：［ntsec］，ntsec。sshd。＄netstartsshd，SSH，WindowsCYGWINsshd。＄ssh－keygen，。．ssh。RSAauthorized＿keys：10··9，：Hadoop＄cd．ssh＄catid＿rsa．pub＞＞authorized＿keys＄sshlocalhost，SSH。（3）HadoopWorldCount。input，HDFS，in，：＄bin／hadoopdfs-putinputin＄bin／hadoopjarhadoop－0．19．2－examples．jarwordcountinoutout，Hadoop。，：＄bin／hadoopdfs-catout／*（4）Hadoop，：＄bin／stop－all．sh2.4：（1）C：＼WINDOWS＼system32＼drivers＼etc＼hosts，IP127．0．0．1localhost172．20．25．35grid1172．20．25．77grid2172．20．25．101grid3（2）grid（3）SSH＄ssh－keygen：＄cd～／．ssh＄catid＿rsa．pub＞＞authorized＿keysgrid1：＄cd～／．ssh＄scpauthorized＿keysgrid2：／home／grid／．ssh＄scpauthorized＿keysgrid3：／home／grid／．sshgrid2grid3．ssh，autho-rized＿keys，：＄chmod644authorized＿keys（4）Hadoopgrid1：＄tar-zxvf／cygdrive／e／hadoop－0．19．2．tar．gz。conf／hadoop－site．xml＜property＞＜name＞fs．default．name＜／name＞＜value＞grid1：9000＜／value＞＜／property＞＜property＞＜name＞mapred．job．tracker＜／name＞＜value＞grid1：9001＜／value＞＜／property＞＜property＞＜name＞dfs．replication＜／name＞＜value＞3＜／value＞＜／property＞conf／master，master，，grid1。conf／slaves，slaves，grid2grid3。hadoop。：＄scp～／hadoop－0．19．2grid2：／home／grid／＄scp～／hadoop－0．19．2grid3：／home／grid／（5）Hadoopgrid1：＄bin／hadoopNameNote-formatHadoop＄bin／start－all．shwordcount：＄bin／hadoopdfs-putinputin＄bin／hadoopjarhadoop－0．19．2－examples．jarwordcountinouthttp：／／grid1：50070NameNote，http：／／grid1：50060TaskTracker。，Hadoop。3HadoopWindows，HadoopWindows，。，HadoopHadoop，，＄HADOOP＿HOME＼tmp，HadoopNameNoteID，tmp。NameNote，DateNote，。，｛HADOOP＿HOME｝＼logs，NameNode、DataNode、SecondaryNameNode、JobTracker、Tasktracker，，。：［1］SPEARSON．TakingAccountofPrivacywhenDesigningCloudComputingServcices［C］．The2009ICSEWorkshoponSoftuareEn-gineeringChallengesofCloudComputing，UK，2009.［2］．—Internet［J］．，2001（40）.［3］［］.Hadoop（）［M］．，，．：，2010.［4］PENGLIU，YAOSHI，FRANCISCM．Lau，ChoLiWang，SanLi，Griddemoproposal：AntiSpamgird［J］.IEEEInternationalConfer-enceonClusterComputing，HongKong，2003（12）．［5］Hadoop［EB／OL］．．hadoopor．com／2010－08－05.（：）11··