大讲台谈Hadoop启动常见的问题及解决方案(一)

大讲台谈Hadoop启动常见的问题及解决方案(一)本文中所涉及到的问题均来自大讲台Hadoop学员的提问，下面是具体问题描述及解决方案，希望对正在学hadoop的学子有所帮助。问题1：启动Hadoop后发现datanode无法启动?问题描述：我启动hadoop的时候，datanode启动不了，发现日志里面报错：ERRORorg.apache.hadoop.hdfs.server.datanode.DataNode:java.io.IOException:IncompatiblenamespaceIDsin/home/hadoop/hadoop-1.0.3/data:namenodenamespaceID=691360530;datanodenamespaceID=2008526552atorg.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:232)atorg.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:147)atorg.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:385)atorg.apache.hadoop.hdfs.server.datanode.DataNode.init(DataNode.java:299)atorg.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:1582)atorg.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:1521)atorg.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:1539)atorg.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:1665)atorg.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:1682)解决方案：（1）停掉集群服务：sbin/stop-all.sh（2）在出问题的datanode节点上删除data目录，data目录即是在hdfs-site.xml文件中配置的dfs.datanode.data.dir目录。(3)格式化namenode：bin/hadoopnamenode-format(4)重新启动集群：sbin/start-all.sh问题2：每次启动hadoop之前需要每次都运行一次hadoopnamenode-format吗?问题描述：每次启动hadoop之前需要每次都运行一次hadoopnamenode-format吗？解决方案：第一次安装hadoop集群的时候，需要运行hadoopnamenode-format格式化文件系统，初始化一些目录和文件。后面每次启动hadoop集群的时候，就不需要每次运行hadoopnamenode-format。除非不得已，否则不要轻易格式化文件系统，格式化文件系统会建立新的dfsnamedir目录，造成该目录下之前数据的丢失。问题3：hadoop可以从其它数据库读取数据吗？问题描述：我们公司让搞hadoop，我想知道的是hadoop可以从其它数据库读取数据吗？解决方案：hadoop可以从数据库读取数据。hadoop技术推出一度曾遭到关系数据库研究者的挑衅和批评，认为MapReduce不具有关系数据库中的结构化数据存储和处理能力。为此，hadoop社区和研究人员做了多的努力，在hadoop0.19版支持MapReduce访问关系数据库，如：MySQL、Mongodb、PostgreSQL、Oracle等几个数据库系统。