本文主要向大家介绍了【云计算】hadoop完全分布式遇到的问题总结，通过具体的内容向大家展现，希望对大家学习云计算有所帮助。

第一步、确保你的jdk、hadoop、SSH免密已经配置好了，开启2台以上的虚拟机，并且能正常上网（后面放大招啦）

第二部、配置/etc/hosts文件(如下格式)

192.168.244.128 hadoop02

192.168.244.129 hadoop03

192.168.244.130 hadoop04

第三步、配置hadoop/etc/hadoop下面的core.site.xml, hdfs-site.xml, mapred-site.xml, yarn-site.xml

其中这个文件夹有3个.sh文件需要添加一个JAVA_HOME的真实路径-->hadoop-env.sh ,yarn-env.sh ,mapred-env.sh

开始修改4个配置文件 本人使用的是 hadoop02,hadoop03, hadoop04 三台虚拟机

core.site.xml

fs.defaultFS

hdfs://hadoop02:9000 





hadoop.tmp.dir

/usr/local/hadoop-2.7.2/data/tmp

hdfs.site.xml

dfs.replication

3



dfs.namenode.secondary.http-address

hadoop04:50090

mapred-site.xml

mapreduce.framework.name

yarn

yarn-site.xml

yarn.resourcemanager.hostname

hadoop03





yarn.nodemanager.aux-services

mapreduce_shuffle

常见的问题：

1 防火墙没关闭、或者没有启动

yarnINFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032

2主机名称配置错误

3ip 地址配置错误

4ssh 没有配置好

5root 用户和 hadoop0x两个用户启动集群不统一

6配置文件修改不细心

7防火墙没关闭、或者没有启动 yarn

INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032

8 datanode 不被 namenode 识别问题

Namenode 在 format 初始化的时候会形成两个标识，blockPoolId 和 clusterId。新的

datanode 加入时，会获取这两个标识作为自己工作目录中的标识。

一旦 namenode 重新 format 后，namenode 的身份标识已变，而 datanode 如果依然持有原来的 id，就不会被 namenode 识别。

解决办法，1、删除 datanode 节点中的数据后，再次重新格式化 namenode。2、将namenode里的clusterld复制一个，把datanode里的clusterld覆盖掉

9 jps 发现进程已经没有，但是重新启动集群，提示进程已经开启。原因是在 linux 的根 目录下/tmp 目录中存在启动的进程临时文件，将集群相关进程删除掉，再重新启动集群。

10 jps 不生效。

原因：全局变量 hadoop java 没有生效，需要 source /etc/profile 文件。

本文由职坐标整理并发布，希望对同学们有所帮助。了解更多详情请关注职坐标大数据云计算大数据安全频道！