本文主要向大家介绍了【云计算】Hadoop集群搭建及配置教程，通过具体的内容向大家展现，希望对大家学习云计算有所帮助。

环境：

centos 6.5 (ip：192.168.80.100、192.168.80.101)

jdk 1.7

hadoop 2.8.4

创建hadoop用户(2个节点均要创建)：

$ su -

#useradd -m hadoop

#passwd hadoop

#visudo

为hadoop添加hadoop权限，在root ALL=(ALL)ALL下添加一行：

rootALL=(ALL)ALL

hadoop ALL=(ALL) ALL

切换回hadoop：

su hadoop

设置hosts，避免直接使用ip(两个节点均要设置)：

在/etc/hosts修改如下：

127.0.0.1master master

::1localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.80.100　　master master

192.168.80.101　　slave1

为了方便，将三个节点分别设置如下hostname（重启会失效）：

sudo hostname master

sudo hostname slave1

ssh免密登录设置(以下操作在master集器进行)：

$ssh-keygen //全部默认回车

$ssh-copy-id -i ~/.ssh/id_rsa.pub 192.168.80.101 //https://jingyan.baidu.com/article/c74d6000b499160f6a595de6.html

然后在master节点使用以下测试是否成功：

$ ssh 192.168.80.101

安装JDK：

参考此文：https://blog.csdn.net/qq_28666081/article/details/81629764

安装hadoop：

先配置master 192.168.80.100，然后scp拷贝到slave。

$ cd

$ wgethttps://apache.fayea.com/hadoop/common/hadoop-2.8.4/hadoop-2.8.4.tar.gz

$ tar -zxvfhadoop-2.8.4.tar.gz

$mv hadoop-2.8.4 hadoop

hadoop 的master节点配置：

需要配置六个文件(目录均在hadoop/etc/hadoop下)：

core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、slaves、hadoop-env.sh

1 配置core-site.xml

　　　　fs.default.name

　　　　hdfs://192.168.80.100:9000

　　　　hadoop.tmp.dir

　　　　file:/home/hadoop/hadoop/tmp

2 配置hdfs-site.xml

　　　　dfs.replication

　　　　2

　　　　dfs.namenode.name.dir

　　　　file:/home/hadoop/hadoop/tmp/dfs/name

　　　　dfs.datanode.data.dir

　　　　file:/home/hadoop/hadoop/tmp/dfs/data

　　　　dfs.namenode.secondary.http-address

　　　　192.168.80.100:9001

3 配置mapred-site.xml

$mv mapred-site.xml.template mapred-site.xml

　　　　mapreduce.framework.name

　　　　yarn

4 配置yarn-site.xml

　　　　yarn.resourcemanager.hostname

　　　　192.168.80.100

　　　　yarn.nodemanager.aux-services

　　　　mapreduce_shuffle

　　　　yarn.log-aggregation-enable

　　　　true

　　　　yarn.log-aggregation.retain-seconds

　　　　604800

5 配置slaves

192.168.80.101

注：如果是多个，则添加多行ip。

6 配置hadoop-env.sh，修改java_home为对应地址

export JAVA_HOME=/usr/lib/java/jdk1.7.0_40

其他子节点slave配置：

此步依旧是在master节点操作

$ scp -r ~/hadoop hadoop@192.168.80.101:~/

配置当前用户hadoop环境变量(每个节点都要配置)：

$vim ~/.bashrc

$source ~/.bashrc

$ echo$HADOOP_HOME //输出看看是否生效

启动hadoop：

$ hdfsnamenode -format //格式化hdfs

$ hadoop/sbin/start-all.sh

注：这里遇到一个错误，修改/etc/hosts的127.0.0.1 master master，本教程配置已经修复，参考链接是https://lihongchao87.iteye.com/blog/1998347。

在master节点输入jps

在slave1节点输入jps

然后输入https://192.168.80.100:50070/dfshealth.html#tab-overview：

以上就安装成功了，如要测试则以下地址：https://blog.csdn.net/chenyuangege/article/details/45582831

注：如果遇到测试失败可删掉hadoop/tmp/dfs，然后重新格式化hdfs后再启动试试。

本文由职坐标整理并发布，希望对同学们有所帮助。了解更多详情请关注职坐标大数据云计算大数据安全频道！