本文主要向大家介绍了【云计算】HDFSHA完全分布式搭建步骤，通过具体的内容向大家展现，希望对大家学习云计算有所帮助。

集群规划：

注：node01-node04为四个节点(虚拟机)，NN-1、NN-2为两个NameNode，DN表示DataNode，zk表示zookeeper，JNN表示JournalNode。

1.先把每个节点的防火墙关掉

1)service iptables status 查看防火墙状态

2)service iptables stop 关闭防火墙

2.配置免密登录

node01->node01 node01->node02 node01->node03 node01->node04

node02->node01

1)每台节点(虚拟机)修改/etc/hosts文件，内容为

2)所有节点执行 ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

3在node01节点执行，将node01的公钥加入到其他节点的白名单中

ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01

ssh-copy-id -i ~/.ssh/id_rsa.pub root@node02

ssh-copy-id -i ~/.ssh/id_rsa.pub root@node03

ssh-copy-id -i ~/.ssh/id_rsa.pub root@node04

4)在node02节点执行，将node02的公钥加入node01节点的白名单中

ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01

3.所有节点配置JDK

1)修改环境变量,vim /etc/profile在末尾添加以下两行代码

2)使/etc/profile环境变量配置生效

source /etc/profile

4.在node01节点配置hadoop

1)修改/etc/profile文件,修改完记得source /etc/profile

2)修改hadoop-env.sh中JAVA_HOME路径

vim /opt/software/hadoop/hadoop-2.6.5/etc/hadoop/hadoop-env.sh 内容修改如下

3)修改hdfs-site.xml配置文件hdfs-site.xml

vim /opt/software/hadoop/hadoop-2.6.5/etc/hadoop/hdfs-site.xml 在标签中添加以下内容

dfs.nameservices

mycluster

dfs.ha.namenodes.mycluster

nn1,nn2

dfs.namenode.rpc-address.mycluster.nn1

node01:8020

dfs.namenode.rpc-address.mycluster.nn2

node02:8020

dfs.namenode.http-address.mycluster.nn1

node01:50070

dfs.namenode.http-address.mycluster.nn2

node02:50070

dfs.namenode.shared.edits.dir

qjournal://node01:8485;node02:8485;node03:8485/mycluster

dfs.journalnode.edits.dir

/var/sxt/hadoop/ha/jn

dfs.client.failover.proxy.provider.mycluster org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider

dfs.ha.fencing.methods

sshfence

dfs.ha.fencing.ssh.private-key-files

/root/.ssh/id_rsa

dfs.ha.automatic-failover.enabled

true

4)修改core-site.xml配置文件

vim /opt/software/hadoop/hadoop-2.6.5/etc/hadoop/core-site.xml 在标签中添加以下内容

fs.defaultFS

hdfs://mycluster

ha.zookeeper.quorum

node02:2181,node03:2181,node04:2181

5)修改slaves配置文件

vim /opt/software/hadoop/hadoop-2.6.5/etc/hadoop/slaves 内容更改如下（注意竖着排列，不要有多余空格）

node02

node03

node04

5.将配置好的HDFS安装包拷贝到node02 node03 node04

6.格式化NameNode(创建目录以及文件)

1)在node01、node02、node03分别执行如下命令

hadoop-daemon.sh start journalnode

2)随机选择一台NameNode执行如下两条命令(此namenode为active状态)

hdfs namenode -format

hadoop-daemon.sh start namenode

3)另外一台NameNode节点执行(此namenode为standby状态)

hdfs namenode -bootstrapStandby

7.搭建zookeeper集群

1)请自行下载并解压

2)修改conf目录下的zoo_sample.cfg(我的绝对路径为/opt/software/zookeeper/zookeeper-3.4.10/conf/zoo_sample.cfg)的名称，改为zoo.cfg

mv zoo_sample.cfgzoo.cfg

3)修改zoo.cfg(vim zoo.cfg)

4)在dataDir目录下创建一个myid文件，在这个文件中写上当前节点ID号(此处node02为1)

5)将配置好的zookeeper安装包拷贝到node03 node04

参考上面第五步hadoop的拷贝

6)拷贝完毕后，在各自节点上创建myid号，ID号要依次递增(此处node03为2，node04为3)

7)格式化zookeeper(一个节点执行级即可)

hdfs zkfc -formatZK

8.关闭所有节点上的进程

stop-dfs.sh

9.启动HDFS

start-dfs.sh

10.操作HDFS文件系统

本文由职坐标整理并发布，希望对同学们有所帮助。了解更多详情请关注职坐标大数据云计算大数据安全频道！