本文主要向大家介绍了【云计算】hadoop高可用集群搭建参考教程，通过具体的内容向大家展现，希望对大家学习云计算有所帮助。

 ------------------
 
 集群部署节点角色的规划（3节点）
 ------------------
 node1   namenode  datanode  resourcemanager   nodemanager   zookeeper   journalnode    zkfc
 node2   namenode  datanode  resourcemanager   nodemanager   zookeeper   journalnode    zkfc
 node3   datanode  nodemanager   zookeeper   journalnode
 ------------------
 
安装步骤：
 1.安装配置zooekeeper集群
 2.解压hadoop压缩包，然后按照下面步骤修改配置文件 

###############################################################################
均在/export/server/hadoop-2.7.4/etc/hadoop/目录下配置
修改core-site.xml
fs.defaultFS
hdfs://cluster1


hadoop.tmp.dir
/export/data/hadoop
ha.zookeeper.quorum
node1:2181,node2:2181,node3:2181
###############################################################################    
修改hdfs-site.xml
dfs.nameservices
cluster1
dfs.ha.namenodes.cluster1
nn1,nn2
dfs.namenode.rpc-address.cluster1.nn1
node1:9000
.namenode.http-address.cluster1.nn1
node1:50070
dfs.namenode.rpc-address.cluster1.nn2
node2:9000
dfs.namenode.http-address.cluster1.nn2
node2:50070
dfs.namenode.shared.edits.dir
qjournal://node1:8485;node2:8485;node3:8485/cluster1
dfs.journalnode.edits.dir  
/export/data/journaldata
dfs.ha.automatic-failover.enabled
true
dfs.client.failover.proxy.provider.cluster1
org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
dfs.ha.fencing.methods
sshfence
dfs.ha.fencing.ssh.private-key-files
/root/.ssh/id_rsa
dfs.ha.fencing.ssh.connect-timeout
30000
###############################################################################    
修改mapred-site.xml
mapreduce.framework.name
yarn
###############################################################################   
修改yarn-site.xml
yarn.resourcemanager.ha.enabled
true
yarn.resourcemanager.cluster-id
yrc

yarn.resourcemanager.ha.rm-ids
rm1,rm2
yarn.resourcemanager.hostname.rm1
node1
yarn.resourcemanager.hostname.rm2
node2
yarn.resourcemanager.zk-address
node1:2181,node2:2181,node3:2181
yarn.nodemanager.aux-services
mapreduce_shuffle   
###############################################################################   
修改slaves
node1
node2
node3
##############################################################################
配置免密码登陆
ssh-keygen -t rsa 四下回车
ssh-copy-id node2

node1到node1、node2、node3的免密码登录
node2到node1、node2、node3的免密码登录

###############################################################################

最后，把上面的配置文件，从node1机器上，拷贝到node2、node3机器的$HADOOP_HOME/etc/hadoop目录中
scp -r core-site.xml root@node2:/export/server/hadoop-2.7.4/etc/hadoop/
（1，core-site.xml 2,hdfs-site.xml 3,yarn-site.xml）
###############################################################################


启动 
严格按照下面的步骤!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
  1、启动zookeeper集群
   分别在node1、node2、node3上启动zookeeper
   
  2、手动启动journalnode
   分别在node1、node2、node3上：
   hadoop-daemon.sh start journalnode
   jps检查一下
  
  3、格式化namenode
  要先清空数据目录
  rm -rf /export/data/hadoop/
  rm -rf /export/server/hadoop-2.7.4/logs/
   #在node1上执行命令:
   hdfs namenode -format
   
   把生成的目录，拷贝到node2相应位置上
   scp -r /export/data/hadoop ...
  
  4、格式化ZKFC(在node1上执行即可)
   hdfs zkfc -formatZK
  
  5、启动HDFS(在node1上执行)
   start-dfs.sh

  6、启动YARN
   start-yarn.sh

hadoop-daemon.sh start zkfc   单独启动一个zkfc进程

单个启动resourcemaager或namenode
yarn-daemon.sh start resourcemanager
hadoop-daemon.sh start namenode   
  
 注：以上六个步骤安装启动一次后再启动的话只需启动1,5,6这三个步骤即可

本文由职坐标整理并发布，希望对同学们有所帮助。了解更多详情请关注职坐标大数据云计算大数据安全频道！