本文主要向大家介绍了【云计算】三台centOS搭建hadoop集群系统中会出现的问题及解决办法，通过具体的内容向大家展现，希望对大家学习云计算有所帮助。

不分顺序

1，按照网上资料博客等配置完各种文件之后，启动namenode报错

ulimit -a for user root

这里我们直接重新格式化namenode，然后启动namenode就可以了

 hadoop namenode -format  

2，当我们将三台虚拟机按照桥接的方式来进行网络连接时，要在windows以及linux中的hosts文件中加入IP与主机名的映射，这样操作起来更方便，我们就需要为linux设置静态IP。设置静态IP无法联网的坑，如我上一篇博客所示。

CentOS 手动设置静态IP之后无法联网的问题解决办法

3，搭建集群时，我们成功让第一台虚拟机启动了namenode 以及 datanode，通过scp命令发送hadoop文件到另外两台虚拟机，但是另外两台虚拟机无法启动datanode，同样也是报ulimit -a for user root这个错误，这时我们使用ulimit -n 65535来试试，无效。

最后将hadoop安装目录下的logs里面日志全部清空，在开启一下datanode，直接定位到错误信息，是host访问error。原来是我们的/etc/hosts文件中没有将本虚拟机及ip的映射添加进去。

最后成功开启datanode。

4，当我们修改了hosts文件之后，需要用/etc/init.d/network restart命令去让网络设置生效，注意，这里要用

su

获得root权限，该条命令才会生效。

终于看到三个datanode显示在列表里了。。。

接下来进行测试，在每台虚拟机上都使用

bin/hdfs dfs -mkdir -p /user/zt/data

命令来在集群上创建一个文件夹，

通过点击上面导航栏的Utilities 然后选择 Browse the file system 查看分布式文件系统，看到了咱们的文件夹

最后上传文件，通过如下命令上传文件

bin/hdfs dfs -put README.txt /user/zt/data/

大功告成，可以看到这里的HDFS 默认的块大小是256M

至此，HDFS的搭建就告一段落了，

下面把我配置的hadoop-2.7.0/etc/hadoop/中有设置参数的地方贴出来：

1，core-site.xml

    
    //这里是namenode的URI
        fs.defaultFS
        hdfs://bigdata1:9000
    

    
        io.file.buffer.size
        131072
    

    
        hadoop.tmp.dir
        /opt/modules/hadoop-2.7.0
    

    
    //可以通过httpfs接口hdfs的ip地址限制
               hadoop.proxyuser.kafka.hosts
               *
     
     
     //通过httpfs接口访问的用户获得的群组身份
               hadoop.proxyuser.kafka.groups
               *
       

2，几个文件中要加入JAVA_HOME地址

3，

    
    //hdfs副本数
        dfs.replication
        2
    

    
            //创建的hdfs分布式文件系统的访问地址，其中bigdata1为我的namenode主机的hostname
          dfs.http.address
          bigdata1:50070
    

    
        //hdfs中磁盘块的大小，默认256M
        dfs.blocksize
        268435456
    

    
        //namenode能同时处理的线程数量，当扩展集群时可以加大这个数
        dfs.namenode.handler.count
        100
    

     
        dfs.namenode.secondary.https-address 
        bigdata1:50091 
     

    
                //namenode本地磁盘目录
                dfs.namenode.name.dir
                 file:/opt/modules/hadoop-2.7.0/dfs/name 

     
     
                  //datanode本地磁盘目录
                  dfs.datanode.data.dir
                   file:/opt/modules/hadoop-2.7.0/dfs/data
     

    
                  dfs.kafka.enabled
                  true
    

暂时贴到这里，明天继续配置yarn，搞起来！躁动起来！！！！

本文由职坐标整理并发布，希望对同学们有所帮助。了解更多详情请关注职坐标大数据云计算大数据安全频道！