本文主要向大家介绍了【云计算】Hadoop常用命令解析，通过具体的内容向大家展现，希望对大家学习云计算有所帮助。

1、集群数据迁移 

hadoop distcp -D ipc.client.fallback-to-simple-auth-allowed=true -skipcrccheck -update

/user/hive/warehouse/tmp.db/test

webhdfs://localhost:50070/tmp/cvm_hive_backup/tmp.db/test

2、reblance数据节点

一般在主节点执行，即namenode

screen

yum install screen

screen -ls 查看

screen -r 52821（上一步显示的进程号）

开始输入：sudo -u hdfs hdfs balancer

退出screen屏幕ctrl+a 再 d

最后再执行一下screen -ls

screen -wipe

ctrl c 没有问题

3、HDFS 安全模式

是hadoop集群保护模式，检查数据块的完整性

hadoop dfsadmin -safemode leave 强制nn退出安全模式

hadoop dfsadmin -safemode enter 进入安全模式

hadoop dfsadmin -safemode get 查看安全模式状态

hadoop dfsadmin -safemode wait 等待一直到安全模式推出

4、心跳机制

nn启动时会启动一个IPC（Inter-Process Communition，进程间通信）server服务 ，等待dn 连接

当dn启动时，会主动连接nn中的服务，并且每隔三秒执行一次nn

RM也是通过心跳机制过去nm的状态

5、mv一定文件或者文件夹

hadoop fs –mv /tmp/user /hive/ 此时会把整个user文件夹移到hive目录下面

hadoop fs –rm -r /tmp/user 会把user以及user 下的所有文件删除，谨慎操作

hadoop fs –put /本地path/test.txt /user/tmp/ 此时会把本地的test.txt 文件 上传到hdfs /user/tmp/下

hadoop fs –chmod -R 700 /user/tmp 此时会把hdfs /user/tmp 的 tmp 以及tmp文件夹下的所有文件设置成用户-rwx------ 权限

hadoop fs -chown -R hdfs:test /user/tmp 此时会把tmp文件夹权限设置为 ower：hdfs group：test

6、yarn的任务log查看、删除任务、列出yarn 的任务

yarn logs -applicationId xxxx

yarn application -kill xxxx

yarn application -list xxxx

7、查看hdfs文件并且按照时间过滤hdfs文件

hadoop 按时间过滤hdfs 文件

hadoop fs -ls /user/hdp-dw/wa/lbs |awk '{if($6" "$7>"2018-06-21 05:00" && $6" "$7<"2018-06-21 14:00" ) print $8}'

8、使用Java 链接hdfs注意问题

java.io.IOException: No FileSystem for scheme: hdfs异常解决

编写Hadoop的MR代码Eclipse运行没问题，maven打包后在服务器部署出现如下问题找不到HDFS的Scheme

Configuration config = new Configuration();

config.set("fs.hdfs.impl",org.apache.hadoop.hdfs.DistributedFileSystem.class.getName());

本文由职坐标整理并发布，希望对同学们有所帮助。了解更多详情请关注职坐标大数据云计算大数据安全频道！