【云计算】HDFS常用命令解析
小标 2018-12-13 来源 : 阅读 1032 评论 0

摘要:本文主要向大家介绍了【云计算】HDFS常用命令解析,通过具体的内容向大家展现,希望对大家学习云计算有所帮助。

本文主要向大家介绍了【云计算】HDFS常用命令解析,通过具体的内容向大家展现,希望对大家学习云计算有所帮助。


1. 文件操作


(1) 列出HDFS下的文件


/usr/local/hadoop$bin/hadoop dfs -ls


(2) 列出HDFS文件下名为in的文档中的文件


/usr/local/hadoop$bin/hadoop dfs -ls in


(3) 上传文件


将hadoop目录下的test1文件上传到HDFS上并重命名为test:


/usr/local/hadoop$bin/hadoop dfs -put test1 test


(4) 文件被复制到本地系统中


将HDFS中的in文件复制到本地系统并命名为getin:


/usr/local/hadoop$bin/hadoop dfs -get in getin


(5) 删除文档


删除HDFS下名为out的文档:


/usr/local/hadoop$bin/hadoop dfs -rmr out


(6) 查看文件


查看HDFS下in文件中的内容:


/usr/local/hadoop$bin/hadoop dfs -cat in/*


(7) 建立目录


/usr/local/hadoop$bin/hadoop dfs -mkdir /user/hadoop/examples(目录/目录名)


只能一级一级的建目录。


(8) 复制文件


/usr/local/hadoop$bin/hadoop dfs -copyFromLocal 源路径 路径


(9)通过Hadoop命令把两个文件的内容合并起来


hdfs dfs -getmerge 位于hdfs中的原文件(里面有多个文件) 合并后的文件名
例如:
hdfs dfs -getmerge hdfs://Master:9000/data/SogouResult.txt CombinedResult


注:合并后的文件位于当前目录,不在hdfs中,是本地文件


2. 管理与更新


(1) 执行基本信息


查看HDFS的基本统计信息:


/usr/local/hadoop$bin/hadoop dfsadmin -report


(2) 退出安全模式


NameNode在启动时会自动进入安全模式。安全模式是NameNode的一种状态,在这个阶段,文件系统不允许有任何修改。


系统显示Name node in safe mode,说明系统正处于安全模式,这时只需要等待十几秒即可,也可通过下面的命令退出安全模式:


/usr/local/hadoop$bin/hadoop dfsadmin -safemode leave


(3) 进入安全模式


在必要情况下,可以通过以下命令把HDFS置于安全模式:


/usr/local/hadoop$bin/hadoop dfsadmin -safemode enter


(4)节点添加


添加一个新的DataNode节点,先在新加节点上安装好Hadoop,要和NameNode使用相同的配置(可以直接从NameNode复制),修改$HADOOP_HOME/conf/master文件,加入NameNode主机名。然后在NameNode节点上修改$HADOOP_HOME/conf/slaves文件,加入新节点名,再建立新加节点无密码的SSH连接,运行启动命令为:


/usr/local/hadoop$bin/start-all.sh


(5)负载均衡


HDFS的数据在各个DataNode中的分布可能很不均匀,尤其是在DataNode节点出现故障或新增DataNode节点时。新增数据块时NameNode对DataNode节点的选择策略也有可能导致数据块分布不均匀。用户可以使用命令重新平衡DataNode上的数据块的分布:


/usr/local/hadoop$bin/start-balancer.sh


          

本文由职坐标整理并发布,希望对同学们有所帮助。了解更多详情请关注职坐标大数据云计算大数据安全频道!

本文由 @小标 发布于职坐标。未经许可,禁止转载。
喜欢 | 0 不喜欢 | 0
看完这篇文章有何感觉?已经有0人表态,0%的人喜欢 快给朋友分享吧~
评论(0)
后参与评论

您输入的评论内容中包含违禁敏感词

我知道了

助您圆梦职场 匹配合适岗位
验证码手机号,获得海同独家IT培训资料
选择就业方向:
人工智能物联网
大数据开发/分析
人工智能Python
Java全栈开发
WEB前端+H5

请输入正确的手机号码

请输入正确的验证码

获取验证码

您今天的短信下发次数太多了,明天再试试吧!

提交

我们会在第一时间安排职业规划师联系您!

您也可以联系我们的职业规划师咨询:

小职老师的微信号:z_zhizuobiao
小职老师的微信号:z_zhizuobiao

版权所有 职坐标-一站式AI+学习就业服务平台 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com,All Rights Reserved.
 沪公网安备 31011502005948号    

©2015 www.zhizuobiao.com All Rights Reserved