-
大数据云计算
站-
热门城市 全国站>
-
其他省市
-
-
15692118659
小标
2018-12-13
来源 ：
阅读 2089
评论 0
摘要：本文主要向大家介绍了【云计算】hdfs中参数的配置解析，通过具体的内容向大家展现，希望对大家学习云计算有所帮助。
本文主要向大家介绍了【云计算】hdfs中参数的配置解析，通过具体的内容向大家展现，希望对大家学习云计算有所帮助。
| 数据块的副本数 | dfs.replication | 3 | 2 | 页面修改 | 减少副本块可以节约存储空间 | |
| SequenceFile I/O 缓存区大小 | io.file.buffer.size | 131072（可以更大） | core-site.xml 的群集范围高级配置代码段（安全阀） | hadoop访问文件的IO操作都需要通过代码库，在很多情况下io.file.buffer.size都被用来设置缓存的大小。不论是对硬盘或者是网络操作来讲，较大的缓存都可以提供更高的数据传输，但这也就意味着更大的内存消耗和延迟。这个参数要设置为系统页面大小的倍数，以byte为单位。 | ||
| .Trash目录下文件被永久删除前保留的时间 | fs.trash.interval | 1440（24小时） | core-site.xml 的群集范围高级配置代码段（安全阀） | |||
| 垃圾回收的检查间隔 | fs.trash.checkpoint.interval | 1440 | core-site.xml 的群集范围高级配置代码段（安全阀） | |||
| 是否启动Hadoop的本地库 | io.native.lib.available | true | core-site.xml 的群集范围高级配置代码段（安全阀） | 本地库可以加快基本操作，例如IO，压缩等。 | ||
| NameNode 处理程序计数 | dfs.namenode.handler.count | 40 | 400 | 页面修改 | 设定 namenode server threads 的数量，这些 threads 會用 RPC 跟其他的 datanodes 沟通。当 datanodes 数量太多时会发現很容易出現 RPC timeout，解決方法是提升网络速度或提高这个值，但要注意的是 thread 数量多也表示 namenode 消耗的内存也随着增加。 | 扩展性相关参数 |
| NameNode 服务处理程序计数 | dfs.namenode.service.handler.count | 400 | 页面修改 | |||
| NameNode的java堆栈大小 | NameNode Java heap size | 90G | 页面修改 | |||
| DataNode的java堆栈大小 | DataNode maximum Java heap size | 16G | 页面修改 | |||
| DataNode 处理程序计数 | dfs.datanode.handler.count | 3 | 50 | |||
| 提前读取的字节数 | dfs.datanode.readahead.bytes | 4M | 64M | 页面修改 | 读取块文件时，DataNode 可以使用 posix_fadvise 系统呼叫将数据显式放入操作系统缓冲区缓存中当前读取器位置之前。这样可以提高性能，尤其是在磁盘高度占用的情况下。该配置指定 DataNode 尝试提前读取的位置比当前读取位置提前的字节数。 | |
| ipc服务监听队列长度 | ipc.server.listen.queue.size | 1024 | 与系统参数net.core.somaxconn保持一致 | core-site.xml 的群集范围高级配置代码段（安全阀） | 增大打开文件数据和网络连接上限，提高hadoop集群读写速度和网络带宽使用率 |
本文由职坐标整理并发布，希望对同学们有所帮助。了解更多详情请关注职坐标大数据云计算大数据安全频道！
喜欢 | 0
不喜欢 | 0
您输入的评论内容中包含违禁敏感词
我知道了
请输入正确的手机号码
请输入正确的验证码
您今天的短信下发次数太多了，明天再试试吧！
我们会在第一时间安排职业规划师联系您！
您也可以联系我们的职业规划师咨询：
版权所有 职坐标-一站式AI+学习就业服务平台 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com，All Rights Reserved.
沪公网安备 31011502005948号
资料领取
答疑解惑
技术交流
职业测评
面试技巧
高薪秘笈
