摘要:本文主要向大家介绍了【云计算】Hadoop集中式的缓存管理demo实例教程,通过具体的内容向大家展现,希望对大家学习云计算有所帮助。
本文主要向大家介绍了【云计算】Hadoop集中式的缓存管理demo实例教程,通过具体的内容向大家展现,希望对大家学习云计算有所帮助。
从Hadoop 2.3.0 开始,加入了集中式缓存管理(HDFS centralized cache management)。
由namenode管理。那么HDFS client(例如MapReduce、Impala)就可以根据block被cache的分布情况去调度任务,做到memory-locality。 HDFS原来单纯靠DataNode的OS buffer cache,这样不但没有把block被cache的分布情况对外暴露给上层应用优化任务调度,也有可能会造成cache浪费。例如一个block的三个replica分别存储在三个DataNote 上,有可能这个block同时被这三台DataNode的OS buffer cache,那么从HDFS的全局看就有同一个block在cache中存了三份,造成了资源浪费。 加快HDFS client读速度。过去NameNode处理读请求时只根据拓扑远近决定去哪个DataNode读,现在还要加入speed的因素。当HDFS client和要读取的block被cache在同一台DataNode的时候,可以通过zero-copy read直接从内存读,略过磁盘I/O、checksum校验等环节。 即使数据被cache的DataNode节点宕机,block移动,集群重启,cache都不会受到影响。因为cache被NameNode统一管理并被被持久化到FSImage和EditLog,如果cache的某个block的DataNode宕机,NameNode会调度其他存储了这个replica的DataNode,把它cache到内存。
在做一个工业数据量级别的项目,包括全量数据与部分增量数据,使用parquet格式存储在HDFS中,查询使用Hive与SparkSQL,原本计划重写MapReduce的InputFormat与Spark DataSource API,在计算分片时把增量数据读入JVM然后分发给每个分片。而Hive比较坑的一点是,当Hive使用MapReduce查询(如count、where、join等操作),将不会使用自定义InputFormat的getSplits方法进行分片而是用自带的CombineHiveInputFormat分片。导致无法在分片时读入增量数据。遂考虑在每个分片内独自读取增量数据。但是多个进程同时读势必会影响速度,于是打算将增量数据存储于集中式缓存。
addDirective:添加指令
hdfs cacheadmin -addDirective -path path -pool pool-name [-force] [-replication replication] [-ttl time-to-live]
-path 添加的路径 -pool 加入的缓冲池名称 -force 不检查缓存池的资源限制 -replication 要使用的副本数,默认为1 -ttl 缓存指令可以保持多长时间。可以按照分钟,小时,天来指定,如30m,4h,2d。有效单位为[smhd]。“never”表示永不过期的指令。如果未指定该值,那么,缓存指令就不会过期。
removeDirective:通过id删除指令
hdfs cacheadmin -removeDirective
removeDirectives:删除执行path下所有缓存命令
hdfs cacheadmin -removeDirective
listDirectives:显示某一路径下的缓存信息
hdfs cacheadmin -listDirectives [-stats] [-path path] [-pool pool]
-stats 显示 列出基于path的缓存指令统计信息。
添加/修改缓存池:addPool/modifyPool
hdfs cacheadmin -addPool name [-owner owner] [-group group] [-mode mode] [-limit limit] [-maxTtl maxTtl] hdfs cacheadmin -modifyPool name [-owner owner] [-group group] [-mode mode] [-limit limit] [-maxTtl maxTtl]
其中, -owner/group是该pool的属主/组,默认为当前用户 -mode是POSIX风格权限,默认为0755 -limit为该pool中可以缓存的最大字节数,默认没有限制 -maxTtl 最大的生存期,可以是120s, 30m, 4h, 2d等。
移除缓冲池:removePool
hdfs cacheadmin -removePool name
列出缓冲池:listPools
hdfs cacheadmin -listPools [-stats] [name]
-stats为显示统计信息
hdfs cacheadmin -addPool cache_data -mode 0777
18/05/12 13:48:08 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Successfully added cache pool cache_data.
hdfs cacheadmin -addDirective -path /data -pool cache_data
18/05/12 13:50:21 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Added cache directive 1
hdfs cacheadmin -listPools -stats cache_data
18/05/12 13:50:39 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 1 result.
NAME OWNER GROUP MODE LIMIT MAXTTL BYTES_NEEDED BYTES_CACHED BYTES_OVERLIMIT FILES_NEEDED FILES_CACHED
cache_data hadoop staff rwxrwxrwx unlimited never 0 0 0 0 0
hdfs cacheadmin -listDirectives -path /data
18/05/12 13:50:58 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 1 entry
ID POOL REPL EXPIRY PATH
1 cache_data 1 never /data
本文由职坐标整理并发布,希望对同学们有所帮助。了解更多详情请关注职坐标大数据云计算大数据安全频道!
您输入的评论内容中包含违禁敏感词
我知道了
请输入正确的手机号码
请输入正确的验证码
您今天的短信下发次数太多了,明天再试试吧!
我们会在第一时间安排职业规划师联系您!
您也可以联系我们的职业规划师咨询:
版权所有 职坐标-一站式IT培训就业服务领导者 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com,All Rights Reserved.
沪公网安备 31011502005948号