【云计算】kylin常用命令解析
小标 2018-12-05 来源 : 阅读 1625 评论 0

摘要:本文主要向大家介绍了【云计算】kylin常用命令解析,通过具体的内容向大家展现,希望对大家学习云计算有所帮助。

本文主要向大家介绍了【云计算】kylin常用命令解析,通过具体的内容向大家展现,希望对大家学习云计算有所帮助。


  Kylin命令使用 备份Kylin的元数据

Kylin组织所有的元数据(包括cube descriptions and instances, projects, inverted index description and instances,jobs, tables and dictionaries)作为一个层次的文件系统。然而,Kylin使用HBase来进行存储,而不是普通的文件系统。可以从Kylin的配置文件kylin.properties中查看到:


## The metadata store in hbase


kylin.metadata.url=kylin_metadata@hbase


表示Kylin的元数据被保存在HBase的kylin_metadata表中。


备份Kylin的元数据


./bin/metastore.sh backup


这将备份元数据到本地目录KYLIN_HOME/metadata_backps下面,目录的命名格式为:


KYLIN_HOME/meta_backups/meta_year_month_day_hour_minute_second


比如我的Kylin的家目录为/var/lib/kylin/kylin,那么备份数据的目录为:


/var/lib/kylin/kylin/meta_backups/meta_2016_05_01_11_50_32


示例:


[root@y2 ~]# cd $KYLIN_HOME


[root@y2 apache-kylin-2.1.0-bin]# ls


bin commit_SHA1 conf ext lib logs meta3.2.3 meta3.2.3_bak meta_backups pid sample_cube spark tomcat tool


[root@y2 apache-kylin-2.1.0-bin]#


[root@y2 apache-kylin-2.1.0-bin]# ls


bin commit_SHA1 conf ext lib logs meta3.2.3 meta3.2.3_bak meta_backups pid sample_cube spark tomcat tool


[root@y2 apache-kylin-2.1.0-bin]# cd meta_backups/


[root@y2 meta_backups]# ls


meta_2017_10_27_10_27_33 meta_2017_11_03_09_52_36


[root@y2 meta_backups]# $KYLIN_HOME/bin/metastore.sh backup


或者


[root@y2 meta_backups]# metastore.sh backup


如果不加路径,需要在配置文件/etc/profile中配置kylin环境变量kylin_home.


恢复元数据

假如你的Kylin元数据挂掉了,那么我们就可以使用之前备份的数据进行恢复:


1.首先reset当前Kylin的元数据存储,这将清理掉所有存储在HBase中的Kylin元数据,确保在此之前做过备份。


./bin/metastore.sh reset


2.接着,上传备份的元数据到Kylin的元数据中


./bin/metastore.sh restore$KYLIN_HOME/meta_backups/meta_xxxx_xx_xx_xx_xx_xx


3.释放自己的元数据


$KYLIN_HOME/bin/metastore.sh restore $KYLIN_HOME/meta_store_2017


从Kylin元数据中清理掉无用的资源

随着时间的推移,有些资源,比如字典,表的快照等变得无用了(cube的segment被删除或合并了),但是他们仍然占用空间。可以执行如下命令查找和清理无用的元数据:


1.首先执行检查,这是安全的操作,不会修改任何内容:


./bin/metastore.sh clean


将需要被删除的资源(resources)罗列出来


2.接着,在上面的命令中,添加“--delete true”参数,这样就会清理掉哪些无用的资源。切记,在这个命令操作之前,一定要备份Kylin元数据:


./bin/metastore.sh clean --delete true


$KYLIN_HOME/bin/metastore.sh clean --delete true


清除元数据

1、检查哪些资源可以清除,这不会删除任何东西:


${KYLIN_HOME}/bin/kylin.sh org.apache.kylin.tool.StorageCleanupJob --delete false


2确认资源来检查它们是否不再被引用;然后添加“-删除true”选项以开始清理:


${KYLIN_HOME}/bin/kylin.sh org.apache.kylin.tool.StorageCleanupJob --delete true


          

本文由职坐标整理并发布,希望对同学们有所帮助。了解更多详情请关注职坐标大数据云计算大数据安全频道!

本文由 @小标 发布于职坐标。未经许可,禁止转载。
喜欢 | 0 不喜欢 | 0
看完这篇文章有何感觉?已经有0人表态,0%的人喜欢 快给朋友分享吧~
评论(0)
后参与评论

您输入的评论内容中包含违禁敏感词

我知道了

助您圆梦职场 匹配合适岗位
验证码手机号,获得海同独家IT培训资料
选择就业方向:
人工智能物联网
大数据开发/分析
人工智能Python
Java全栈开发
WEB前端+H5

请输入正确的手机号码

请输入正确的验证码

获取验证码

您今天的短信下发次数太多了,明天再试试吧!

提交

我们会在第一时间安排职业规划师联系您!

您也可以联系我们的职业规划师咨询:

小职老师的微信号:z_zhizuobiao
小职老师的微信号:z_zhizuobiao

版权所有 职坐标-一站式AI+学习就业服务平台 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com,All Rights Reserved.
 沪公网安备 31011502005948号    

©2015 www.zhizuobiao.com All Rights Reserved