小标
2018-12-05
来源 :
阅读 1625
评论 0
摘要:本文主要向大家介绍了【云计算】kylin常用命令解析,通过具体的内容向大家展现,希望对大家学习云计算有所帮助。
本文主要向大家介绍了【云计算】kylin常用命令解析,通过具体的内容向大家展现,希望对大家学习云计算有所帮助。
Kylin命令使用 备份Kylin的元数据
Kylin组织所有的元数据(包括cube descriptions and instances, projects, inverted index description and instances,jobs, tables and dictionaries)作为一个层次的文件系统。然而,Kylin使用HBase来进行存储,而不是普通的文件系统。可以从Kylin的配置文件kylin.properties中查看到:
## The metadata store in hbase
kylin.metadata.url=kylin_metadata@hbase
表示Kylin的元数据被保存在HBase的kylin_metadata表中。
备份Kylin的元数据
./bin/metastore.sh backup
这将备份元数据到本地目录KYLIN_HOME/metadata_backps下面,目录的命名格式为:
KYLIN_HOME/meta_backups/meta_year_month_day_hour_minute_second
比如我的Kylin的家目录为/var/lib/kylin/kylin,那么备份数据的目录为:
/var/lib/kylin/kylin/meta_backups/meta_2016_05_01_11_50_32
示例:
[root@y2 ~]# cd $KYLIN_HOME
[root@y2 apache-kylin-2.1.0-bin]# ls
bin commit_SHA1 conf ext lib logs meta3.2.3 meta3.2.3_bak meta_backups pid sample_cube spark tomcat tool
[root@y2 apache-kylin-2.1.0-bin]#
[root@y2 apache-kylin-2.1.0-bin]# ls
bin commit_SHA1 conf ext lib logs meta3.2.3 meta3.2.3_bak meta_backups pid sample_cube spark tomcat tool
[root@y2 apache-kylin-2.1.0-bin]# cd meta_backups/
[root@y2 meta_backups]# ls
meta_2017_10_27_10_27_33 meta_2017_11_03_09_52_36
[root@y2 meta_backups]# $KYLIN_HOME/bin/metastore.sh backup
或者
[root@y2 meta_backups]# metastore.sh backup
如果不加路径,需要在配置文件/etc/profile中配置kylin环境变量kylin_home.
恢复元数据
假如你的Kylin元数据挂掉了,那么我们就可以使用之前备份的数据进行恢复:
1.首先reset当前Kylin的元数据存储,这将清理掉所有存储在HBase中的Kylin元数据,确保在此之前做过备份。
./bin/metastore.sh reset
2.接着,上传备份的元数据到Kylin的元数据中
./bin/metastore.sh restore$KYLIN_HOME/meta_backups/meta_xxxx_xx_xx_xx_xx_xx
3.释放自己的元数据
$KYLIN_HOME/bin/metastore.sh restore $KYLIN_HOME/meta_store_2017
从Kylin元数据中清理掉无用的资源
随着时间的推移,有些资源,比如字典,表的快照等变得无用了(cube的segment被删除或合并了),但是他们仍然占用空间。可以执行如下命令查找和清理无用的元数据:
1.首先执行检查,这是安全的操作,不会修改任何内容:
./bin/metastore.sh clean
将需要被删除的资源(resources)罗列出来
2.接着,在上面的命令中,添加“--delete true”参数,这样就会清理掉哪些无用的资源。切记,在这个命令操作之前,一定要备份Kylin元数据:
./bin/metastore.sh clean --delete true
$KYLIN_HOME/bin/metastore.sh clean --delete true
清除元数据
1、检查哪些资源可以清除,这不会删除任何东西:
${KYLIN_HOME}/bin/kylin.sh org.apache.kylin.tool.StorageCleanupJob --delete false
2确认资源来检查它们是否不再被引用;然后添加“-删除true”选项以开始清理:
${KYLIN_HOME}/bin/kylin.sh org.apache.kylin.tool.StorageCleanupJob --delete true
本文由职坐标整理并发布,希望对同学们有所帮助。了解更多详情请关注职坐标大数据云计算大数据安全频道!
喜欢 | 0
不喜欢 | 0
您输入的评论内容中包含违禁敏感词
我知道了

请输入正确的手机号码
请输入正确的验证码
您今天的短信下发次数太多了,明天再试试吧!
我们会在第一时间安排职业规划师联系您!
您也可以联系我们的职业规划师咨询:
版权所有 职坐标-一站式AI+学习就业服务平台 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com,All Rights Reserved.
沪公网安备 31011502005948号