【云计算】hive整合hbase实际流程
小标 2019-02-20 来源 : 阅读 545 评论 0

摘要:本文主要向大家介绍了【云计算】hive整合hbase实际流程,通过具体的内容向大家展现,希望对大家学习云计算有所帮助。

本文主要向大家介绍了【云计算】hive整合hbase实际流程,通过具体的内容向大家展现,希望对大家学习云计算有所帮助。

【云计算】hive整合hbase实际流程

1.首先把hive下的指定jar复制到hbase的lib下


scp $HIVE_HOME/lib/hive-hbase-handler-1.1.0-cdh5.4.0.jar $HBASE_HOME/lib/


2. 把hbase下的所有jar复制到hive的lib下


scp $HBASE_HOME/lib/*.jar $HIVE_HOME/lib/


3.整合代码


在hive的客户端中运行下面的代码进行整合:


create external table hivetable(rowkey string, column1 string,column2 string,column3 string)


stored by'org.apache.hadoop.hive.hbase.HBaseStorageHandler'


with serdeproperties ("hbase.columns.mapping" = ":key,columnfamily1:column1,columnfamily1:column2,columnfamily2:column3") tblproperties ("hbase.table.name"="hbasetable");


上面这个建表语句表示在Hive中建立一个外部表—名字叫做hivetable,与其在Hbase中建立映射关系的表名字为hbasetable,映射关系如下:

hivetable —————————————hbasetable

rowkey<—————>key (Hive中的rowkey字段关联到Hbase中的行健key)

column1<————–>columnfamily1:column1(hivetable中的column1映射到hbasetable中columnfamily1上的column1字段)

column2<————–>columnfamily1:column2(hivetable中的column2映射到hbasetable中columnfamily1上的column2字段)

column3<————–>columnfamily2:column3(hivetable中的column3映射到hbasetable中columnfamily2上的column3字段)

stored by ‘org.apache.hadoop.hive.hbase.HBaseStorageHandler’ 的含义是:Hive与Hbase整合功能(互相通信)的实现主要是通过hive_hbase-handler.jar这个工具类来完成的,而语法中的HBaseStorageHandler指的就是这个工具类。


CREATE EXTERNAL TABLE if not exists StocksInfo(


Rowkeystring,


Codestring,


Namestring


)


STORED BY'org.apache.hadoop.hive.hbase.HBaseStorageHandler'


WITH SERDEPROPERTIES('hbase.columns.mapping' =':key,d:Code,d:Name')


TBLPROPERTIES('hbase.table.name' ='StocksInfo');


hbase.columns.mapping: Hive表和HBase表的字段映射关系,分别为:Hive表中第一个字段映射:key(rowkey),d:code (d 指hbase 数据库 stocksInfo 表列族,code 列名)


          

本文由职坐标整理并发布,希望对同学们有所帮助。了解更多详情请关注职坐标大数据云计算大数据安全频道!

本文由 @小标 发布于职坐标。未经许可,禁止转载。
喜欢 | 0 不喜欢 | 0
看完这篇文章有何感觉?已经有0人表态,0%的人喜欢 快给朋友分享吧~
评论(0)
后参与评论

您输入的评论内容中包含违禁敏感词

我知道了

助您圆梦职场 匹配合适岗位
验证码手机号,获得海同独家IT培训资料
选择就业方向:
人工智能物联网
大数据开发/分析
人工智能Python
Java全栈开发
WEB前端+H5

请输入正确的手机号码

请输入正确的验证码

获取验证码

您今天的短信下发次数太多了,明天再试试吧!

提交

我们会在第一时间安排职业规划师联系您!

您也可以联系我们的职业规划师咨询:

小职老师的微信号:z_zhizuobiao
小职老师的微信号:z_zhizuobiao

版权所有 职坐标-一站式IT培训就业服务领导者 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com,All Rights Reserved.
 沪公网安备 31011502005948号    

©2015 www.zhizuobiao.com All Rights Reserved

208小时内训课程