本文主要向大家介绍了【云计算】spark和hive整合知识点分享，通过具体的内容向大家展现，希望对大家学习云计算有所帮助。

1、在Spark的安装包下的conf下创建一个文件 hive-site.xml

hive.metastore.uris

thrift://node2:9083

不需要更新到其他的节点，只需要在客户端有一份hive-site.xml就可以

2、开启Hive的metaStore服务 hive --service metastore 以metastore启动hive

假如启动不了，可以cd ~到家目录下 创建一个vim startHiveMetastoreService.sh

source ~/.bashrc

hive --service metastore > /data/metastore.log 2>&1 &

记得创建：/data/metastore.log

./startHiveMetastoreService.sh启动

3、在spark的bin目录下启动spark sql： ./spark-shell --master spark://node1:7077 --total-executor-cores 3

4、import org.apache.spark.sql.hive.HiveContext

val hc = new HiveContext(sc) //new hive链接对象

hc.sql("show databases").show

hc.sql("use result").show

设置日志级别：sc.setLogLevel("INFO")

本文由职坐标整理并发布，希望对同学们有所帮助。了解更多详情请关注职坐标大数据云计算大数据安全频道！