本文主要向大家介绍了【云计算】SparkSQL运行报错解析，通过具体的内容向大家展现，希望对大家学习云计算有所帮助。

在使用sparkSQL查询hive中的数据时候报错：

java.lang.ClassNotFoundException Class org.apache.hive.hcatalog.data.JsonSerDe not found java.lang.ClassNotFoundException: Class org.apache.hive.hcatalog.data.JsonSerDe not found

hive数据是logservice投递到oss上的，只使用hive sql的话可以得到数据，数据表结构如下：

CREATE EXTERNAL TABLE `workflow_operation`(

`level` string COMMENT 'from deserializer',

`location` string COMMENT 'from deserializer',

`message` string COMMENT 'from deserializer',

`thread` string COMMENT 'from deserializer',

`time` string COMMENT 'from deserializer')

PARTITIONED BY ( `year` string, `month` string, `day` string, `hour` string)

ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe'

STORED AS INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat'

OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'

LOCATION 'oss://weidian-be-production/weidian_be_production/workflow_operation'

TBLPROPERTIES ( 'transient_lastDdlTime'='1535339427')

使用hive sql可以正常查询，但是使用sparksql：spark-sql -e "use weidian_be_production;set io.compression.codec.snappy.native=true;select * from workflow_operation limit 3;"

会报如上错误 另外在hive集群上已经配置了hive_aux_jars_path=/usr/lib/hive-current/lib/hive-hcatalog-core-2.3.3.jar 但是依然报错。

解决办法：把/usr/lib/hive-current/lib/hive-hcatalog-core-2.3.3.jar拷贝到 /usr/lib/spark-current/jars下

本文由职坐标整理并发布，希望对同学们有所帮助。了解更多详情请关注职坐标大数据云计算大数据安全频道！