本文主要向大家介绍了【云计算】CM5.12.1离线安装spark2.2教程，通过具体的内容向大家展现，希望对大家学习云计算有所帮助。

目录

文档编写目的

升级准备

升级Spark2.20

验证Spark版本

常见问题

总结

文档编写目的

在CDH集群中spark1和Spark2版本可以共存，为了更好的体验及使用Spark新版本的API或修改已知旧版本的bug，现需要将CDH集群中安装Spark2.2，本节主要介绍如何通过Cloudera Manager离线安装Spark2.2。

操作流程概述：

升级准备 升级Spark版本及验证 总结

测试环境概述：

CM和CDH版本为5.12.1 Spark on Yarn部署 采用root用户操作 CentOS6.9

前置条件：

集群JAVA版本已升级至1.8

升级准备

下载安装包

下载Spark2.2的parcel包及csd文件，下载地址：csd文件下载

注意：这里的csd文件有.cloudera1和.cloudera2之分，下载时需要注意下载的是哪个版本，若是.cloudera1，则parcel包需要下载2.2.0.cloudera1路径下的，而如果是.cloudera2，则parcel包需要下载2.2.0.cloudera2路径下的。

parcel包下载地址：spark2.2 parcels包

部署Spark2.2的parcel包

将下载的parcel包部署在http服务的/var/www/html/spark2.2目录下

测试parcel是否可远程访问

可成功访问 https://192.168.0.242/spark2.2/

部署csd文件

将下载好的csd文件拷贝至/opt/cloudera/csd目录下，并修改文件属主为cloudera-scm

# chown cloudera-scm. SPARK2_ON_YARN-2.2.0.cloudera2.jar

注意：如果csd目录下有其它Spark版本的csd文件需要移除。

完成以上部署后，重启cloudera-scm-server服务

# service cloudera-scm-server restart

使用管理员登录到Cloudera Manager的Web控制台根据提示重启Cloudera Management Service服务

升级Spark2.20

配置Spark2.2版本的parcel库地址

配置完后就可以看到spark2.2的版本了

点击下载、分配、激活Spark2.2版本

激活重启后，Parcel显示为已激活状态

安装的Spark2.2.0服务

配置Spark2的JAVA环境变量

保存配置，并重新部署客户端配置

至此已完成Spark2.2的安装

验证Spark版本

在命令行运行spark2-shell命令，验证Spark版本

运行一个Spark2的作业

spark2-submit --classorg.apache.spark.examples.SparkPi\

--master yarn-client --num-executors 4--driver-memory 2g \

--driver-cores 1--executor-memory 2g --executor-cores 1\

/opt/cloudera/parcels/SPARK2/lib/spark2/examples/jars/spark-examples_2.11-2.2.0.cloudera2.jar 5

常见问题

在命令行运行spark2-shell命令报如下异常：

解决方式：在Spark2的配置项“客户端高级配置代码片段”中增加JAVA的环境变量且必须为1.8版本。

总结

升级Spark2.2版本的前提是已将CDH集群的JAVA升级到1.8版本，第五部分《CM5.12.1将 jdk1.7升级到1.8》 升级Spark2.2时需要注意CSD文件是否与parcel版本一致，且在/opt/cloudera/csd目录下只能存在一个Spark的CSD文件。 在升级到Spark2.2后需要指定JAVA的环境变量，由于集群使用的是Spark ON Yarn模式，所以文章中只需要在“客户端高级配置代码片段”中增加JAVA的环境变量。

本文由职坐标整理并发布，希望对同学们有所帮助。了解更多详情请关注职坐标大数据云计算大数据安全频道！