-
大数据云计算
站-
热门城市 全国站>
-
其他省市
-
-
400-636-0069
小标
2019-02-25
来源 ：
阅读 1123
评论 0
摘要：本文主要向大家介绍了【云计算】sparkstandalone模式下killjob的几种不同的工作方式，通过具体的内容向大家展现，希望对大家学习云计算有所帮助。
本文主要向大家介绍了【云计算】sparkstandalone模式下killjob的几种不同的工作方式，通过具体的内容向大家展现，希望对大家学习云计算有所帮助。
1.官方提供的restfulAPI (6066端口为sparkstandalone 默认的restfulAPI端口）
这个种方式不是很好使用，尤其是对于使用脚本来提交的sparkjob，我们很难获取job对应的driverId，而官方提供的restfulAPI必须获取到driverID才可以杀死对应的job。
spark-submit --master spark://master:6066 --kill ${driver-id} 这行命令其实是调用
./bin/spark-class org.apache.spark.deploy.Client kill
其中masterurl必须是以spark://或者mesos://开头的， 表示采用standalone或者mesos调度。注意不支持YARN的调度方式。（不支持https://开头）
curl -X POST https://master:6066/v1/submissions/kill/driver-id 这个是restfulAPI ，必须指明driverId。
2.masterweb UI
从masterUI界面上面看，我们发现隐式的提供了killjob的post请求，经过提取，我们找到了真正的postURI，如下
curl -XPOST "https://master:8080/app/kill/id=${app-id}&terminate=true" 其中app-id就是webUI界面上job的 APPID；
一个请求直接kill指定的任务。
本文由职坐标整理并发布，希望对同学们有所帮助。了解更多详情请关注职坐标大数据云计算大数据安全频道！
喜欢 | 1
不喜欢 | 0
您输入的评论内容中包含违禁敏感词
我知道了
请输入正确的手机号码
请输入正确的验证码
您今天的短信下发次数太多了，明天再试试吧！
我们会在第一时间安排职业规划师联系您！
您也可以联系我们的职业规划师咨询：
版权所有 职坐标-一站式IT培训就业服务领导者 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com，All Rights Reserved.
沪公网安备 31011502005948号
索取资料
答疑解惑
技术交流
职业测评
面试技巧
高薪秘笈
