海同科技，欢迎您！
就业
培训
资料
职坐标
IT知识库

大数据云计算

站
热门城市 全国站>
    其他省市
      搜索
      快速购买 快速购买  >
      icon 400-636-0069

      热门课程

      IT学院

      职坐标首页 IT知识库 大数据云计算 大数据安全
      选择在海同培训： 30 天 1389 名， 今日申请 85 人 IT培训咨询 >>
      【云计算】kafka有的partition停止消费问题
      小标 2018-12-13 来源 ： 阅读 1507 评论 0

      摘要：本文主要向大家介绍【云计算】kafka有的partition停止消费问题了，通过具体的内容向大家展现，希望对大家学习云计算有所帮助。

      本文主要向大家介绍【云计算】kafka有的partition停止消费问题了，通过具体的内容向大家展现，希望对大家学习云计算有所帮助。


      这个问题是在kafka0.10.0上出现的。在测试集群重现问题，问题如下图所示(offsetmonitor的监控页面)



      上图中可以看到好多partition都在几小时前就停止了消费。


      这种情况下，我们的消费者代码(kafka旧的高阶api)是不会报错的。排查过程


      1.查看topic，看这几个partition的leader在哪几台broker上。


      2.去kafka解压目录查看log,看server.log.yyyy-MM-dd-HH的log。看看有什么异常


      我们的是因为消息过大，kafka报java堆内存溢出。


      解决方法是，进入kafka/bin目录下


      1-修改kafka-server-start.sh将KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"调大


      2-修改kafka-run-class.sh将KAFKA_HEAP_OPTS="-Xmx256M"调大


                

      本文由职坐标整理并发布，希望对同学们有所帮助。了解更多详情请关注职坐标大数据云计算大数据安全频道！

      云计算与大数据处理 云计算与大数据应用 云计算体系主机安全
      本文由 @小标 发布于职坐标。未经许可，禁止转载。
      喜欢 | 1 不喜欢 | 0
      看完这篇文章有何感觉？已经有1人表态，100%的人喜欢 快给朋友分享吧~
      评论（0）
      后参与评论
      加入IT交流圈
      JAVA工程师交流群 +加入
      大数据架构师交流群 +加入
      人工智能Python交流群 +加入
      WEB/H5前端交流群 +加入
      职坐标公众号
      大数据云计算 直通车
      • 索取资料 索取资料 索取资料
      • 答疑解惑 答疑解惑 答疑解惑
      • 技术交流 技术交流 技术交流
      • 职业测评 职业测评 职业测评
      • 面试技巧 面试技巧 面试技巧
      • 高薪秘笈 高薪秘笈 高薪秘笈
      海同师资推荐 更多>>
      黄骈
      黄骈 联系TA
      认证System Analyst，System Architect
      程光淼
      程光淼 联系TA
      精通C、C++等语言、智能芯片开发
      热门就业培训班 更多>>
      【零基础】人工智能+Python全栈开发课程
      【零基础】人工智能+Python全栈开发课程
      人工智能+Python技术风口浪潮
      【零基础】JavaEE高级开发工程师课程
      【零基础】JavaEE高级开发工程师课程
      0基础入学Java课程
      【零基础】大数据与分布式架构师课程
      【零基础】大数据与分布式架构师课程
      培训大数据分布式架构
      大数据安全30天热搜词 更多>>
      sap云计算解决方案 openstack学习路线 云计算关键技术 超融合与云计算的区别 ibm云计算解决方案 电子科技大学云计算技术与应用 云计算概念 云平台三层架构 云计算中心建设方案 云计算技术是什么 云计算视频教程 云计算的核心技术 云计算主机安全 云计算安全体系架构 云计算架构图 云计算安全解决方案 云计算就业岗位有什么? 云计算技术与应用就业 云计算技术与应用大专 云计算的应用领域

      您输入的评论内容中包含违禁敏感词

      我知道了

      助您圆梦职场 匹配合适岗位
      验证码手机号，获得海同独家IT培训资料
      选择就业方向：
      人工智能物联网
      大数据开发/分析
      人工智能Python
      Java全栈开发
      WEB前端+H5

      请输入正确的手机号码

      请输入正确的验证码

      获取验证码

      您今天的短信下发次数太多了，明天再试试吧！

      提交

      我们会在第一时间安排职业规划师联系您！

      您也可以联系我们的职业规划师咨询：

      小职老师的微信号：z_zhizuobiao
      小职老师的微信号：z_zhizuobiao

      版权所有 职坐标-一站式IT培训就业服务领导者 沪ICP备13042190号-4
      上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com，All Rights Reserved.
       沪公网安备 31011502005948号    

      关于我们 │ 法律声明 │ 联系我们

      ©2015 www.zhizuobiao.com All Rights Reserved

      208小时内训课程
      在线客服