Kafka消费者调优
  ewyNyIHXRIzp 2023年11月01日 56 0

kafka消费速度慢可以尝试以下方法进行调优


1. 根据topic分区数来调整消费者实例数

众所周知,kafka为了保证消息消费顺序topic的每个分区只能被消费者组中一个实例消费。

如果你的topic分区数为36,则可以尝试调整消费者实例数为36,当然这个是消费者ConsumerFactory.concurrency = 1的情况。如果你调整了线程数为n,则你的消费者实例数最优为Math.ceil(36/n)。


2. 开启消费者批量消费

可以把ConcurrentKafkaListenerContainerFactory.setBatchListener(true)开启批量消费,并配置批量消费数ConsumerFactory.MAX_POLL_RECORDS_CONFIG = 100,默认为500


3. 消费者批量消费多线程处理

消费者使用线程池进行批量消费数据。建议不要使用execute,否则容易失控,建议使用submit然后得到future.get,get的时候会等待线程执行完,这种方式会把本次批量消费完再往下消费。

此时线程池的核心线程数就需要根据业务是IO密集型还是CPU密集型来决定,如果是IO密集型线程数可以多设置些,如果是CPU密集型线程数可以根据核心数来决定。

【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 2023年11月08日 0

暂无评论

推荐阅读
  2Vtxr3XfwhHq   2024年05月17日   55   0   0 Java
  Tnh5bgG19sRf   2024年05月20日   110   0   0 Java
  8s1LUHPryisj   2024年05月17日   46   0   0 Java
  aRSRdgycpgWt   2024年05月17日   47   0   0 Java
ewyNyIHXRIzp
作者其他文章 更多