Kafka集群吞吐量测试(生产者和消费者)
  TEZNKK3IfmPf 2023年11月13日 46 0

        测试Kafka集群的吞吐量,即为每秒钟最大可以生产多少条消息,以及每秒钟最大可以消费多少条消息。

        在测试过程中,由于吞吐量受topic的分片和副本的数量影响非常大,需要在测试过程中对不同的分片和副本数量进行多次的测试,得到一个较为准确的结果。

1、测试生产效率

1.1 创建Topic

./kafka-topics.sh --create --zookeeper node1:2181,node2:2182,node3:2183 --topic test --partitions 3 --replication-factor 1

Kafka集群吞吐量测试(生产者和消费者)

1.2执行测试命令:本次测试将会新增4GB数据

./kafka-producer-perf-test.sh --topic test --num-records 5000000 --throughput -1 --record-size 1000 --producer-props bootstrap.servers=node1:9092,node2:9093,node3:9094 acks=1

命令参数说明:

Kafka集群吞吐量测试(生产者和消费者)

Kafka集群吞吐量测试(生产者和消费者)

注意:上述执行操作中,注意自己服务器或者虚拟机磁盘不足报错问题! 

1.3 执行结果:

Kafka集群吞吐量测试(生产者和消费者)

2、测试消费效率

2.1执行测试命令

./kafka-consumer-perf-test.sh --broker-list node1:9092,node2:9093,node3:9094 --topic test --fetch-size 1048576 --messages 5000000

命令参数说明:

Kafka集群吞吐量测试(生产者和消费者)

2.2执行结果

Kafka集群吞吐量测试(生产者和消费者)

3、总结

Kafka集群吞吐量测试(生产者和消费者)

【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 2023年11月13日 0

暂无评论

推荐阅读
  TEZNKK3IfmPf   2023年11月14日   20   0   0 集群
  TEZNKK3IfmPf   2023年11月14日   46   0   0 kafka
  TEZNKK3IfmPf   2023年11月14日   18   0   0 集群elasticsearch
  TEZNKK3IfmPf   2024年03月29日   64   0   0 集群分布式
  TEZNKK3IfmPf   2024年04月19日   34   0   0 集群
TEZNKK3IfmPf