最近使用Flink的时候注意到一个不大不小的问题,就是关于Flink中使用FlinkKafkaConsumer时并行度设置的问题,这个算子的并行度最好是等于kafka中使用的topic的分区数。大于或者小于分区数都是有问题的,小于这个分区数不能够充分利用kafka的并发性能,大于分区数则会导致算子线程空转,浪费计算资源。     Flink在使用FlinkKafkaConsumer时,topic分区在分配给task线程的时候遵循一个很简单的原则:一个topi...

关注 更多

空空如也 ~ ~

粉丝 更多

空空如也 ~ ~