Kafka36:数据积压(消费者如何提高吞吐量)

Kafka36:数据积压(消费者如何提高吞吐量)

数据积压(消费者如何提高吞吐量)

1)如果是Kafka消费能力不足,则可以考虑增 加Topic的分区数,并且同时提升消费组的消费者数量,消费者数= 分区数。(两者缺一不可)
notion image
2)如果是下游的数据处理不及时:提高每批次拉取的数量。批次拉取数据过少(拉取数据/处理时间< 生产速度),使处理的数据小于生产的数据,也会造成数据积压。
notion image