Kafka24:Kafka消费者

Kafka24:Kafka消费者

1. Kafka消费方式

1.1 pull模式

  • consumer采用从broker中主动拉取数据。Kafka采用这种方式。

1.2 push模式

Kafka没有采用这种方式,因为由broker决定消息发送速率,很难适应所有消费者的消费速率。例如推送的速度是50m/s,Consumer1、Consumer2就来不及处理消息。
pull模式不足之处是,如果Kafka没有数据,消费者可能会陷入循环中,一直返回空数据。
notion image

2. Kafka消费者总体工作流程

notion image

3. 消费者组

Consumer Group(CG):消费者组,由多个consumer组成。形成一个消费者组的条件,是所有消费者的groupid相同。
  • 消费者组内每个消费者负责消费不同分区的数据,一个分区只能由一个组内消费者消费。
  • 消费者组之间互不影响。所有的消费者都属于某个消费者组,即消费者组是逻辑上的一个订阅者。
notion image
notion image

4. 消费者组初始化流程

  1. coordinator:辅助实现消费者组的初始化和分区的分配。 coordinator节点选择= groupid的hashcode值% 50( __consumer_offsets的分区数量) 例如: groupid的hashcode值= 1,1% 50 = 1,那么__consumer_offsets 主题的1号分区,在哪个broker上,就选择这个节点的coordinator作为这个消费者组的老大。消费者组下的所有的消费者提交offset的时候就往这个分区去提交offset。
notion image

5. 消费者组详细消费流程

notion image