1. Kafka消费方式
1.1 pull模式
- consumer采用从broker中主动拉取数据。Kafka采用这种方式。
1.2 push模式
Kafka没有采用这种方式,因为由broker决定消息发送速率,很难适应所有消费者的消费速率。例如推送的速度是50m/s,Consumer1、Consumer2就来不及处理消息。
pull模式不足之处是,如果Kafka没有数据,消费者可能会陷入循环中,一直返回空数据。
2. Kafka消费者总体工作流程
3. 消费者组
Consumer Group(CG):消费者组,由多个consumer组成。形成一个消费者组的条件,是所有消费者的groupid相同。
- 消费者组内每个消费者负责消费不同分区的数据,一个分区只能由一个组内消费者消费。
- 消费者组之间互不影响。所有的消费者都属于某个消费者组,即消费者组是逻辑上的一个订阅者。
4. 消费者组初始化流程
- coordinator:辅助实现消费者组的初始化和分区的分配。 coordinator节点选择= groupid的hashcode值% 50( __consumer_offsets的分区数量) 例如: groupid的hashcode值= 1,1% 50 = 1,那么__consumer_offsets 主题的1号分区,在哪个broker上,就选择这个节点的coordinator作为这个消费者组的老大。消费者组下的所有的消费者提交offset的时候就往这个分区去提交offset。