1. Kafka消费方式
2. Kafka消费者总体工作流程
3. 消费者组
Consumer Group(CG):消费者组,由多个consumer组成。形成一个消费者组的条件,是所有消费者的groupid相同。
- 消费者组内每个消费者负责消费不同分区的数据,一个分区只能由一个组内消费者消费。
- 消费者组之间互不影响。所有的消费者都属于某个消费者组,即消费者组是逻辑上的一个订阅者。
4. 消费者组初始化流程
- coordinator:辅助实现消费者组的初始化和分区的分配。 coordinator节点选择= groupid的hashcode值% 50( __consumer_offsets的分区数量) 例如: groupid的hashcode值= 1,1% 50 = 1,那么__consumer_offsets 主题的1号分区,在哪个broker上,就选择这个节点的coordinator作为这个消费者组的老大。消费者组下的所有的消费者提交offset的时候就往这个分区去提交offset。