Kafka 会出现重复消费问题吗?

可能会,有以下几种情况
1、最主要的原因: 消费时间过长,导致超过了Kafka 的 session timeout 时间,那么此时就会触发重平衡,此时 offset 可能还没提交,会导致重平衡后重复消费
2、强行 kill 消费者线程,导致消费后的数据offset 没有提交(消费进行系统宕机、重启等)
3、设置 offset 为自动提交,如果关闭 kafka 在close 之前,调用 consumerunsubscribe0 则有口能部分 offset 没提交,下次重启会导致重复消费。

发表评论

后才能评论