公司项目最近遇到多个flink使用同一个消费组消费，重复的问题

研究的一天，加上网上查资料才明白，flink使用的flinkkafkaconsumer类实际上和kafkaconsum的类完全不一样。

 Flink 消费 Kafka 的过程中， 由 FlinkKafkaConsumer 会从 Kafka 中拿到当前 topic 的所有 partition 信息并分配并发消费，这里的 group id 只是用于将当前 partition 的消费 offset commit 到 Kafka，并用这个消费组标识。这也解释了为什么使用kafka-groups原生脚本查询消费组信息查询不到consumer-id和host信息。

而使用 KafkaConsumer 消费数据则应用到了 Kafka 的消费组管理, 这是 Kafka 服务端的一个角色

FlinkKafkaConsumer相同group.id多个任务消费kafka问题-阿里云开发者社区。