kafka在配置的保留期内保留消息，不管消息是否已被消费，因此它允许消费者返回到以前处理过的偏移量，并在那里再次提取。
我自己还没有使用过kafka插件，但是看起来你可以禁用自动提交并自己管理它。您可能需要来自apache的kafka系统工具以及作业中的一些命令行步骤。您必须在开始时获取当前偏移量，从所使用的消息中获取最后一个偏移量，如果作业/批处理达到了完成时间，则将最后一个偏移量提交给集群。
你也可以把起始偏移量作为一个字段（消息键？）提供给插件，但是我找不到任何关于它的文档。在这种情况下，可以将偏移量与目标数据一起存储，并返回到每次运行开始时的最后一个偏移量。失败的运行不会更新目标偏移量，因此不会丢失任何消息。
如果您选择第二条路线，请注意auto.offset.reset设置和行为，因为如果目标中的最后一个偏移量超过保留期，则它可能已经从集群中消失。