我计划在informatica bdm中使用kafka数据对象。我想通过informatica bdm每5分钟读取一次Kafka的数据。我很少有疑问Kafka如何识别它必须加载的当前偏移量。我们是否可以设置informatica需要从中加载kafka数据对象中的增量或更改数据的主题偏移量？？？我找到了下面的答案，你能帮我纠正一下它的确切过程吗：1）zookeeper是否存储当前偏移量，直到加载数据为止。2） 要在上次提交的偏移量之后读取消息，需要将使用者配置文件中的auto.offset.reset参数设置为最大。
请告诉我如何从Kafka那里获取数据。
当做，
斯利纳特
1条答案
按热度按时间vptzau2j1#
回答你的问题，
旧的consumerapi将偏移量存储在zookeeper中。但是，新的consumerapi将偏移量存储在kafka的内部主题中。
默认情况下，在使用者组中，kafka使用者开始使用来自最后提交的偏移量的消息。配置
auto.offset.reset当消费者组不存在已提交的补偿时起作用。例如，当使用者作为新使用者组的一部分开始消费时，此配置将确定它应该从日志中的何处开始（日志的开始或结束）。