如何使用kafka producer从文件中只读取新更改

roqulrg3  于 2021-06-08  发布在  Kafka
关注(0)|答案(1)|浏览(384)

我目前使用的是windows机器,能够通过命令提示符读取整个文件使用Kafka生产者和消费者。我只需要获取文件中最近的更改,并需要将其用作apache flink的输入。我尝试使用这个链接,但由于Kafka客户端jar不匹配的问题,我无法使用它。
在我目前的方法中,每次加载整个文件时,我都会调用producer,我们每次都需要运行它来查看文件发生的更改。我曾想过使用线程和一些方法来比较使用java代码的文件中的差异,但是否只有kafka能做到这一点呢。

im9ewurl

im9ewurl1#

我最近遇到了类似的问题(但在linux中),并通过以下方式解决了这个问题:

tail -f somefile.log | kafka-console-producer.sh ...

在您的例子中,您可以尝试一些windows替代linux的tail:在windows和linux上跟踪日志文件的13种方法

相关问题