从kafka connect filestreamsourcetask读取许多文件

p4rjhz4m  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(276)

我正在读Kafka的一个日志文件,并创建一个主题。这是成功的。为了阅读这个文件,我正在为此目的编辑config/connect-file-source.properties文件,并根据kafka快速启动的步骤7(http://kafka.apache.org/quickstart#quickstart_kafkaconnect).
但是,现在,我想看很多文件。在config/connect-file-source.properties文件中,我用一种模式编辑变量文件,例如:file=/etc/logs/archive.log*,因为我想用archive*.log模式读取目录日志的所有文件。但是,这条线不行。
使用config/connect-file-source.properties文件实现模式文件读取的最佳形式是什么?

6rqinv9w

6rqinv9w1#

config/connect-file-source.properties ,
源类为 FileStreamSource 它使用任务类作为 FileStreamSourceTask .
它使用 FileInputStream ,因此无法同时打开多个文件(通过传递目录名或regex模式..)
你应该实现你自己的目标 Source & SourceTask 类,或使用支持此功能的现有类,如kafka connect spooldir

相关问题