是否可以编写kafka consumer批处理来为每个windows创建输出到文件

mgdq6dx1  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(339)

是否可以编写kafka consumer cmd/batch文件,以便在每个窗口将数据输出到文件中。假设每个窗口有5分钟。每5分钟必须创建一个文件。
在Kafka,我们能把Windows设为最多30分钟吗?

4jb9z9bj

4jb9z9bj1#

每5分钟必须创建一个文件
您可以使用hdfs-kafka连接器(作为合流平台的一部分提供)来实现这一点。使用hadoop不需要安装hadoop。
以下是hdfs连接器的相关配置详细信息

tasks.max=1
topics=some_topic

connector.class=io.confluent.connect.hdfs.HdfsSinkConnector

# set to the local filesystem

store.url=file:///path/to/output-dir

# write a file every 5 minutes, one file per-partition

rotate.schedule.interval.ms=300000

# write out JSON-formatted data

format.class=io.confluent.connect.hdfs.json.JsonFormat

Kafka连接的更多细节
否则,您需要一个kafka streams进程来打开5分钟的数据窗口,然后输出到一个新主题。从该主题开始,您可以让一个新的使用者写入控制台或文件。
我们能把Windows设为最多30分钟吗?
当然,你可以将主题保留时间设置为30分钟。上面的旋转间隔可以任意大。

相关问题