tasks.max=1
topics=some_topic
connector.class=io.confluent.connect.hdfs.HdfsSinkConnector
# set to the local filesystem
store.url=file:///path/to/output-dir
# write a file every 5 minutes, one file per-partition
rotate.schedule.interval.ms=300000
# write out JSON-formatted data
format.class=io.confluent.connect.hdfs.json.JsonFormat
1条答案
按热度按时间4jb9z9bj1#
每5分钟必须创建一个文件
您可以使用hdfs-kafka连接器(作为合流平台的一部分提供)来实现这一点。使用hadoop不需要安装hadoop。
以下是hdfs连接器的相关配置详细信息
Kafka连接的更多细节
否则,您需要一个kafka streams进程来打开5分钟的数据窗口,然后输出到一个新主题。从该主题开始,您可以让一个新的使用者写入控制台或文件。
我们能把Windows设为最多30分钟吗?
当然,你可以将主题保留时间设置为30分钟。上面的旋转间隔可以任意大。