Kafka 每天在filestreamsink连接器中进行文件分区

njthzxwz  于 2023-11-16  发布在  Apache
关注(0)|答案(1)|浏览(123)

我需要在filestreamsink连接器中使用文件分区。但我尝试使用下面提到的时间戳。但我没有得到。请纠正我的实现或建议替代方法
Kafka Connect Sink连接器配置

name=your-file-sink-connector
connector.class=FileStreamSink
tasks.max=1

字符串
Kafka主题和输出目录

topics=your-kafka-topic
file=/path/to/output/directory/data


基于消息时间戳对文件进行分区

transforms=TimestampRouter
transforms.TimestampRouter.type=org.apache.kafka.connect.transforms.TimestampRouter
transforms.TimestampRouter.topic.format=your-topic-${timestamp:yyyy-MM-dd}
transforms.TimestampRouter.timestamp.format=yyyy-MM-dd

vm0i2vca

vm0i2vca1#

只有Confluent的HDFS/S3 Connector可以进行文件路径时间“分区”(它包含一个自定义的Partitioner接口)。
rotate.interval.ms不是Apache的FileStreamSink中包含的属性。
TimestampRouter仅更改每个记录的主题名称,而不创建文件目录

相关问题