我需要在filestreamsink连接器中使用文件分区。但我尝试使用下面提到的时间戳。但我没有得到。请纠正我的实现或建议替代方法
Kafka Connect Sink连接器配置
name=your-file-sink-connector
connector.class=FileStreamSink
tasks.max=1
字符串
Kafka主题和输出目录
topics=your-kafka-topic
file=/path/to/output/directory/data
型
基于消息时间戳对文件进行分区
transforms=TimestampRouter
transforms.TimestampRouter.type=org.apache.kafka.connect.transforms.TimestampRouter
transforms.TimestampRouter.topic.format=your-topic-${timestamp:yyyy-MM-dd}
transforms.TimestampRouter.timestamp.format=yyyy-MM-dd
型
1条答案
按热度按时间vm0i2vca1#
只有Confluent的HDFS/S3 Connector可以进行文件路径时间“分区”(它包含一个自定义的
Partitioner
接口)。rotate.interval.ms
不是Apache的FileStreamSink中包含的属性。TimestampRouter
仅更改每个记录的主题名称,而不创建文件目录