confluent-3.2.0 s3连接器默认分区设置

aurhwmvo  于 2021-06-08  发布在  Kafka
关注(0)|答案(1)|浏览(327)

我已经能够成功地将我的主题数据流写入我的s3 bucket,但是数据是以数字方式分区的(partition=0)。
当前显示:(amazons3>bucket name>topics>test>partition=0
是否可以按日期(yyyy-mm-dd)划分数据?如果是的话,覆盖默认分区设置的配置在哪里呢。
谢谢你的帮助,沃森

yqyhoc1h

yqyhoc1h1#

如文档中所述,连接器有一个可插入的分区器和一个内置的 TimeBasedPartitioner 它可以根据摄取时间对数据进行分区。各种分区器配置参数允许您控制目录结构之类的内容。甚至还有一个日常分居者是 TimeBasedPartitioner 产生一个路径结构 /year=2017/month=12/day=07 .
如果这些都不起作用,那么您始终可以选择实现自定义 Partitioner 分类或专门化 TimeBasedPartitioner 类(或其任何子类),如果这更简单的话。

相关问题