我已经能够成功地将我的主题数据流写入我的s3 bucket,但是数据是以数字方式分区的(partition=0)。当前显示:(amazons3>bucket name>topics>test>partition=0是否可以按日期(yyyy-mm-dd)划分数据?如果是的话,覆盖默认分区设置的配置在哪里呢。谢谢你的帮助,沃森
yqyhoc1h1#
如文档中所述,连接器有一个可插入的分区器和一个内置的 TimeBasedPartitioner 它可以根据摄取时间对数据进行分区。各种分区器配置参数允许您控制目录结构之类的内容。甚至还有一个日常分居者是 TimeBasedPartitioner 产生一个路径结构 /year=2017/month=12/day=07 .如果这些都不起作用,那么您始终可以选择实现自定义 Partitioner 分类或专门化 TimeBasedPartitioner 类(或其任何子类),如果这更简单的话。
TimeBasedPartitioner
/year=2017/month=12/day=07
Partitioner
1条答案
按热度按时间yqyhoc1h1#
如文档中所述,连接器有一个可插入的分区器和一个内置的
TimeBasedPartitioner
它可以根据摄取时间对数据进行分区。各种分区器配置参数允许您控制目录结构之类的内容。甚至还有一个日常分居者是TimeBasedPartitioner
产生一个路径结构/year=2017/month=12/day=07
.如果这些都不起作用,那么您始终可以选择实现自定义
Partitioner
分类或专门化TimeBasedPartitioner
类(或其任何子类),如果这更简单的话。