如何使用kafka connects3sink连接器标记s3 bucket对象

eeq64g8w  于 2021-06-04  发布在  Kafka
关注(0)|答案(1)|浏览(454)

有没有什么方法可以通过kafka connect s3 sink连接器标记s3 bucket中写入的对象。我正在阅读来自kafka的消息,并使用s3sink连接器在s3 bucket中编写avro文件。当文件写入s3 bucket时,我需要标记文件。

nafvub8i

nafvub8i1#

github上的源代码中有一个名为addtags()的api,但它现在是私有的,不会向连接器客户端公开,除了这个名为s3\u object\u tagging\u config的小配置功能,它允许您向s3对象添加开始/结束偏移量以及记录计数。

configDef.define(
      S3_OBJECT_TAGGING_CONFIG,
      Type.BOOLEAN,
      S3_OBJECT_TAGGING_DEFAULT,
      Importance.LOW,
      "Tag S3 objects with start and end offsets, as well as record count.",
      group,
      ++orderInGroup,
      Width.LONG,
      "S3 Object Tagging"
  );

如果您想添加其他/自定义标记,那么答案是“否”。您现在不能这样做。
有用的特性是从kafka中输入文档的预定义部分获取标记,但现在还不可用。

相关问题