有没有什么方法可以通过kafka connect s3 sink连接器标记s3 bucket中写入的对象。我正在阅读来自kafka的消息，并使用s3sink连接器在s3 bucket中编写avro文件。当文件写入s3 bucket时，我需要标记文件。
nafvub8i1#
github上的源代码中有一个名为addtags（）的api，但它现在是私有的，不会向连接器客户端公开，除了这个名为s3\u object\u tagging\u config的小配置功能，它允许您向s3对象添加开始/结束偏移量以及记录计数。
configDef.define( S3_OBJECT_TAGGING_CONFIG, Type.BOOLEAN, S3_OBJECT_TAGGING_DEFAULT, Importance.LOW, "Tag S3 objects with start and end offsets, as well as record count.", group, ++orderInGroup, Width.LONG, "S3 Object Tagging" );
如果您想添加其他/自定义标记，那么答案是“否”。您现在不能这样做。有用的特性是从kafka中输入文档的预定义部分获取标记，但现在还不可用。
1条答案
按热度按时间nafvub8i1#
github上的源代码中有一个名为addtags（）的api，但它现在是私有的，不会向连接器客户端公开，除了这个名为s3\u object\u tagging\u config的小配置功能，它允许您向s3对象添加开始/结束偏移量以及记录计数。
如果您想添加其他/自定义标记，那么答案是“否”。您现在不能这样做。
有用的特性是从kafka中输入文档的预定义部分获取标记，但现在还不可用。