使用spark将rdd写入s3时设置s3对象元数据(tag)

8fsztsew  于 2021-07-12  发布在  Spark
关注(0)|答案(1)|浏览(429)

当从spark向s3写入rdd时,有没有办法设置s3对象的元数据(我想设置标记)?我发现的示例(比如amazon和spark set s3对象元数据,在写入emrfs时)是针对Dataframe的,而不是rdd。

uhry853o

uhry853o1#

2021年3月9日的s3a代码库中没有。不知道emr的s3连接器

相关问题