我在hadoop2.7.3中使用spark2.1.1，在一个管道中使用来自不同s3位置的数据。
我准备好了 s3a 凭据使用 spark.sparkContext.hadoopConfiguration.set(“fs.s3a.access.key”, $KEY) 同样的秘密。
当我使用不同的s3 bucket时，它工作得很好，但是当我对同一个bucket拥有不同的凭据（一个s3 bucket中的文件夹级权限）时，只处理第一对凭据。
当我尝试使用第二对访问文件时，似乎spark config没有更新，并且由于调用s3时的403错误而失败。
我想要实现的是在同一批中使用不同的凭证处理来自同一s3 bucket的文件。
1条答案
按热度按时间bpsygsoo1#
对此没有真正的支持。每个s3a连接器示例只有一组凭据，特定bucket的第一个s3a文件系统示例通过其uri缓存在文件系统缓存中。下一次查找该文件系统uri的示例时，将获取具有其凭据的现有示例。