distcp s3示例配置文件临时凭据

sxissh06  于 2021-06-04  发布在  Hadoop
关注(0)|答案(0)|浏览(271)

我在aws的hadoop集群上使用distcp。现在,我们将切换到对集群节点使用iam角色。我要尝试的一个解决方案是在我自己的org.apache.hadoop.fs.s3native.natives3filesystem实现中添加一个类似于aws instanceprofilecredentialsprovider的智能文件系统,并使用imds。但是,是否有可用的解决方案使distcp使用临时安全凭据?看看natives3filesystem和相关的类,看起来我需要复制大部分代码,以使凭证查找使用imds。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题