我在aws的hadoop集群上使用distcp。现在,我们将切换到对集群节点使用iam角色。我要尝试的一个解决方案是在我自己的org.apache.hadoop.fs.s3native.natives3filesystem实现中添加一个类似于aws instanceprofilecredentialsprovider的智能文件系统,并使用imds。但是,是否有可用的解决方案使distcp使用临时安全凭据?看看natives3filesystem和相关的类,看起来我需要复制大部分代码,以使凭证查找使用imds。
暂无答案!
目前还没有任何答案,快来回答吧!