我想从emr的pig脚本访问一个帐户的s3 bucket，我有aws\U access\u key和aws\U secret\u key，我想将结果文件存储在另一个aws帐户上。有什么办法我可以做到吗？我已经尝试了s3n路径与凭据，但它不工作。谢谢您
ntjbwcob1#
我通过改变pigstorage函数，将结果存储在hdfs中，并在cleanupWithSuccess方法上调用一个方法，用凭据将hdfs文件上传到s3。通过这种方式，我可以在pigstoragefunction用于存储时将凭据传递给它，当然，我还更改了pigstoragefunction的构造函数以接收这些参数。
1条答案
按热度按时间ntjbwcob1#
我通过改变pigstorage函数，将结果存储在hdfs中，并在cleanupWithSuccess方法上调用一个方法，用凭据将hdfs文件上传到s3。通过这种方式，我可以在pigstoragefunction用于存储时将凭据传递给它，当然，我还更改了pigstoragefunction的构造函数以接收这些参数。