使用nifi在启用mfa的情况下写入awss3 bucket

s71maibg  于 2021-06-01  发布在  Hadoop
关注(0)|答案(1)|浏览(434)

当mfa处于活动状态时,是否可以使用nifi处理器puts3object将数据写入s3 bucket?
如果没有,那么考虑从hive/hdfs向s3写入数据的替代方案是什么?

4ngedf3f

4ngedf3f1#

从1.8.0版开始,我不认为apachenifi支持这一点 *S3Object 处理器(或 AWSCredentialsProviderControllerService ). 我建议在jira网站上打开一个功能请求单。您可以使用以下选项之一立即完成此操作:
使用 ExecuteStreamCommand 或者 ExecuteProcess 使用aws s3 cli调用终端命令或shell脚本
使用 ExecuteScript 运行直接使用awss3sdk的自定义python(/ruby/groovy/etc)脚本(示例代码)
编写一个直接使用awss3sdk的定制处理器

相关问题