当部分数据已经写入时,如何解决AWSS3的accessdenied 403错误?

yv5phkfx  于 2021-05-29  发布在  Spark
关注(0)|答案(0)|浏览(405)

我的目标是写出一份报告 dataframe 在s3上。我用电脑检查了我的证件 aws-cli 他们工作得很好-阅读,写作。
当我使用pyspark执行相同的任务时,可以看到部分数据正在被写入 temporary 正在s3上的目标文件夹中创建目录,但随后,我收到一个错误:

Caused by: com.amazonaws.services.s3.model.AmazonS3Exception: Status Code: 403, AWS Service: Amazon S3, AWS Request ID: tx0000000000000105aa9ff-005eecf1c9-415a31ec-default, AWS Error Code: AccessDenied, AWS Error Message: null, S3 Extended Request ID: 415a31ec-default-default

我确保在我的代码执行平台(jupyterhub)上的凭证是正确的。我确保相同的凭证可以使用 aws-cli .
我也 ls 把桶装起来:

➜  reading-sos-reports git:(master) ✗ aws s3 --endpoint-url https://s3.some_org.com ls s3://My-Bucket/extraction/sos/parquet/temp2/ 
                           PRE _temporary/

如何解决aws的403拒绝访问问题?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题