rstudio上的sparkr-无法访问s3

5uzkadbs  于 2021-06-02  发布在  Hadoop
关注(0)|答案(0)|浏览(195)

我已经在ec2上安装了带有r(和rstudio)的sparkr。我正在尝试读取s3上的文件:

temp  <- textFile(sc, "s3://dev.xxxx.com/txttest")

获得:

java.lang.IllegalArgumentException: AWS Access Key ID and Secret Access Key must be 
specified as the username or password (respectively) of a s3 URL, or by setting the 
fs.s3.awsAccessKeyId or fs.s3.awsSecretAccessKey properties (respectively).`

我尝试添加我的访问密钥+密码,如下所示:

temp  <- textFile(sc, "s3:{access_key:secret_key}@dev.xxxx.com/txttest")

得到:

Invalid hostname in URI s3://11111111111111111111:2222222222222222222222222222222222222222@dev.xxx.com
at org.apache.hadoop.fs.s3.S3Credentials.initialize(S3Credentials.java:41)`

我也试着用

export AWS_SECRET_ACCESS_KEY=2222222222222222222222222222222222222222 
export AWS_ACCESS_KEY_ID=11111111111111111111`

在启动集群之前但没有用。
问题:
1我怎样才能换衣服 fs.s3.awsAccessKeyId 以及 fs.s3.awsSecretAccessKey 财产?
2uri中缺少正确的语法吗?
任何帮助都将不胜感激。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题