我已经在ec2上安装了带有r(和rstudio)的sparkr。我正在尝试读取s3上的文件:
temp <- textFile(sc, "s3://dev.xxxx.com/txttest")
获得:
java.lang.IllegalArgumentException: AWS Access Key ID and Secret Access Key must be
specified as the username or password (respectively) of a s3 URL, or by setting the
fs.s3.awsAccessKeyId or fs.s3.awsSecretAccessKey properties (respectively).`
我尝试添加我的访问密钥+密码,如下所示:
temp <- textFile(sc, "s3:{access_key:secret_key}@dev.xxxx.com/txttest")
得到:
Invalid hostname in URI s3://11111111111111111111:2222222222222222222222222222222222222222@dev.xxx.com
at org.apache.hadoop.fs.s3.S3Credentials.initialize(S3Credentials.java:41)`
我也试着用
export AWS_SECRET_ACCESS_KEY=2222222222222222222222222222222222222222
export AWS_ACCESS_KEY_ID=11111111111111111111`
在启动集群之前但没有用。
问题:
1我怎样才能换衣服 fs.s3.awsAccessKeyId
以及 fs.s3.awsSecretAccessKey
财产?
2uri中缺少正确的语法吗?
任何帮助都将不胜感激。
暂无答案!
目前还没有任何答案,快来回答吧!