无法将ncdc数据从amazonaws复制到hadoop集群

yc0p9oo0 于 2021-06-03 发布在 Hadoop

关注(0)|答案(2)|浏览(316)

我尝试使用以下命令将ncdc数据从amazons3复制到本地hadoop集群。

hadoop distcp -Dfs.s3n.awsAccessKeyId='ABC' -Dfs.s3n.awsSecretAccessKey='XYZ' s3n://hadoopbook/ncdc/all input/ncdc/all

得到的误差如下：

java.lang.IllegalArgumentException: AWS Secret Access Key must be specified as           the password of a s3n URL, or by setting the fs.s3n.awsSecretAccessKey property

经历了下面的问题，但没有大的帮助。
复制本地数据时出现问题
任何关于如何解决问题的提示。详细的回答将非常感谢更好的理解。谢谢

hadoop hdfs amazon-s3

来源：https://stackoverflow.com/questions/17769640/unable-to-copy-ncdc-data-from-amazon-aws-to-hadoop-cluster

2条答案

按热度按时间

uinbv5nw1#

您需要在core-site.xml中设置aws id和密码

<property>
<name>fs.s3n.awsAccessKeyId</name>
<value>xxxxxxx</value>
</property>
<property>
<name>fs.s3n.awsSecretAccessKey</name>
<value>xxxxxxxxx</value>
</property>

然后重新启动群集

赞(0）回复(0）举报 2021-06-04

sz81bmfz2#

你试过这个吗：
摘自amazons3 wiki
下面是一个将hdfs中名为0070206153839-1998 at/user/nutch的nutch段复制到名为“nutch”的s3 bucket的示例（让s3 aws\u access\u key\u id为123，s3 aws\u access\u key\u secret为456）：
%${hadoop\u home}/bin/hadoop目录hdfs://domu-12-31-33-00-02-df：9001/user/nutch/0070206153839-1998 s3：//123:456@nutch/
在你的情况下，应该是这样的：

hadoop distcp s3n://ABC:XYZ@hadoopbook/ncdc/all hdfs://IPaddress:port/input/ncdc/all

赞(0）回复(0）举报 2021-06-04

我来回答

无法将ncdc数据从amazonaws复制到hadoop集群

2条答案

相关问题

热门标签

最新问答