使用distcp命令复制到s3位置

nafvub8i 于 2021-06-02 发布在 Hadoop

关注(0)|答案(1)|浏览(420)

我正在使用以下命令将一些数据从hdfs复制到s3：

$ hadoop distcp -m 1 /user/hive/data/test/test_folder=2015_09_19_03_30 s3a://data/Test/buc/2015_09_19_03_30
``` `2015_09_19_03_30` s3中不存在bucket。它成功地复制了 `/user/hive/data/test/test_folder=2015_09_19_03_30` 目录到s3 `2015_09_19_03_30` 但是当我再次执行相同的命令时，它会在s3中创建另一个bucket。
我希望两个文件应该在同一个桶。

hadoop amazon-s3 s3distcp

来源：https://stackoverflow.com/questions/39655036/copy-to-s3-location-using-distcp-command

1条答案

按热度按时间

p8h8hvxi1#

这是您尝试的正确案例，因为它将新文件放入同一个存储桶中

// first there is no data
$ hadoop fs -ls s3n://testing/
$

// then dist cp the data in dir input to testing bucket
$ hadoop distcp input/ s3n://testing/
$ hadoop fs -ls s3n://testing/
Found 1 items
drwxrwxrwx   -          0 1970-01-01 00:00 s3n://testing/input
$ hadoop fs -ls s3n://testing/input/
Found 3 items
-rw-rw-rw-   1       1670 2016-09-23 13:23 s3n://testing/input/output
-rw-rw-rw-   1        541 2016-09-23 13:23 s3n://testing/input/some.txt
-rw-rw-rw-   1       1035 2016-09-23 13:23 s3n://testing/input/some2.txt
$
// added new file a.txt in input path
// and executed same command
$ hadoop distcp input/ s3n://testing/
$ hadoop fs -ls s3n://testing/input/
Found 4 items
-rw-rw-rw-   1          6 2016-09-23 13:26 s3n://testing/input/a.txt
-rw-rw-rw-   1       1670 2016-09-23 13:23 s3n://testing/input/output
-rw-rw-rw-   1        541 2016-09-23 13:23 s3n://testing/input/some.txt
-rw-rw-rw-   1       1035 2016-09-23 13:23 s3n://testing/input/some2.txt
$

赞(0）回复(0）举报 2021-06-02

我来回答

使用distcp命令复制到s3位置

1条答案

相关问题

热门标签

最新问答