如何使用s3distcp从子目录复制

fnatzsnv  于 2021-06-04  发布在  Hadoop
关注(0)|答案(1)|浏览(333)

尝试使用 s3DistCp 抄袭 s3://my-bucket/dir1/ , s3://my-bucket/dir2 , s3://my-bucket/dir3 .
三个目录里都有一些文件。想做一些类似的事情:

hadoop jar s3distcp.jar --src s3://my-bucket/*/ --dest s3://my-bucket/some-other-dir/

但它产生了一个错误:
未找到“s3://my bucket/*/”目录。。。
那是什么意思 s3DistCp 不在路径中使用通配符?有什么解决办法或想法吗?

50few1ms

50few1ms1#

你试过s3n吗?hadoop中amazons3和s3n的区别

相关问题