从internet直接下载一个文件到我的s3 bucket

cx6n0qe3  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(376)

我正在aws基础设施上与emr(elasticmapreduce)合作,为程序提供输入文件(大数据集)的默认方法是将它们上传到s3 bucket,并从emr中引用这些bucket。
通常我会将数据集下载到本地的开发机器上,然后上传到s3,但是对于更大的文件来说,这变得越来越难,因为上传速度通常比下载速度要低得多。
我的问题是,有没有一种方法可以直接从互联网下载文件(给出它们的url)到s3,这样我就不必将它们下载到本地机器上,然后手动上传它们?

ijxebb2r

ijxebb2r1#

不需要。您需要一个中介—通常,为了提高速度,使用的是ec2示例,而不是本地计算机。

相关问题